’Positive-outcome’ bias

Achtergrond. Onder ’positive-outcome’ bias (POB) wordt het verschijnsel verstaan dat onderzoeken met een positieve of statistisch significante uitkomst over een behandeling meer kans hebben om te worden gepubliceerd dan onderzoeken met een vergelijkbare kwaliteit maar met een ongunstige uitkomst of een uitkomst die geen verschil tussen de experimentele behandelcondities laat zien. In een gerandomiseerd onderzoek is onderzocht of dit verschijnsel werkelijk bestaat.1

Methode. Onderzoekers wilden niet alleen weten of positive-outcome bias werkelijk bestaat, maar ook of er een verschil bestaat in het percentage fouten dat wordt gedetecteerd tussen een manuscript met een positieve of één met geen verschil als uitkomst. Daartoe werden twee versies van een artikel over een goed opgezet onderzoek aangeboden aan de redacties van twee tijdschriften, de één met een positieve uitkomst en de andere met geen verschil als uitkomst. De onderzoekers hadden voorts in beide artikelen fouten in de methodenparagraaf opgenomen. Bij de berekening van de steekproefgrootte zijn de onderzoekers ervan uitgegaan dat zij minimaal 236 beoordelaars nodig hadden om een verschil van 5 tot 20% in afwijzingspercentage aan te kunnen tonen. De beoordelaars waren door de redacteuren van de tijdschriften op de hoogte gebracht van het feit dat er in het komende jaar een onderzoek over peer-review zou worden gedaan en dat zij konden aangeven als zij hieraan niet wilden meedoen. De beoordelaars waren niet op de hoogte gebracht van de onderzoeksvragen en waren dus geblindeerd. De redacteuren van de tijdschriften hadden ervaren beoordelaars uitgekozen voor het onderzoek die deskundig waren met betrekking tot het onderwerp van het onderzoek. De methodologische kwaliteit van de onderzoeken werd aangegeven op een schaal van nul tot 10 punten.

Resultaat. De twee versies van het artikel werden aangeboden aan 238 beoordelaars waarvan er 210 antwoordden. De resultaten toonden dat significant meer beoordelaars het artikel met de positieve uitkomst aanraadden voor publicatie dan het artikel met geen verschil (97,3 vs. 80,0%). In het artikel met geen verschil als uitkomst werden significant meer fouten ontdekt dan in het artikel met een positieve uitkomst (0,85 vs. 0,41). Ofschoon de methodenparagraaf in beide artikelen identiek was, gaven de beoordelaars significant meer punten aan de paragraaf in het artikel met een positieve uitkomst (8,24 vs. 7,53).

Conclusie onderzoekers. De onderzoekers stellen vast dat positive-outcome bias tijdens het peer-reviewproces aanwezig is. Een verzonnen manuscript met een positieve uitkomst had meer kans om aanbevolen te worden voor publicatie dan een verder overigens identiek artikel met geen verschil als uitkomst.

 

Plaatsbepaling

Dit onderzoek vormt een eerste aanwijzing voor het bestaan van positive-outcome bias. Het beschreven onderzoek kent echter methodologische beperkingen, zoals het feit dat het benodigde aantal beoordelaars niet werd gehaald, waardoor de statistische zeggingskracht van de uitkomsten onvoldoende is onderbouwd.
De onderzoekers bespreken de mogelijkheid dat hun resultaten zijn beïnvloed door het Hawthorne-effect (Gebu 1997; 31: 1). Hieronder wordt verstaan dat personen die deelnemen aan een onderzoek zich anders gaan gedragen omdat ze worden onderzocht. Het is echter niet aannemelijk dat dit de resultaten zal hebben beïnvloed, omdat kan worden verondersteld dat de beoordelaars de manuscripten juist zorgvuldiger zullen beoordelen dan minder zorgvuldig.
Positive-outcome bias vormt een bedreiging voor de integriteit van evidence based medicine. Beoordelaars en redacteuren van tijdschriften moeten zich realiseren dat dit type bias bestaat en tot het normale menselijke gedrag behoort.1
Eenzijdigheid in het beoordelingsproces is slechts één van de factoren die tot positive-outcome bias kan leiden.2 Een industriële sponsor kan in de verleiding komen, de reputatie van een product kunstmatig te bevorderen, onder meer door een eenzijdige selectie van onderzoekers of protocollen, door onderzoekingen met weinig belovende resultaten voortijdig te beëindigen of door ongunstige rapporten niet openbaar te maken.2

 


1. Emerson GB, et al. Testing for the presence of positive-outcome bias in peer review. Arch Intern Med 2010; 170: 1934-1939.
2. Angell M. The Truth About the Drug Companies. New York: Random House, 2004.

Auteurs

  • dr D. Bijl