Achtergrond. Systematische literatuuroverzichten of meta-analysen van gerandomiseerde onderzoeken zijn van groot belang voor de gezondheidszorg en vooral ook voor het maken van richtlijnen. De resultaten kunnen echter zijn vertekend ofwel er kan sprake zijn van bias. Deze bias kan de opzet, de uitvoering of de rapportage (reporting) van de in de meta-analyse opgenomen onderzoeken betreffen en kan leiden tot onnauwkeurigheden of zelfs fouten in de uitkomsten van meta-analysen. ’Reporting bias’ kent diverse vormen, waaronder publicatiebias. Het duidt er op dat onderzoeken selectief worden gepubliceerd, bijvoorbeeld vooral onderzoeken met succesvolle ofwel statistisch significante resultaten (Gebu 2012; 46: 107-108).
Onder leiding van een medewerker van de farmaceutische industrie werd een ander aspect van publicatiebias nagegaan, namelijk of aan tijdschriften aangeboden artikelen over gerandomiseerde onderzoeken met geneesmiddelen meer kans hebben te worden gepubliceerd als ze positieve resultaten rapporteren.1 Het onderzoek werd ondersteund met een zogenoemde ’unrestricted educational grant’ van MSD, de vorige werkgever van de ex-medewerker.
Methode. De auteurs onderzochten retrospectief de artikelen over gerandomiseerde geneesmiddelenonderzoeken die aan één algemeen medisch tijdschrift en zeven gespecialiseerde tijdschriften waren aangeboden en evalueerden de acceptatiepercentages van artikelen met positieve en negatieve conclusies over de onderzochte geneesmiddelen. Alleen Europese tijdschriften werden onderzocht en de keuze hiervoor werd gemaakt op basis van de ’impact factor’ en het aantal gepubliceerde gerandomiseerde geneesmiddelenonderzoeken in die tijdschriften uit de periode 2010 en 2011. De primaire uitkomstmaat was acceptatie voor publicatie. Artikelen werden ingedeeld in drie groepen: niet door de industrie gefinancierd, door de industrie gefinancierd en door de industrie gesteund. Post-hocanalysen, subgroepanalysen en vervolgonderzoek werden in de analyse betrokken. De auteurs en peer-reviewers werden niet geïnformeerd over dit onderzoek en toestemming van een medisch ethische toetsingscommissie was niet vereist.
Resultaat. Van de in totaal 15.972 artikelen die in de onderzoeksperiode waren aangeboden aan de acht tijdschriften, voldeden 472 aan de insluitcriteria. 98 (20,8%) artikelen werden gepubliceerd, 221 (46,8%) werden zonder meer afgewezen en 152 (32,2%) werden afgewezen na peer review, en één (0,2%) artikel werd door de auteurs teruggetrokken.
In totaal hadden van de 472 artikelen 287 (60,8%) een positief resultaat en 185 (39,2%) een negatief resultaat. Van de 98 gepubliceerde artikelen hadden er 60 (61,2%) een positief resultaat en 38 (38,8%) een negatief resultaat. Van de 221 zonder meer afgewezen artikelen hadden 135 (61,1%) een positief resultaat en 86 (38,9%) een negatief resultaat. Van de 152 na peer review afgewezen artikelen hadden 91 (59,9%) een positief resultaat en 61 (40,1%) een negatief resultaat.
138 (64,8%) van 213 artikelen die niet door de industrie waren gefinancierd, rapporteerden positieve conclusies, in vergelijking met 71 (47,7%) van 149 door de industrie gesteunde onderzoeken en 78 (70,9%) van door de industrie gefinancierde onderzoeken. In totaal waren 110 (23,3%) onderzoeken gefinancierd door de industrie en 149 door de industrie gesteund en 213 (45,1%) niet door de industrie gefinancierd.
De verdeling van de gepubliceerde onderzoeken was als volgt: 27 (27,6%) niet door de industrie gefinancierde, 27 (27,6%) door de industrie gesteunde en 44 (44,9%) door de industrie gefinancierde.
Onderzoeken met positieve conclusies hadden niet meer kans om te worden gepubliceerd (odds ratio OR 1,00 [95%BI=0,61-1,66]).
Conclusie onderzoekers. Bij de onderzochte tijdschriften was er geen neiging om bij voorkeur artikelen met positieve conclusies over geneesmiddelen te publiceren. Dit zou er volgens de auteurs op kunnen wijzen dat publicatiebias al ontstaat voordat artikelen worden aangeboden voor publicatie in tijdschriften.
Plaatsbepaling
Met de term publicatiebias wordt bedoeld dat de in de medische tijdschriften gepubliceerde onderzoeken geen één-op-één-afspiegeling zijn van de in de praktijk uitgevoerde onderzoeken. Met name onderzoeken met een negatieve uitkomst zouden niet worden gepubliceerd. De oorzaak hiervan kan liggen bij onderzoekers omdat men vermoedt dat het artikel toch niet wordt geaccepteerd voor publicatie, bij de tijdschriftredacties (omdat acceptatie van onderzoek met een negatieve conclusie slecht is voor de citatie-index) of door de industrie (voor hen onwelgevallige resultaten verdwijnen in de la).
Publicatiebias is verantwoordelijk voor onjuiste beoordelingen van de effecten van medische behandelingen en leidt meestal tot een te positieve inschatting van deze effecten (Gebu 2014; 48: 24-25). Het besproken artikel van een ex-medewerker van de farmaceutische industrie zou mogelijk een ander licht op het fenomeen publicatiebias werpen door te suggereren dat het probleem van publicatiebias is toe te schrijven aan factoren die aan de onderzoekers zijn gerelateerd.
Alvorens een dergelijke conclusie zou kunnen worden getrokken, zal dat door onderzoek met een betere methodologische kwaliteit moeten worden bevestigd. Het besproken onderzoek kent tal van onzorgvuldigheden en methodologische beperkingen. Zo is het onduidelijk waarom de selectie van tijdschriften die voor analyse in aanmerking kwamen, tot acht is beperkt. Ook is niet duidelijk waarom alleen Europese tijdschriften zijn onderzocht. De auteurs geven aan dat de geselecteerde tijdschriften een representatieve steekproef vormen van gerandomiseerde geneesmiddelenonderzoeken, maar zij maken niet aannemelijk waarom dit het geval zou zijn. Het feit dat 55% van de artikelen door de industrie is gefinancierd of gesteund, weerspiegelt in elk geval niet de praktijk van de nieuwe geneesmiddelen waar al het onderzoek wordt gefinancierd door de industrie. En juist bij de nieuwe geneesmiddelen speelt publicatiebias een belangrijke rol. Door de selectie te beperken tot acht tijdschriften wordt slechts een deel van het probleem publicatiebias onderzocht. Post-hocanalysen en subgroepanalysen zullen over het algemeen tot een overschatting van de uitkomsten leiden, zeker omdat het merendeel van de onderzoeken een positieve uitkomst had. Er ontbreekt een lijst met onderzoeken die werden geselecteerd, zodat onafhankelijke controle van de uitkomsten niet mogelijk is. Deze onderzoeken zijn ook niet in een websitesupplement opgenomen. Opmerkelijk is de constatering van de onderzoekers dat de retrospectieve opzet van het onderzoek de kwaliteit verbetert. Er is geen correctie gemaakt voor de veelvoudige statistische testen die zijn verricht, waardoor er een aanzienlijk risico op kanskapitalisatie (als men 100 associaties analyseert, zullen er op grond van het toeval 5 een significante relatie laten zien) aanwezig blijft. Het literatuuroverzicht in de inleiding is verre van compleet en er lijkt sprake van selectief citeren.
Kortom, deze analyse onder leiding van een ex-medewerker van de farmaceutische industrie en mede gefinancierd door diens vorige werkgever, werpt geen nieuw licht op de bekende feiten over publicatiebias en kenmerkt zich door diverse beginnersfouten en systematische fouten in de opzet en uitvoering waardoor de resultaten in aanzienlijke mate lijken te zijn vertekend.
- Lent M van, et al. Role of editorial and peer review processes in publication bias: analysis of drug trials submitted to eight medical journals. PLoS One 2014; 9: e104846.
