’Reporting bias’: effect op meta-analysen van gerandomiseerd geneesmiddelenonderzoek

Achtergrond. Systematische literatuuroverzichten of meta-analysen van gerandomiseerde onderzoeken zijn van groot belang voor de gezondheidszorg en vooral ook voor het maken van richtlijnen. De resultaten kunnen echter zijn vertekend ofwel er kan sprake zijn van bias. Deze bias kan de opzet, de uitvoering of de rapportage (reporting) van de in de meta-analyse opgenomen onderzoeken betreffen en kan leiden tot onnauwkeurigheden of zelfs fouten in de uitkomsten van meta-analysen. ’Reporting bias’ kent diverse vormen, waaronder publicatiebias. Het duidt er op dat onderzoeken selectief worden gepubliceerd, bijvoorbeeld vooral onderzoeken met succesvolle ofwel statistisch significante resultaten. ’Outcome reporting bias’ ofwel selectieve publicatie van sommige maar niet alle uitkomsten van een onderzoek, is een andere vorm van reporting bias. 
Bewijzen voor het bestaan van reporting bias kwamen vooral uit vergelijkingen van publicaties over nieuwe geneesmiddelen in de wetenschappelijke literatuur met die van resultaten van onderzoeken die werden aangeboden aan de registratieautoriteiten, en met vergelijkingen uit onderzoeksprotocollen en interne onderzoeksdocumenten van de industrie die via rechtszaken vrij toegankelijk werden. Het bleek dat vooral uitkomsten die in het voordeel van nieuwe geneesmiddelen uitvielen, werden gepubliceerd. Onafhankelijke onderzoekers wilden weten wat de effecten zijn van het opnemen van ongepubliceerde onderzoeken of onvolledig gepubliceerde gegevens van gepubliceerde onderzoeken (tezamen: ongepubliceerde gegevens) van nieuwe geneesmiddelen op de resultaten van meta-analysen door deze opnieuw te analyseren.

Methode. Gezocht werd naar onderzoeken van nieuwe geneesmiddelen (new chemical entities) die door de Food and Drug Administration (FDA) waren geregistreerd tussen 2001 en 2002 en waarvan de uitkomsten niet volledig waren gepubliceerd. Aan de FDA werd gevraagd de ongepubliceerde onderzoeksgegevens beschikbaar te stellen voor heranalyse. Voor elk geneesmiddel werd gezocht naar een gepubliceerd systematisch literatuuroverzicht met ten minste één meta-analyse. De systematische literatuuroverzichten waren gepubliceerd nadat de FDA het nieuwe geneesmiddel had geregistreerd. Van deze gepubliceerde overzichten werd een heranalyse gemaakt op basis van de ongepubliceerde gegevens als de daarin opgenomen onderzoeken overeenkwamen met de gepubliceerde onderzoeken wat betreft uitkomstmaten, vergelijkingen en patiëntkenmerken. Gepubliceerde overzichten waarin gebruik werd gemaakt van ongebruikelijke meta-analytische technieken, zoals Bayesiaanse of netwerkmeta-analysen, kwamen niet in aanmerking voor heranalyse. De belangrijkste uitkomstmaten waren associaties (relatieve risico’s (RR), odds ratio’s (OR), of gewogen gemiddelde verschillen (WMD)) van de belangrijkste uitkomstmaten met en zonder de ongepubliceerde gegevens van de onderzoeken van de FDA. De veranderingen in de grootte (effect sizes) van de uitkomstmaten werden berekend als percentages.

Resultaat. Er konden negen systematische literatuuroverzichten, waarover 42 meta-analysen (41 over werkzaamheid en 1 over bijwerkingen) van negen geneesmiddelen (uit 6 geneesmiddelengroepen) waren gepubliceerd, opnieuw worden onderzocht. Heranalyse van de ongepubliceerde gegevens van de FDA-onderzoeken én die van de gepubliceerde leidde ertoe dat 46% (mediane verandering 11% (spreiding 1-53%) van de geschatte uitkomstmaten van de meta-analysen een lagere werkzaamheid van de onderzochte geneesmiddelen toonden. 7% van de uitkomstmaten toonde een gelijke werkzaamheid en 46% van de uitkomstmaten toonde juist een grotere (mediane verandering 13% (spreiding 2-166%) werkzaamheid. Het onderzoek over bijwerkingen toonde na toevoeging van de ongepubliceerde gegevens meer bijwerkingen. 
Van de onderzochte geneesmiddelen toonden de antipsychotica de meest consistente veranderingen: vier van de vijf uitkomstmaten lieten een afgenomen werkzaamheid zien na het toevoegen van de ongepubliceerde gegevens.

Conclusie onderzoekers. Het effect van het combineren van gepubliceerde en ongepubliceerde onderzoeksgegevens verschilt per geneesmiddel en per uitkomstmaat. Ongepubliceerde onderzoeksgegevens van de FDA zouden beschikbaar moeten zijn en moeten worden opgenomen in meta-analysen. Het beschikbaar stellen van deze gegevens is vooral belangrijk omdat de effecten van het opnemen van ongepubliceerde gegevens nogal verschillen.

Plaatsbepaling

Dit onderzoek toont dat het niet opnemen van ongepubliceerde gegevens over geneesmiddelen in meta-analysen ertoe kan leiden dat de resultaten over de werkzaamheid of de bijwerkingen worden overschat of onderschat. Geen van beide is wenselijk. Een beperking van dit onderzoek is dat het slechts negen geneesmiddelen betrof en dat het vooral de werkzaamheid betrof. Wat de effecten zijn op het bijwerkingenprofiel van geneesmiddelen of op de balans van werkzaamheid en bijwerkingen kan met dit onderzoek niet worden bepaald.
De auteurs roepen de FDA op de volledige klinische onderzoeksrapportages beschikbaar te stellen voor onderzoekers. Aangezien de analysen van geneesmiddelenonderzoeken door fabrikanten (doing business: Gebu 2006; 40: 120-121) ook kunnen zijn vertekend, dienen ook de protocollen en de ruwe gegevens beschikbaar te worden gesteld. Voor de geloofwaardigheid van de wetenschap (doing science: Gebu 2006; 40: 120-121) en de geneeskunde zijn dit eigenlijk niet meer dan randvoorwaarden. De European Medicines Agency (EMA) heeft, volgens de auteurs, recent het goede voorbeeld gegeven door na een procedure van 3,5 jaar gegevens ter beschikking van onderzoekers te stellen die daarom hadden gevraagd (Gebu 2012; 46: 58).

<hr />