Onderzoek met griepvaccins: kwaliteit, sponsoring en invloed

Achtergrond. Er worden wekelijks grote aantallen onderzoeken gepubliceerd, maar artsen hebben maar zeer beperkt de tijd om deze te lezen en zullen zich bij het lezen veelal beperken tot het scannen van de samenvatting of de conclusie. Het is van belang dat de relatie tussen bepaalde onderzoekskenmerken, zoals de kwaliteit van het onderzoek en de concordantie (relatie tussen de conclusie van de onderzoekers en de resultaten), van voldoende hoog niveau is. Onderzoekers waren geïnteresseerd in deze relaties bij onderzoeken naar de werkzaamheid van griepvaccins omdat er toenemende twijfel is over de validiteit van deze onderzoeken. Zij verrichtten daarom een systematisch literatuuronderzoek.1 

Methode. Er werd gezocht naar onderzoeken waarin de werkzaamheid of effectiviteit van griepvaccins werd vergeleken met placebo dan wel geen behandeling. Vooral de methodologische kwaliteit van de onderzoeken werd beoordeeld en ingedeeld als een hoog, gemiddeld of laag risico op bias. De onderzochte onderzoekskenmerken waren de kwaliteit, de mate van overeenstemming tussen de conclusie van de onderzoekers en de resultaten (concordantie), de conclusie (ofwel de 'take home message') en sponsoring. Daarnaast werd ook de 'impact factor' (die werd gebruikt als maat voor kwaliteit) van het tijdschrift en de citatie-index (het totale aantal citaties van het artikel van geïndexeerde tijdschriften) in de analysen meegenomen.

Resultaten. Er werden 274 vergelijkende onderzoeken opgenomen in het systematische overzicht. Circa 50% betrof gerandomiseerd onderzoek. Meer dan de helft van de onderzoeken had een hoog risico op bias, slechts 4% had een laag risico. Zeventig procent van de onderzoeken rapporteerde conclusies die gunstig waren voor de vaccins, terwijl slechts bij 18% volledige concordantie bestond tussen resultaten en de conclusies. In onderzoeken van hogere kwaliteit was er vaker overeenstemming tussen de gepresenteerde resultaten en de conclusies (odds ratio OR 16,35 [95%BI=4,24-63,04]). Ook was het minder waarschijnlijk dat deze onderzoeken de effectiviteit van vaccins ondersteunden (OR 0,04 [0,02-0,09]). Onderzoek dat was gefinancierd door overheden gaf eveneens minder vaak conclusies die de effectiviteit van vaccins ondersteunden. Een hogere gemiddelde impactfactor van het tijdschrift ging significant vaker gepaard met totale of gedeeltelijke financiering door de industrie in vergelijking met onderzoek dat was gefinancierd door de overheid of niet was gefinancierd. De grootte van het onderzoek was niet gerelateerd aan de uitkomstmaten. Een hogere citatie-index was gerelateerd aan gedeeltelijke of totale sponsoring door de industrie. Er was geen relatie tussen impactfactor of citatie-index enerzijds en methodologische kwaliteit en concordantie anderzijds.

Conclusie onderzoekers. Publicatie van onderzoek over de effectiviteit van griepvaccins in toonaangevende tijdschriften is gerelateerd aan gedeeltelijke of totale financiering door de industrie. Deze relatie kan niet worden verklaard door de kwaliteit of de grootte van de onderzoeken.

Plaatsbepaling

Hoge kwaliteit van onderzoek gaat vaak gepaard met een laag effect van een interventie en onderzoeken met een slechte methodologische kwaliteit (in dit geval circa 70%) tonen vaak vertekende resultaten (ofwel bias) en een discrepantie tussen resultaten en conclusies. De conclusies over de werkzaamheid en effectiviteit van griepvaccins in niet door de overheid gefinancierde onderzoeken zijn te positief. Onderzoeken die geheel of gedeeltelijk worden gefinancierd door de industrie worden gepubliceerd in meer toonaangevende tijdschriften en worden waarschijnlijk vaker geciteerd, ofschoon hun methodologische kwaliteit en grootte niet verschillen van door de overheid gefinancierd onderzoek. De auteurs pleiten ervoor om voor beleidsmakers de analysen op twee niveaus te verrichten: op het niveau van resultaten en op het niveau van conclusies. Voorts dienen wetenschappelijke tijdschriften alle financieringsbronnen openbaar te maken en niet alleen van de auteurs die er in publiceren. Net zoals dat bij het 'koppen snellen' bij het lezen van de krant het geval is, is conclusies het scannen van conclusies bij wetenschappelijke artikelen die van belang zijn voor de praktijk onverantwoord.