* Dit artikel is een vertaling van ’Sponsorship-bias in clinical trials’ dat verscheen in het International Journal of Risk & Safety in Medicine 2012; 24: 233-242 en is met toestemming van de uitgever vertaald.
Suggesties en commentaren van referenten zijn in de Plaatsbepaling onder medeverantwoordelijkheid van de redactiecommissie opgenomen.
Het overgrote deel van de onderzoeken naar geneesmiddelen wordt gefinancierd door de farmaceutische industrie. Hierbij treedt een belangenconflict op tussen het voortbrengen van kwalitatief hoogstaand wetenschappelijk onderzoek en resultaten die de verkoop van de producten bevorderen. Er is bij het onderzoek sprake van bias ten gunste van de industrie, met als gevolg dat door de industrie gefinancierd onderzoek het vertrouwen in de medische wetenschap ondermijnt (Gebu 2015; 49: 123-130).
Inleiding
De hoeveelheid geld die aan onderzoek en ontwikkeling wordt besteed door de bedrijven die merkgeneesmiddelen op de markt brengen en lid zijn van de ’Pharmaceutical Research and Manufacturers of America’ (PhRMA) is gestegen van $ 2,0 miljard in 1980 tot naar schatting $ 49,4 miljard in 2010.1 In diezelfde periode is het budget van de ’National Institutes of Health’ (NIH) toegenomen van $ 3,2 miljard tot $ 25,1 miljard.2 Terwijl de fondsen van de NIH worden besteed aan zeer uiteenlopende onderzoeksactiviteiten, gaat het geld van de farmaceutische industrie grotendeels naar onderzoeken met de producten van die industrie met als gevolg dat het overgrote deel van de klinische geneesmiddelenonderzoeken wordt gefinancierd door geneesmiddelenfabrikanten.3 Hetzelfde patroon is ook te vinden in andere landen,4 en 18 van de 32 meest geciteerde onderzoeken die sinds 1999 in de medische literatuur zijn gepubliceerd, waren uitsluitend door de industrie gefinancierd5. Daarbij bevindt de industrie zich in een conflictsituatie. Het economische lot van die industrieën hangt af van een gunstige uitkomst van de onderzoeken die zij financieren. In deze situatie zouden bedrijven in de verleiding kunnen komen het onderzoek waarbij zij zijn betrokken te beïnvloeden.
Bias als gevolg van sponsoring ofwel ’sponsorship-bias’ hoeft niet altijd te maken te hebben met de farmaceutische industrie. Ook overheidsfinanciering kan leiden tot bias als het doel ervan is de kosten van de door de overheid vergoede behandelingen zo laag mogelijk te houden. En patiëntenverenigingen willen wellicht dat hun leden kunnen profiteren van wat zij beschouwen als de nieuwste en beste geneesmiddelen. Maar geen van deze beide financieringsbronnen speelt een zo dominante rol in het klinische onderzoek als de farmaceutische industrie. In dit artikel wordt daarom aandacht besteed aan door de industrie veroorzaakte sponsorship-bias. Bij het selecteren van de te bespreken literatuur is niet gestreefd naar volledigheid, maar naar het presenteren van concrete voorbeelden van bias om daarmee te laten zien dat de beschreven praktijken geen geïsoleerde incidenten zijn en negatieve gevolgen hebben op het niveau van de informatie die uiteindelijk van invloed is op de patiëntenzorg.
In dit artikel wordt sponsorship-bias bekeken aan de hand van de verschillende fasen van onderzoek, te beginnen met de vaststelling van de onderzoeksvraag en de keuze van de middelen waarmee wordt vergeleken, en voorts de opzet en de uitvoering van het onderzoek, eventuele vroegtijdige beëindiging van het onderzoek op commerciële gronden, de wijze waarop de gegevens worden gerapporteerd aan de registratieautoriteiten en ten slotte de verschillende manieren waarop bias kan ontstaan in het publicatieproces. Het artikel eindigt met een bespreking van een deel van de huidige discussies over manieren om de bias in klinisch onderzoek te minimaliseren.
Bias bij onderzoeksvraag en -onderwerp
Een voorbeeld waarbij de industrie de agenda voor het onderzoek bepaalt, is onderzoek naar artrose van de knie. Zowel patiënten als diverse categorieën medici en paramedici, zoals reumatologen, fysiotherapeuten en huisartsen, hebben gevraagd om onderzoek naar artrose van de knie dat zich richt op zaken als knieprothesen, training, fysiotherapie en voorlichting. De overgrote meerderheid van de door de farmaceutische industrie gefinancierde onderzoeken heeft zich, zoals te verwachten, bezig gehouden met de behandeling met orale geneesmiddelen. Er is sprake van een diepgaand verschil tussen de behoeften van degenen voor wie het onderzoek uiteindelijk is bestemd en de onderzoeksvragen waar de industrie in is geïnteresseerd.6 In een reeks enquêtes die in totaal meer dan 20 jaar omspannen, blijkt dat onderzoekers die financiering ontvangen van de industrie bij het kiezen van onderzoeksonderwerpen veel vaker rekening houden met commerciële belangen dan degenen die niet worden gesponsord door commerciële bedrijven.7-9
Sponsorship-bias speelt een rol in de fase IV-onderzoeken, dat wil zeggen onderzoeken die worden uitgevoerd nadat een geneesmiddel al op de markt is gebracht. Bewijzen hiervoor zijn aan het licht gekomen toen openbaarmaking van documenten werd afgedwongen tijdens rechtszaken tegen de fabrikanten van de geneesmiddelen. Een recent voorbeeld betreft het ’Study of neurontin: Titrate to Effect, Profile of Safety’ (STEPS)-onderzoek met gabapentine. Het officiële doel van STEPS was het onderzoeken van de werkzaamheid, de veiligheid en de bijwerkingen van het middel en de kwaliteit van leven van de deelnemers tijdens dosistitratie. In de van Parke-Davis, een dochteronderneming van Pfizer, verkregen documenten echter werd het onderzoek als zodanig, en niet de resultaten ervan, consequent omschreven als een marketingtactiek als onderdeel van de marketingplannen van het bedrijf.10 Dergelijk fase IV-onderzoek staat ook bekend als ’seeding trial’ (Gebu 1996; 30: 86), waarmee wordt beoogd het gebruik van het onderzochte geneesmiddel, in dit geval gabapentine, te bevorderen.
Bias bij de keuze van doseringen en te vergelijken middelen
Bij het gebruik van een placebo als controlebehandeling is het gemakkelijker om de werkzaamheid van een middel te bewijzen dan bij onderzoeken waarbij wordt vergeleken met een ander geneesmiddel. Bij door de industrie gefinancierde onderzoeken naar de behandeling van psoriasis vulgaris werd vaker een placebo als controlebehandeling gekozen.11 Twee bedrijven die onderzoeken financierden betreffende atypische antipsychotica, gebruikten daarbij vaker een placebo als controle dan in onderzoeken die niet door de industrie waren gefinancierd. Dit gold echter niet voor een derde bedrijf.12
Bij het gebruik van geneesmiddelen in de controlegroep wordt soms een te lage of te hoge dosering dan de gangbare of de ’defined daily dose’ (DDD) gebruikt, om of de werkzaamheid van dat controlemiddel te minimaliseren of de bijwerkingen ervan te maximaliseren (Gebu 2003; 37: 108-109). Het gebruik van ongelijke doseringen betekent een schending van het wetenschappelijke principe van ’equipoise’, het beginsel dat het alleen ethisch verantwoord is patiënten te laten deelnemen aan een onderzoek wanneer er een aanzienlijke mate van onzekerheid bestaat over de vraag welke van de twee te vergelijken behandelingen waarschijnlijk het beste resultaat voor die patiënten zal opleveren.13
In een commentaar op recente onderzoeken met antihypertensiva werd opgemerkt dat bij het ’Anglo-Scandinavian Cardiac Outcomes Trial’ (ASCOT)-onderzoek (Gebu 2006; 40: 12-14), amlodipine als middel van eerste keuze werd vergeleken met atenolol, dat volgens sommigen een minder werkzaam middel is. Voorts werd opgemerkt dat ’door de industrie gefinancierde onderzoeken waarbij hun product als behandeling van eerste keuze wordt vergeleken met minder werkzame middelen geen bruikbaar bewijs opleveren, noch voor de medicamenteuze behandeling van eerste keuze noch voor die van tweede keuze’.14
Ten slotte kan de dosering van het te onderzoeken middel ook worden gemanipuleerd om bijvoorbeeld een voor het financierende bedrijf zo gunstig mogelijk resultaat wat betreft bijwerkingen te verkrijgen. Bij door bedrijven gefinancierde onderzoeken naar inhalatiecorticosteroïden worden meestal lagere doseringen gebruikt om de incidentie van bijwerkingen te minimaliseren.15
Zeggenschap over onderzoeksopzet en wijzigingen in het protocol
Een groep Canadese onderzoekers meldde dat industriegebonden sponsoren vaker de uiteindelijke zeggenschap hadden over de onderzoeksopzet dan niet-industriegebonden financiers.16 Onderzoekers enquêteerden 107 medische faculteiten over contracten met industriële sponsoren betreffende onderzoeken. Van deze faculteiten accepteerde 62% een clausule in het contract waarin staat dat de sponsor het recht heeft de onderzoeksopzet aan te passen na het ingaan van de overeenkomst.17 Uit een onderzoek bij Australische medische specialisten bleek dat 2,1% van hen (17 van de 683) melding maakte van ingrijpende aanpassingen van het protocol door de industriële sponsoren tijdens het onderzoek, afgezien van door onafhankelijke commissies vereiste aanpassingen.18
Vroegtijdige beëindiging van klinische onderzoeken
In de tachtiger jaren was de meest voorkomende oorzaak van het beëindigen van een onderzoek in een laat stadium van het onderzoek (meer dan 4 jaar nadat de aanvraag was ingediend) van economische aard (43%), gevolgd door oorzaken die te maken hadden met werkzaamheid (31%) en veiligheid (21%).19 Amerikaanse onderzoekers vonden een zestal onderzoeken, betreffende middelen voor de behandeling van kanker, cardiovasculaire aandoeningen en neonatale sepsis, die voortijdig werden beëindigd om economische redenen (Gebu 2003; 37: 88-89).20 De economische redenen waren onder meer een te kleine commerciële markt, onvoldoende te verwachten rendement en een wijziging in de onderzoeksprioriteiten na fusie van farmaceutische bedrijven. Beëindiging op puur economische gronden kan echter ook worden beschouwd als een schending van de Verklaring van Helsinki waarin wordt gesteld dat ’de verantwoorde uitvoering van medisch-wetenschappelijk onderzoek een maatschappelijke verplichting en een morele verantwoordelijkheid impliceert die bedrijfskwartaalplannen of de wisseling van directeuren te boven gaan’.20
Commercieel gefinancierde onderzoeken worden ook wel beëindigd op grond van het te verwachten nut van het nieuwe product. Wanneer een onderzoek op het gebied van kanker wordt beëindigd voor het beoogde eindpunt is bereikt, kan sprake zijn van economische overwegingen, aangezien hierdoor tijd en onderzoekskosten worden bespaard. Bij bijna driekwart van de tussen 2005 en 2007 gepubliceerde onderzoeken ’waarbij het onderzoek werd beëindigd op grond van een interimanalyse, ging het om onderzoeken ten behoeve van de registratie. Dit duidt erop dat er een commerciële factor meespeelde bij de voortijdige beëindiging van de onderzoeken’.21 Wat geldt voor onderzoeken op het gebied van kanker, geldt ook meer in het algemeen voor gerandomiseerde onderzoeken. Uit een systematisch literatuuroverzicht naar gerandomiseerde onderzoeken die werden beëindigd op grond van overwegingen met betrekking tot het nut van een middel, bleek dat deze in de meeste gevallen door de industrie waren gefinancierd, dat in de publicatie meestal geen volledige uitleg werd gegeven over de beslissing het onderzoek vroegtijdig te beëindigen, en dat hierbij vaak ’onwaarschijnlijk grote behandeleffecten’ werden gemeld.22
Bias bij rapportage aan registratieautoriteiten
Het is aangetoond dat niet alle gegevens die voortkomen uit klinische onderzoeken beschikbaar worden gesteld aan de registratieautoriteiten of dat deze op een misleidende manier worden gepresenteerd. Het bedrijf Merck meldde bij twee gerandomiseerde onderzoeken naar het gebruik van rofecoxib (niet meer in Nederland beschikbaar) door patiënten met de ziekte van Alzheimer of cognitieve beperkingen niet tijdig de gegevens over mortaliteit aan de Amerikaanse registratieautoriteit Food and Drug Administration (FDA). Toen de gegevens aan de FDA werden aangeboden, werd daarbij een ’on-treatment’-analyse gebruikt die het overlijdensrisico minimaliseerde.23 GlaxoSmithKline informeerde de FDA niet over het feit dat hun gegevens over de veiligheid van het langwerkende β2-sympathicomimeticum salmeterol ook ongewenste incidenten omvatten die zes maanden na beëindiging van het onderzoek waren ontstaan. Door deze late incidenten toch mee te nemen in de berekeningen, ontstond een schijnbare vermindering van het met het middel samenhangende risico.24
Rond het einde van 1999 en het begin van 2000 concludeerden onderzoekers van Bayer dat monotherapie met cerivastatine (niet meer in Nederland in de handel) een aanzienlijk verhoogd risico op rabdomyolyse met zich meebracht in vergelijking met andere statinen (Gebu 2005; 39: 3-4). Voor zover kan worden nagegaan zijn deze conclusies nooit aangeboden aan de FDA.25
Herinterpretatie van aan registratieautoriteiten verstrekte gegevens
Eén van de bekendste voorbeelden van de manier waarop bedrijven de interpretatie van onderzoeken aanpassen tussen het moment dat ze de resultaten doorgeven aan de FDA en het moment dat het onderzoek wordt gepubliceerd, is het ’Celecoxib Long-term Arthritis Safety Study’ (CLASS)-onderzoek ter bepaling van de werkzaamheid van celecoxib, een COX-2 remmer, voor wat betreft het verminderen van gastro-intestinale bloedingen.26 De publicatie van dit onderzoek, op basis van over een periode van zes maanden verzamelde gegevens, leek de beschermende werking van celecoxib ten opzichte van de gebruikelijke niet-steroïde anti-inflammatoire geneesmiddelen (NSAID’s) te bewijzen. In deze publicatie werden echter de resultaten van twee aan de FDA gerapporteerde onderzoeken gecombineerd, waarvan er één 12 maanden duurde en de andere 16 maanden (Gebu 2003; 37: 6). Na 12 tot 16 maanden was er tussen de patiënten die celecoxib gebruikten en degenen die een klassieke NSAID gebruikten geen verschil meer in ongewenste gastro-intestinale bijwerkingen.27 28
Restricties op publicatierechten
In een enquête bij Amerikaanse onderzoekers op het gebied van biotechnologie die waren betrokken bij gezamenlijke onderzoeksprogramma’s van de universiteit en de industrie, antwoordde 24% dat zij onderzoek hadden gedaan ’waarvan de resultaten het eigendom waren van de financierende partij en zonder diens toestemming niet mochten worden gepubliceerd,’ terwijl dit voor slechts 5% van degenen gold die financieel werden gesteund door andersoortige sponsoren.8 Toen dezelfde vraag in 2006 werd gesteld aan Canadese onderzoekers bleek ook dat er bij door de industrie gefinancierd onderzoek vaker sprake was van publicatierestricties.16
Onderzoekers onderzochten Deense onderzoeksprotocollen uit de jaren 1994/1995 en 2004, en vonden dat in de eerstgenoemde periode 98% van de onderzoeken werd gesponsord door multinationale farmaceutische bedrijven, en dat er in de tweede periode 91% van de protocollen sprake was van restricties op het publicatierecht.29
Gebruik van neptijdschriften, tijdschriftsupplementen en symposia
Merck sloot een contract af met de medische uitgeverij Elsevier voor het produceren van een neptijdschrift, het ’Australasian Journal of Bone and Joint Medicine’, met het doel rofecoxib en andere producten van Merck te promoten.30
In tijdschriften worden regelmatig verslagen gepubliceerd over commercieel gesponsorde symposia. Toen een aantal tussen 1966 en 1989 gepubliceerde symposia die waren gefinancierd door één farmaceutisch bedrijf werd vergeleken met symposia met andere financieringsbronnen, bleek dat er bij de eerste categorie vaker sprake was van misleidende titels en het gebruik van merknamen, en dat er minder vaak sprake was van peer review dan bij andere artikelen uit het tijdschrift.31 Hoewel bij een vervolgonderzoek geen verschil in kwaliteit en klinische relevantie werd gevonden tussen de artikelen op basis van door bedrijven gefinancierde symposia en artikelen in het reguliere tijdschrift, waren de resultaten in de eerste categorie vaker positief voor het onderzochte geneesmiddel.32 Artikelen in tijdschriftsupplementen zijn van lagere methodologische kwaliteit dan de artikelen in het reguliere tijdschrift,33 maar worden desondanks minstens even vaak geciteerd als de artikelen in het reguliere tijdschrift34.
Gebruik van ghostwriting
Ghostwriting is de praktijk waarbij een bedrijf of iemand die namens hen optreedt, een medisch schrijver inhuurt voor het schrijven van een artikel op basis van onderzoeksgegevens die het eigendom zijn van het bedrijf, of een overzichtsartikel, een redactioneel commentaar of een ingezonden brief (Gebu 2010; 44: 59-60). Het artikel wordt vervolgens aangeboden aan een academicus of onderzoeker die bereid is zijn of haar naam erboven te zetten, gewoonlijk tegen betaling of voor het prestige dat een publicatie oplevert. Wanneer het artikel uiteindelijk in druk verschijnt, wordt de rol van de ghostwriter niet vermeld.
In 1994 sloot Wyeth een contract ter waarde van $ 180.000 met Excerpta Medica, een medische uitgeverij uit New Jersey, voor het produceren van positieve medische artikelen over het door hen geproduceerde dieetmiddel dexfenfluramine (niet meer beschikbaar in Nederland). Excerpta stelde een reeks van negen artikelen voor, elk met een zorgvuldig verwoorde boodschap, toegesneden op verschillende doelgroepen. De artikelen werden geschreven door een ghostwriter die $ 5.000 ontving, en vervolgens ondertekend door een prominente wetenschapper die $ 1.500 kreeg om het artikel te controleren en zijn of haar naam boven de publicatie te zetten. Hoewel medewerkers van Wyeth volhielden dat de academische auteurs in laatste instantie hun goedkeuring aan de artikelen hadden gegeven, pasten medewerkers van het bedrijf regelmatig de tekst aan, waarbij ze minder gunstige verwijzingen naar dexfenfluramine of positieve opmerkingen over andere middelen verwijderden.35
Wyeth huurde ook ghostwriters in ter veiligstelling van de $ 2 miljard die ze jaarlijks verdienden met de verkoop van Premarin® en Prempro®, de twee door hen gefabriceerde producten voor hormonale suppletietherapie (HST), zowel voor als na de publicatie van het ’Women’s Health Initiative’-onderzoek (WHI). De WHI toonde dat HST niet alleen geen bescherming bood tegen cardiovasculaire incidenten bij postmenopauzale vrouwen, maar dat het gebruik ervan zelfs kon leiden tot een toename van het aantal cardiovasculaire aandoeningen in deze populatie (Gebu 2002; 36: 117-118).36 Uit rechtbankdocumenten blijkt dat ghostwriters een belangrijke rol hadden gespeeld bij het produceren van 26 wetenschappelijke artikelen waarin het gebruik van HST werd aanbevolen. In deze artikelen, waarvan sommige waren verschenen in vooraanstaande tijdschriften als het ’American Journal of Obstetrics and Gynecology’, werden de voordelen van hormoongebruik benadrukt en de risico’s gebagatelliseerd. Daarbij werd de rol van Wyeth bij het initiëren en financieren van het werk niet vermeld.37
In een enquête bij 823 Australische specialisten meldde iets meer dan 12% dat medewerkers van bedrijven het eerste concept hadden geschreven van publicaties die onder hun naam waren verschenen. Er werd niet nagegaan of in deze gevallen de namen van die medewerkers niet als auteurs in het uiteindelijke manuscript werden vermeld.18 Canadese onderzoekers die deelnamen aan door de industrie gefinancierde onderzoeken meldden vaker gevallen van ghostwriting dan degenen die waren betrokken bij onderzoeken met andersoortige financiering.16
Uitstel van publicatie, niet publiceren en selectief publiceren
Een vroeg voorbeeld van uitgestelde publicatie betreft het onderzoek naar de anti-aritmische werking van lorcaïnide bij patiënten met een myocardinfarct.38 Hoewel het onderzoek niet was opgezet om verschillen in mortaliteit vast te stellen, bleek dat negen van de 48 patiënten die lorcaïnide gebruikten, overleden, tegenover één van de 47 in de placebogroep. Doordat de ontwikkeling van het middel om commerciële redenen werd gestaakt, bleef het onderzoek na afloop 13 jaar lang ongepubliceerd. Eerdere publicatie had een waarschuwingssignaal kunnen zijn voor het gebruik van andere anti-aritmica dat ook gepaard ging met een hogere mortaliteit.39
Uit enquêtes bij Amerikaanse7 9 en Australische18 onderzoekers zijn aanwijzingen gekomen voor uitstel of tegengaan van publicaties. Bij een enquête in de Verenigde Staten (VS) in 1994 antwoordde 58% van de respondenten dat bedrijven hen meestal opdroegen informatie gedurende meer dan zes maanden geheim te houden, zodat zij een octrooiaanvraag konden indienen.7 Dezelfde auteurs herhaalden deze enquête 13 jaar later en het bleek dat door de industrie gefinancierde onderzoekers vaker antwoordden dat een publicatie met meer dan zes maanden was uitgesteld of dat het uitstel ten doel had de verspreiding van ongewenste resultaten te voorkomen, dan onderzoekers die niet door de industrie werden gesponsord.9 Van een groep Australische specialisten meldde 6,7% dat een presentatie of publicatie van belangrijke gegevens was uitgesteld op andere gronden dan de integriteit van de gegevens, en 5,1% meldde dat belangrijke gegevens niet waren gepubliceerd.18
Er zijn drie onderzoeken geweest naar het moment van publicatie, en uit twee daarvan bleek dat het bij onderzoeken, gefinancierd door bedrijven, langer duurde voor ze werden gepubliceerd dan bij onderzoeken met andere financieringsbronnen.40 Onderzoeken op het gebied van de oncologie die bij ClinicalTrials.gov waren geregistreerd, werden het minst vaak gepubliceerd als ze waren gefinancierd door de industrie, in vergelijking met onderzoeken gefinancierd door onderzoeksnetwerken, de NIH, universiteiten of onderzoeksinstellingen.41 Uit een ander onderzoek bleek dat onderzoeken die primair door de industrie waren gefinancierd minder vaak werden gepubliceerd dan onderzoeken gefinancierd door andere bronnen dan de industrie of de overheid, maar dat er geen significant verschil was met onderzoeken die door de overheid waren gefinancierd.42
In andere gevallen is er tegenstrijdige informatie over de vraag of financiering door de industrie leidt tot uitstel van publicatie: terwijl niet-commerciële onderzoeken die werden voorgelegd aan een Zwitserse medisch-ethische commissie voor onderzoek vaker werden gepubliceerd dan commerciële,43 werden er van de door de industrie gefinancierde onderzoeken die waren voorgelegd aan de Noorse medisch-ethische commissie evenveel gepubliceerd als van de niet door de industrie gefinancierde44. Uit een onderzoek naar de aan de ’Nova Scotia Research Ethics Board’ te Halifax voorgelegde onderzoeken bleek dat de door de industrie gefinancierde onderzoeken minder vaak werden gepubliceerd dan de onderzoeken die waren gefinancierd door Canadese federale onderzoeksinstellingen, maar wel weer vaker dan onderzoeken die waren gefinancierd door de plaatselijke gezondheidsdienst.45 Uit twee onderzoeken naar de publicatie van ’abstracts’ van presentaties op bijeenkomsten van oncologen bleek dat bij financiering door de farmaceutische industrie de kans op publicatie hoger was dan zonder dergelijke financiering.46 47
Er zijn talrijke voorbeelden bekend van het selectief publiceren van door de industrie gefinancierde onderzoeken met negatieve resultaten. Onderzoekers meldden dat bij vier door de industrie gefinancierde onderzoeken die niet waren gepubliceerd, niet-significante resultaten waren gevonden.48 Van de 37 onderzoeken over selectieve serotonine-heropnameremmers (SSRI’s) waarvan de resultaten door de FDA werden beschouwd als negatief of twijfelachtig, werden er 22 nooit gepubliceerd (Gebu 2008; 42: 26-27).49 Onderzoeken ter bepaling van de werkzaamheid die door producenten bij de FDA werden ingediend ter ondersteuning van aanvragen voor goedkeuring van nieuwe middelen, werden bijna vijf maal zo vaak gepubliceerd wanneer ze gunstige primaire uitkomsten hadden.42 Meer dan 50% van de ondersteunende onderzoeken van door de FDA tussen 1998 en 2000 goedgekeurde middelen waren vijf jaar na de indiening bij de FDA nog niet gepubliceerd. Onderzoeken werden vaker gepubliceerd wanneer ze doorslaggevend waren, dat wil zeggen toonden dat het middel werkzaam en veilig was, of als ze statistisch significante resultaten opleverden.50 In Finland bestaat de verplichting om een eindverslag over de resultaten van onderzoeken in te dienen bij het nationale geneesmiddelenbureau. Over de door de industrie gefinancierde onderzoeken met positieve resultaten werd in 38% van de gevallen een verslag ingediend, over de onderzoeken met onduidelijke resultaten in 18% van de gevallen en over de onderzoeken met negatieve resultaten in 20% van de gevallen, hetgeen duidelijk aangeeft dat er sprake is van selectieve rapportage ten gunste van onderzoeken met een positief resultaat.51
Het niet publiceren van gegevens kan ertoe leiden dat de werkzaamheid van een product wordt overschat en de schadelijkheid ervan onderschat. Op basis van de gepubliceerde gegevens werd het gunstige effect van het antidepressivum reboxetine ten opzichte van placebo met wel 115% overschat, en dat van reboxetine ten opzichte van SSRI’s met 23%, terwijl de bijwerkingen werden onderschat.52 Het niet of vertraagd publiceren van bepaalde onderzoeken betreffende bloedvervangers op hemoglobinebasis leverde een vertraging op in de uitvoering van meta-analysen waaruit een verband bleek tussen het gebruik van deze middelen en een verhoogd risico op overlijden of myocardinfarct. Op grond van dergelijke meta-analysen hadden verdere onderzoeken mogelijk kunnen worden opgeschort.53 Het niet publiceren van gegevens over de veiligheid van cerivastatine waaruit bleek dat dit middel aanleiding kon geven tot rabdomyolyse, leidde tot vertraging bij het doen uitgaan van waarschuwingen over deze ernstige en potentieel levensbedreigende bijwerking.25
Ten slotte zijn er ook voorbeelden gemeld van bedrijven die weigerden ongepubliceerde gegevens ter beschikking te stellen aan onderzoekers. Het meeste recente geruchtmakende voorbeeld hiervan betrof gegevens over de vraag of oseltamivir de complicaties van influenza kan verminderen (Gebu 2010; 44: 127-130).54
Meerdere publicaties over hetzelfde onderzoek
In 1996 maakten onderzoekers melding van meerdere publicaties over twee door Janssen gefinancierde onderzoeken over risperidon.55 Eén daarvan leidde tot zes verschillende publicaties plus citaties in diverse niet-gepubliceerde documenten. Andere onderzoekers vonden 21 door een bedrijf gefinancierde onderzoeken over SSRI’s die aanleiding hadden gegeven tot elk twee publicaties, en drie onderzoeken die hadden bijgedragen tot vijf publicaties elk.48 Negen onderzoeken over ondansetron werden 23 keer geheel of gedeeltelijk gepubliceerd, en deze waren alle negen gefinancierd door de fabrikant.56 Diverse onderzoeken over duloxetine werden opgenomen in 21 statistisch samengevatte ofwel gepoolde analysen, en bij het overgrote deel van deze analysen was er minstens één auteur betrokken die in dienst was bij Eli Lilly, de fabrikant van het product.57
Bias bij het rapporteren van resultaten en uitkomsten
Onafhankelijke onderzoekers gebruikten interne documenten van GlaxoSmithKline voor een onderzoek naar de verschillen tussen de feitelijke resultaten van het als ’onderzoek 329’ bekend staande onderzoek over enerzijds de veiligheid en werkzaamheid van paroxetine bij adolescenten en anderzijds de manier waarop die resultaten werden gepresenteerd in de publicatie.58 In de publicatie werd gesteld dat ’paroxetine in het algemeen goed wordt verdragen en een werkzaam middel is bij de behandeling van ernstige depressies bij adolescenten’.59 Daarentegen bleek uit de in het protocol gedefinieerde primaire en secundaire uitkomsten dat ’er geen significant verschil in werkzaamheid was tussen paroxetine en placebo voor wat betreft de twee primaire uitkomstmaten en de zes secundaire uitkomstmaten’ en dat het gebruik van paroxetine gepaard ging met gezondheidsrisico’s. Significante verschillen tussen de in het protocol gedefinieerde primaire uitkomst en datgene wat in de publicatie stond, werden ook gevonden bij onderzoeken naar de werkzaamheid van gabapentine.60 Andere onderzoekers constateerden dat onderzoeken waarbij melding werd gemaakt van significante effecten van SSRI’s vaker in afzonderlijke publicaties werden gerapporteerd dan onderzoeken met niet-significante resultaten.48 Een cohortonderzoek naar bias bij de rapportage van uitkomsten, door het vergelijken van protocollen die in de jaren 1994 en 1995 waren ingediend bij de medisch-ethische commissies in Kopenhagen en Frederiksberg (Denemarken) met de uiteindelijke publicatie, leverde uiteenlopende bevindingen op wat betreft sponsorship-bias.61 Uit een meta-regressieanalyse kwam geen significant verband naar voren tussen de financieringsbron en de mate van bias bij het rapporteren van uitkomsten op het gebied van werkzaamheid en bijwerkingen. Maar als werd gekeken naar grote discrepanties tussen de in het protocol gespecificeerde primaire uitkomsten en de uitkomsten gemeld in het gepubliceerde artikel, bleek dat 61% van de 51 onderzoeken waarbij grote discrepanties werden gezien, uitsluitend door de industrie was gefinancierd, terwijl van de 51 onderzoeken zonder grote discrepanties maar 49% door de industrie was gefinancierd.
Canadese onderzoekers hebben gemeld dat sponsoren van onderzoek vaker zeggenschap hadden over de analyse en interpretatie van de gegevens dan niet-commerciële sponsoren, maar of dit resulteerde in bias in de rapportage in de uiteindelijke manuscripten werd door hen niet onderzocht.16 Bij een onderzoek onder Australische specialisten meldde 2,7% van hen dat de sponsoren de rapporten aanpasten om het onderzochte middel er gunstiger uit te laten komen dan werd gerechtvaardigd door de onderzoeksresultaten, terwijl 2,2% zei dat er relevante gegevens werden achtergehouden en 0,9% zei dat er patiëntgegevens of statistieken waren gewijzigd.18
In 2003 werd een systematische literatuuroverzicht gepubliceerd waaruit bleek dat er een statistisch significant verband bestond tussen financiering door de industrie en conclusies die voor die industrie gunstig waren (odds ratio OR 3,60).62 In 2008 werd de literatuur over dit onderwerp na 2003 samengevat in een kwalitatief systematisch literatuuroverzicht.63 Geconcludeerd werd dat ’bij 17 sinds 2003 gepubliceerde analysen een verband is gevonden, en meestal een sterk verband, tussen financiering door de industrie en de publicatie van resultaten die voor die industrie gunstig waren, terwijl dit bij twee analysen niet werd gevonden’. Momenteel wordt nog een literatuuroverzicht afgerond in het kader van de Cochrane Collaboration met als doel de bestaande gegevens aan te vullen met recent onderzoek.64 [NB: deze meta-analyse is inmiddels gepubliceerd]
Wat kunnen we doen tegen sponsorship-bias?
De discussie over het terugdringen of elimineren van bias valt ruwweg uiteen in twee benaderingen. De eerste omvat het aanbrengen van een scheiding tussen het geld en de mensen die het onderzoek doen en de gegevens analyseren. Bij een variant van deze benadering zouden bedrijven het geld geven aan een instelling, zoals de NIH. De NIH kan dan een oproep doen uitgaan aan onderzoekers om te zien wie is geïnteresseerd, en dan onderzoekers selecteren op basis van aspecten als ervaring op het vakgebied en de kwaliteit van hun voorstel voor een onderzoeksprotocol. De onderzoekers zouden dan ook verantwoordelijk zijn voor de gegevensanalyse, waarna de gegevens ter beschikking worden gesteld aan het bedrijf voor het gebruik ten behoeve van registratie of voor andere doeleinden. De gegevens zouden tevens worden bewaard in een voor het publiek toegankelijke opslagfaciliteit.65 66
De andere benadering houdt in dat er een volledig zelfstandige financieringsbron wordt gecreëerd die onafhankelijk is van de farmaceutische industrie. Er is gepleit voor openbare financiering, met als argument dat alle producten die uit dergelijk onderzoek voortvloeien vervolgens kunnen worden ingebracht in een open licentieprocedure met prijsconcurrentie tussen meerdere producenten.67 De besparingen die dit oplevert door lagere geneesmiddelenprijzen zouden voldoende geld opleveren voor de financiering van het onderzoek. Een ander mogelijk mechanisme is een bindend internationaal ’Research and Development’ (R&D)-verdrag dat wordt gefinancierd door de deelnemende landen, die jaarlijks een vast percentage van hun bruto binnenlands product (BBP) bijdragen. Het precedent voor een dergelijk verdrag wordt gevormd door de ’Framework Convention on Tobacco Control’.68 In het recente rapport van de ’Consultative Expert Working Group on Research and Development’ wordt voorgesteld dat landen 0,01% van hun BBP bijdragen.69 Het uit dit fonds gefinancierde onderzoek zou uitsluitend betrekking hebben op verwaarloosde tropische ziekten, maar in theorie is er geen reden om deze restrictie te handhaven. Die restrictie was alleen toegevoegd om de politieke tegenstand tegen het idee van een R&D-verdrag te overwinnen, en hoewel elke poging om de werkingssfeer van het verdrag uit te breiden zeker aanzienlijke weerstand zou uitlokken, zou het wellicht mogelijk zijn deze te overwinnen met voldoende politieke wil en leiderschap in de wereld. Het slagen of falen van deze voorstellen zal bepalend zijn voor de vraag hoe lang financiering door bedrijven nog een vertekenende invloed kan blijven uitoefenen op de manier waarop klinische onderzoeken worden uitgevoerd en gepubliceerd.
Ge-Bu Plaatsbepaling
Lexchin, de auteur van dit vertaalde artikel, geeft aan dat de farmaceutische industrie zich in een conflictsituatie bevindt. Het economische lot van de farmaceutische bedrijven hangt af van een gunstige uitkomst van de onderzoeken die zij financieren en daardoor kunnen zij in de verleiding komen het onderzoek waarbij zij zijn betrokken te beïnvloeden. Deze situatie beperkt zich niet tot de farmaceutische industrie, hetzelfde is waar te nemen bij de tabaksindustrie, het bankwezen, de voedingsmiddelen- en drankindustrie en ook, zoals zeer recent nog werd aangetoond, de automobielindustrie.
In het artikel noemt de auteur diverse ingrepen waarmee de farmaceutische industrie als sponsor van wetenschappelijk onderzoek de resultaten ervan beïnvloedt. Als dergelijke in positieve zin vertekende resultaten worden gepubliceerd in wetenschappelijke artikelen, kunnen lezers onwetend van deze vertekening op het verkeerde been worden gezet. Hieronder worden een aantal zaken uitgewerkt die de lezers verder behulpzaam kunnen zijn bij het beoordelen van dergelijke artikelen met al te optimistische boodschappen. Deze zaken zijn overigens voor het merendeel al in eerdere uitgaven van het Geneesmiddelenbulletin besproken. In Gebu 2012; 46: 138-145 heeft dezelfde auteur verschillende aspecten besproken hoe de farmaceutische industrie de uitkomsten van klinisch onderzoek met geneesmiddelen beïnvloedt. Het huidige artikel kan worden gezien als een nadere verduidelijking daarvan.
Voorlichting over een nieuw geneesmiddel of een nieuwe behandeling moet niet worden gedaan door een persoon die financieel voordeel heeft of kan hebben van de gegeven informatie. Dat geldt helemaal als er giften of cadeaus in het spel zijn. Als artsen of apothekers artikelen doornemen of bespreken dan kan het wenselijk zijn dat te doen met iemand die deskundig is op het gebied van evidence based medicine (EBM). Het wordt aanbevolen altijd te kijken wie de sponsor is van het onderzoek.
Geadviseerd wordt dat de lezer zich bij de keuze van artikelen beperkt tot de wetenschappelijke literatuur en voor die keuze gelden meerdere aandachtspunten. Zo volgen de conclusies die de onderzoekers in het abstract van het artikel weergeven meestal niet logisch uit hetgeen is onderzocht, zijn ze te optimistisch gesteld en is er meestal weinig reden om hier waarde aan te hechten. De titels van artikelen zijn bedoeld om de aandacht van de lezer te trekken, maar ze missen nuance en de vlag dekt zelden de lading. Bij het bespreken van artikelen in de rubriek Nieuwe onderzoeken wordt in het Geneesmiddelenbulletin voor de Plaatsbepaling eerst de conclusie van de onderzoekers weergegeven en daarna wordt deze conclusie beoordeeld op grond van criteria die de interne en externe validiteit van het onderzoek betreffen. Het komt dan wel eens voor dat de conclusie van de onderzoekers als redelijk juist wordt beoordeeld, maar meestal is er veel aan te merken op de validiteit. Er is ook weinig reden waarde te hechten aan het interview dat de onderzoekers op de websites van het tijdschrift hebben gegeven, zeker als ze op de loonlijst van de industrie staan en zij afhankelijk zijn externe sponsoren. In het persbericht dat de fabrikanten doen uitgaan, hoeft men ook geen kritische beoordeling van de interne en externe validiteit van het onderzoek te verwachten, aangezien het de bedoeling is om mensen te overtuigen van de waarde van het nieuwe geneesmiddel of de nieuwe behandeling. Journalisten van kranten en tijdschriften zijn vaak onvoldoende of niet in staat om de problemen met de validiteit van de onderzoeksgegevens op hun waarde te schatten en nemen de conclusies van de onderzoekers vaak in hun geheel over. Over de waarde van krantenkoppen is al veel geschreven.
Supplementen van medische tijdschriften worden meestal door de fabrikanten gekocht en de artikelen die erin worden opgenomen, ondergaan niet het gewone systeem van peer review. Het Geneesmiddelenbulletin beschouwt artikelen die zijn gepubliceerd in dergelijke tijdschriften niet als wetenschappelijk bewijs en neemt ze niet op in de literatuurlijst. Proceedings van symposia en artikelen uit tijdschriften die niet zijn opgenomen in de elektronisch zoekmachine Pubmed, worden niet als wetenschappelijk bewijs beschouwd. Ook aan videoconferenties en abstract-services verspilt het Geneesmiddelenbulletin zijn tijd niet.
Het lezen en beoordelen van ’Papers to change practice’ kosten lezers veel tijd en werk en het is verstandiger om eerst de nieuwe versie van een standaard af te wachten. Lezers die artikelen toch zelf willen beoordelen, kunnen hiervoor onder meer adviezen vinden in de artikelen hierover in het Geneesmiddelenbulletin. In een recent nummer van het Nederlands Tijdschrift voor Geneeskunde (Ned Tijdschr Geneeskd 2015; 159: 1044-1052) is de wijze waarop artikelen moeten worden gelezen op fraaie wijze vorm gegeven.
Naast de genoemde vrij eenvoudig toe te passen criteria voor het beoordelen van publicaties en/of artikelen, zijn er nog enkele algemene criteria te geven. Hoe groter het aantal patiënten dat aan een onderzoek deelneemt, hoe groter de kans op een statistisch significant effect en hoe kleiner de klinische relevantie van het effect op de individuele patiënt zal zijn. Als een effect alleen met behulp van diverse (zeer) ingewikkelde statistische ingrepen kan worden gevonden, zoals niet-geprotocolleerde subgroepanalysen, dan is twijfel over de wetenschappelijk betekenis van het bewijs op zijn plaats. Bij het beoordelen van een artikel dient de sponsoring en de belangenverstrengelingen van de onderzoekers mee te worden gewogen. Zwakke punten in een artikel of onderzoek komen nogal eens in ingezonden brieven aan de orde en deze brieven worden meestal pas enkele maanden na de publicatie van het oorspronkelijke artikel in het tijdschrift geplaatst. Voor nieuwe geneesmiddelen geldt voorts dat de Europese registratieautoriteit deze moet toelaten als is aangetoond dat ze niet slechter zijn dan de middelen die al in de handel zijn.
Eerder zijn in het Geneesmiddelenbulletin nog enkele andere methodologische aspecten van het beoordelen van geneesmiddelenonderzoek besproken. In Gebu 2015; 49: 27-34 zijn de valkuilen bij de interpretatie van het non-inferioriteitsonderzoek beschreven. Het is meestal niet aangewezen dit type onderzoek te gebruiken bij het bepalen van de werkzaamheid van een geneesmiddel, daarvoor is een superioriteitsonderzoek het geschiktst. Aan het gebruik van samengestelde uitkomstmaten kleven belangrijke bezwaren (Gebu 2009; 43: 33-34), evenals aan het gebruik van een analyse met de meeste kans op een positieve uitkomst (per-protocolanalyse, last observation carried forward (LOCF)-analyse (Gebu 2000; 34: 17-22)). Ook dient de lezer zich af te vragen wat de relevantie is van de gehanteerde uitkomstmaten.
De auteur beveelt aan om een scheiding aan te brengen tussen het geld en de mensen die het onderzoek uitvoeren. Hiermee kan een aanzienlijk deel van het probleem, namelijk de invloed van financiële belangenverstrengeling op de uitkomsten van onderzoek, worden geëlimineerd en verdient daarom navolging.
De hierboven genoemde elementen behoren in het onderwijs aan studenten geneeskunde en farmacie aan bod te komen en te worden geëxamineerd. Dit zal echter in toenemende mate moeilijk worden omdat de onderzoekers vaak zijn verbonden aan universitaire centra en er bij hen sprake is van de genoemde ongewenste belangenverstrengeling. Universitaire onderzoekers die samenwerken met de industrie zouden een samenwerkingscontract moeten tekenen waarin wordt vastgelegd dat zij geheel onafhankelijk hun onderzoek moeten doen met de verplichting alle onderzoeksprotocollen openbaar te maken, inclusief alle ruwe gegevens en resultaten.
Ten slotte zouden de redacties van tijdschriften conceptartikelen kritischer moeten beoordelen en meer eisen moeten stellen ten aanzien van het onderbouwen van statistische analysen, het interpreteren van resultaten en het trekken van conclusies. Vergelijkingen met het oorspronkelijke onderzoeksprotocol zou tot de standaardprocedures moeten behoren die tijdschriftredacties toepassen. In het algemeen zouden redacties artikelen met negatieve resultaten eveneens moeten publiceren.
Als men bij het beoordelen van artikelen de genoemde aandachtspunten meeneemt, zal men vaak teleurgesteld worden over het wetenschappelijke gehalte van de meeste artikelen, maar helaas is dat de realiteit.
Literatuurreferenties
- Pharmaceutical industry profile 2011. Washington DC: PhRMA, 2011.
- National Institutes of Health. The NIH almanac – appropriations. U.S. Department of Health and Human Services, 2011.
- Moses HI, Dorsey ER, Matheson DHM, Thier SO. Financial anatomy of biomedical research. JAMA 2005; 294: 1333-1342.
- Hole OP, Winther FØ, Straume B. Clinical research: the influence of the pharmaceutical industry. Eur J Clin Pharmacol 2001; 56: 851-853.
- Patsopoulos NA, Ioannidis JPA, Analatos AA. Origin and funding of the most frequently cited papers in medicine: database analysis. BMJ 2006; 332: 1061-1064.
- Tallon D, Chard J, Dieppe P. Relation between agendas of the research community and the research consumer. Lancet 2000; 355: 2037-2040.
- Blumenthal D, Campbell EG, Causino N, Louis KS. Participation of life-science faculty in research relationships with industry. N Engl J Med 1996; 335: 1734-1739.
- Blumenthal D, Gluck M, Louis KS, Stoto MA, Wise D. University-industry research relationships in biotechnology: implications for the university. Science 1986; 232: 1361-1366.
- Zinner DE, Bjankovic D, Clarridge B, Blumenthal D, Campbell EG. Participation of academic scientists in relationships with industry. Health Affairs 2009; 28: 1814-1825.
- Krumholz SD, Egilman DS, Ross JS. Study of neurontin: titrate to effect, profile of safety (STEPS) trial: a narrative account of a gabapentin seeding trial. Arch Intern Med 2011; 171: 1100-1107.
- Katz KA, Karlawish JH, Chiang DS, Bognet RA, Propert KJ, Margolis DJ. Prevalence and factors associated with use of placebo control groups in randomized controlled trials in psoriasis: a cross-sectional study. J Am Acad Dermatol 2006; 55: 814-822.
- Procyshyn RM, Chau A, Fortin P, Jenkins W. Prevalence and outcomes of pharmaceutical industry-sponsored clinical trials involving clozapine, risperidone, or olanzapine. Can J Psychiatry 2004; 49: 601-606.
- Djulbegovic B, Cantor A, Clarke M. The importance of preservation of the ethical principle of equipoise in the design of clinical trials: relative impact of the methodological quality domains on the treatment effect in randomized controlled trials. Account Res 2003; 10: 301-315.
- Psaty BM, Weiss NS, Furberg CD. Recent trials in hypertension: compelling science or commercial speech? JAMA 2006; 295: 1704-1706.
- Nieto A, Mazon A, Pamies R, Linana JJ, Lanuza A, Jimenez FO, et al. Adverse effects of inhaled corticosteroids in funded and nonfunded studies. Arch Intern Med 2007; 167: 2047-2053.
- Rochon PA, Sekeres M, Hoey J, Lexchin J, Ferris LE, Moher D, et al. Investigator experiences with financial conflicts of interest in clinical trials. Trials 2011; 12: 9.
- Mello MM, Clarridge BR, Studdert DM. Academic medical centers’ standards for clinical-trial agreements with industry. New Engl J Med 2005; 352: 2202-2210.
- Henry DA, Kerridge IH, Hill SR, McNeill PM, Doran E, Newby DA, et al. Medical specialists and pharmaceutical industry-sponsored research: a survey of the Australian experience. Med J Aust 2005; 182: 557-560.
- DiMasi JA. Success rates for new drugs entering clinical testing in the United States. Clin Pharmacol Ther 1995; 58: 1-14.
- Psaty BM, Rennie D. Stopping medical research to save money: a broken pact with researchers and patients. JAMA 2003; 289: 2128-2131.
- Trotta F, Apolone G, Garattini S, Tafuri G. Stopping a trial early in oncology: for patients or for industry? Ann Oncol 2008; 19: 1347-1353.
- Montori VM, Devereaux PJ, Adhikari NKJ, Burns KEA, Eggert CH, Briel M, et al. Randomized trials stopped early for benefit: a systematic review. JAMA 2005; 294: 2203-2209.
- Psaty BM, Kronmal RA. Reporting mortality findings in trials of rofecoxib for Alzheimer disease or cognitive impairment: a case study based on documents from rofecoxib litigation. JAMA 2008; 299: 1813-1817.
- Lurie P, Wofle SM. Misleading data analyses in salmeterol (SMART) study. Lancet 2005; 366: 1261-1262.
- Psaty BM, Furberg CD, Ray WA, Weiss NS. Potential for conflict of interest in the evaluation of suspected adverse drug reactions: use of cerivastatin and risk of rhabdomyolysis. JAMA 2004; 292: 2622-2631.
- Silverstein FE, Faich G, Goldstein JL, Simon LS, Pincus T, Whelton A, et al. Gastrointestinal toxicity with celecoxib vs nonsteroidal anti-inflammatory drugs for osteoarthritis and rheumatoid arthritis: the CLASS study: a randomized controlled trial. JAMA 2000; 284: 1247-1255.
- Hrachovec JB, Mora M. Reporting of 6-month vs 12-month data in a clinical trial of celecoxib. JAMA 2001; 286: 2398.
- Wright JM, Perry TL, Bassett KL, Chambers GK. Reporting of 6-month vs 12-month data in a clinical trial of celecoxib. JAMA 2001; 286: 2398-2399.
- Gøtzsche PC, Hrobjartsson A, Johansen HK, Haahr MT, Altman DG, Chan A-W. Constraints on publication rights in´ industry-initiated clinical trials. JAMA 2006; 295: 1645-1646.
- Jureidini J, Clothier R. Elsevier should divest itself of either its medical publishing or pharmaceutical services division. Lancet 2009; 374: 375.
- Bero LA, Galbraith A, Rennie D. The publication of sponsored symposiums in medical journals. N Engl J Med 1992; 327: 1135-1140.
- Cho MK, Bero LA. The quality of drug studies published in symposium proceedings. Ann Intern Med 1996; 124: 485-489.
- Rochon PA, Gurwitz JH, Cheung M, Hayes JA, Chalmers TC. Evaluating the quality of articles published in journal supplements compared with the quality of those published in the parent journal. JAMA 1994; 272: 106-113.
- Citrome L. Citability of original research and reviews in journals and their sponsored supplements. PLoS One 2010; 5: e9876.
- Kauffman M, Julien A. Scientists helped industry to push diet drug medical research: can we trust it? Hartford Courant 2000 April 10.
- Writing Group for the Women’s Health Initiative Investigators. Risks and benefits of estrogen plus progestin in health postmenopausal women: principal results from the Women’s Health Initiative randomized controlled trial. JAMA 2002; 288: 321-333.
- Singer N. Medical papers by ghostwriters pushed therapy. New York Times 2009 August 5.
- Cowley AJ, Skene A, Stainer K, Hampton JR. The effect of lorcainide on arrhythmias and survival in patients with acute myocardial infarction: an example of publication bias. Int J Cardiol 1993; 40: 161-166.
- The Cardiac Arrhythmia Suppression Trial (CAST) Investigators. Preliminary report: Effect of encainide and flecainide on mortality in a randomized trial of arrhythmia suppression after myocardial infarction. N Engl J Med 1989; 321: 406-412.
- Lexchin J, Bero L, Djubegovic B, Clark O. Pharmaceutical industry sponsored research: evidence for a systematic bias. BMJ 2003; 326: 1167-1170.
- Ramsey S, Scoggins J. Commentary: practicing on the tip of an information iceberg? Evidence of underpublication of registered clinical trials in oncology. Oncologist 2008; 13: 925-929.
- Rising K, Bacchetti P, Bero L. Reporting bias in drug trials submitted to the Food and Drug Administration: review of publication and presentation. PLoS Medicine 2008; 5: e217.
- Elm E von, Rollin A, Blümle A, Huwiler K, Witschi M, Egger M. Publication and non-publication of clinical trials: longitudinal study of applications submitted to a research ethics committee. Swiss Med Wkly 2008; 138: 197-203.
- Hole OP, Nitter-Hauge S, Cederkvist HR, Winther FØ. An analysis of the clinical development of drugs in Norway for the year 2000: the completion of research and publication of results. Eur J Clin Pharmacol 2009; 65: 315-318.
- Hall R, de Antueno C, Webber A. Publication bias in the medical literature: a review by a Canadian Research Ethics Board. Can J Anaesth 2007; 54: 380-388.
- Kho ME, Brouwers MC. Conference abstracts of a new oncology drug do not always lead to full publication: proceed with caution. J Clin Epidemiol 2009; 62: 752-758.
- Krzyzanowska MK, Pintilie M, Tannock IF. Factors associated with failure to publish large randomized trials presented at an oncology meeting. JAMA 2003; 290: 495-501.
- Melander H, Ahlqvist-Rastad J, Meijer G, Beermann B. Evidence b(i)ased medicine – selective reporting from studies sponsored by pharmaceutical industry: review of studies in new drug applications. BMJ 2003; 326: 1171.
- Turner EH, Matthews AM, Linardatos E, Tell RA, Rosenthal R. Selective publication of antidepressant trials and its influence on apparent efficacy. N Engl J Med 2008; 358: 252-260.
- Lee K, Bacchetti P, Sim I. Publication of clinical trials supporting successful new drug applications: a literature analysis. PLoS Medicine 2008; 5: e191.
- Bardy AH. Bias in reporting clinical trials. Brit J Clin Pharmacol 1998; 46: 147-150.
- Eyding D, Lelgemann M, Grouven U, Harter M, Kromp M, Kaiser T, et al. Reboxetine for acute treatment of major depression: systematic review and meta-analysis of published and unpublished placebo and selective serotonin reuptake inhibitor controlled trials. BMJ 2010; 341: e4737.
- Natanson C, Kern SJ, Lurie P, Banks SM, Wolfe SM. Cell-free hemoglobin-based blood substitutes and risk of myocardial infarction and death: a meta-analysis. JAMA 2008; 299: 2304-2312.
- Doshi P. Neuraminidase inhibitors: the story behind the Cochrane review. BMJ 2009; 339: 1348-1354.
- Huston P, Moher D. Redundancy, disaggregation, and the integrity of medical research. Lancet 1996; 347: 1024-1026.
- Tramer MR, Reynolds DJM, Moore RA, McQuay HJ. Impact of covert duplicate publication on meta-analysis: a case study. BMJ 1997; 315: 635-640.
- Spielmans GI, Biehn TL, Sawrey DL. A case study of salami slicing: pooled analyses of duloxetine for depression. Psychother Psychosom 2010; 79: 97-106.
- Jureidini J, McHenry LB, Mansfield PR. Clinical trials and drug promotion: selective reporting of study 329. Int J Risk & Safety Med 2008; 20: 73-81.
- Keller MB, Ryan ND, Strober M, Klein RG, Kutcher SP, Birmaher B, et al. Efficacy of paroxetine in the treatment of adolescent major depression: a randomized, controlled trial. J Am Acad Child Adolesc Psychiatry 2001; 40: 762-772.
- Vedula SS, Bero L, Scherer RW, Dickersin K. Outcome reporting in industry-sponsored trials of gabapentin for off-label use. N Engl J Med 2009; 361: 1963-1971.
- Chan A-W, Hrobjartsson A, Haahr MT, Gøtzsche PC, Altman DG. Empirical evidence for selective reporting of outcomes in randomized trials: comparison of protocols to published articles. JAMA 2004; 291: 2457-2465.
- Bekelman JE, Li Y, Gross CP. Scope and impact of financial conflicts of interest in biomedical research: a systematic review. JAMA 2003; 289: 454-465.
- Sismondo S. Pharmaceutical company funding and its consequences: a qualitative systematic review. Contemp Clin Trials 2008; 29: 109-113.
- Lundh A, Lexchin J, Sismondo S, Busuioc OA, Bero L. Industry sponsorship and research outcome. Cochrane Library 2011. Epub September 7, 2011.
- Lewis T, Reichman JH, So AD. The case for public funding and public oversight of clinical trials. Economists’ Voice 2007; 4: 1-4.
- Angell M. The truth about the drug companies. New York: Random House, 2004.
- Baker D. The benefits and savings from publicly funded clinical trials of prescription drugs. Int J Health Serv 2008; 38: 731-750.
- Shibuya K, Ciecierski C, Guindon E, Bettcher DW, Evans DB, Murray CJL. WHO framework convention on tobacco control: development of an evidence based global public health treaty. BMJ 2003; 327: 154-157.
- Røttingen J-A, Chamas C. A new deal for global health R&D? The recommendations of the Consultative Expert Working Group on Research and Development (CEWG). PLoS Medicine 2012; 9: e1001219.