Keuze en interpretatie van uitkomstmaten in gerandomiseerd onderzoek

Algemeen. Uitkomstmaten kunnen op diverse manieren worden ingedeeld. Meestal maakt men onderscheid tussen harde uitkomstmaten, zoals morbiditeit (bv. myocardinfarct, CVA) en mortaliteit, surrogaatuitkomstmaten en patiëntgeoriënteerde uitkomstmaten. Een surrogaatuitkomstmaat is meestal een eenvoudig te meten variabele, zoals een laboratoriumbepaling, maar is meestal niet een directe maat voor een klinisch effect.2 Het effect van een nieuw antihypertensivum wordt beoordeeld op de surrogaatuitkomstmaat bloeddruk en niet op de harde uitkomstmaat overlijden of myocardinfarct. Door het gebruik van surrogaatuitkomstmaten is het mogelijk om de grootte, de duur en dus de kosten van een klinisch onderzoek beperkt te houden. Voorts onderscheidt men de zogenoemde patiëntgeoriënteerde uitkomsten, zoals de kwaliteit van leven. Soms zijn patiëntgeoriënteerde uitkomstmaten het primaire doel van een behandeling, bijvoorbeeld bij de ziekte van Parkinson. Het doel van die behandeling is niet het leven te verlengen, de dopamineconcentratie in de hersenen te verhogen of het ziekteproces te remmen, maar de symptomen en de ziektelast te verminderen.

Begrippenlijst. | terug naar boven |
Harde uitkomstmaat. Variabele die meestal vrij eenvoudig en/of rechtstreeks is vast te stellen en het gevolg is van de onderzochte ziekte. Het betreft ziekte (waaronder ook zwangerschap) of mortaliteit.
Surrogaatuitkomstmaat. Veelal eenvoudig te meten variabele, zoals de serumcholesterolconcentratie (biomarker ofwel biologische merkstof), de bloeddruk of de botmineraaldichtheid, waar de patiënt niets van merkt en die een klinisch relevant eindpunt zou moeten beïnvloeden.
Patiëntgeoriënteerde uitkomstmaat. Een variabele die veelal het welbevinden of het functioneren van een patiënt weergeeft, zoals de kwaliteit van leven.
Samengestelde uitkomstmaat. Een combinatie van meerdere, al dan niet klinisch relevante, uitkomsten, die vooral wordt gebruikt om de steekproefgrootte te reduceren in het geval bepaalde uitkomsten weinig voorkomen.
Klinisch relevante uitkomst. Een uitkomst die behalve statistisch significant is, ook merkbaar is voor de patiënt.
Primaire uitkomstmaat. De uitkomst waarop de berekening van de steekproefgrootte (ofwel sample size- of power-berekening) wordt verricht en die de belangrijkste uitkomst van het onderzoek vormt.
Secundaire uitkomstmaat. Alle andere vooraf gedefinieerde eindpunten die de onderzoekers van belang vonden, maar waarop de grootte van de steekproef niet is berekend om er valide uitspraken mee te kunnen onderbouwen.
Number Needed to Treat. Het NNT geeft het aantal patiënten weer dat men moet behandelen om ten opzichte van de therapie waarmee men vergelijkt bij één extra patiënt een gunstige uitkomst te verkrijgen of een ongunstige te voorkomen.
Number Needed to Harm. Het NNH geeft het aantal patiënten weer dat men moet behandelen om ten opzichte van de therapie waarmee men vergelijkt bij één extra patiënt een ongunstige uitkomst (bv. een bijwerking) te verkrijgen.

Keuze van uitkomstmaten. De keuze van de uitkomstmaten in gerandomiseerd onderzoek hangt af van het doel van het onderzoek, de beschikbare financiën en het aantal mogelijke deelnemers (bv. bij weesaandoeningen kunnen vanwege de zeldzame aard van de aandoeningen vaak geen harde uitkomsten worden onderzocht). Onderscheiden worden onder meer onderzoek gericht op preventie (bv. bij vaccinaties), onderzoek ten behoeve van de geneesmiddelenregistratie (fase I-, II- en III-onderzoek), ’postmarketingsurveillance’ ofwel fase IV-onderzoek, en bijwerkingen. Fase I-onderzoek met geneesmiddelen wordt uitgevoerd bij een beperkt aantal gezonde vrijwilligers en daarbij worden vooral het metabolisme, de farmacokinetiek, de farmacodynamiek en de bijwerkingen onderzocht (Gebu 2006; 40: 112). In dergelijk onderzoek zullen vaak biochemische uitkomstmaten de primaire uitkomstmaten zijn. Veelal worden surrogaatuitkomsten ook gebruikt in het fase II-onderzoek dat in selecte patiëntenpopulaties wordt uitgevoerd. Dit onderzoek heeft vaak een ’proof-of-concept’ tot doel door relevante farmacodynamische parameters te verzamelen (zie paragraaf Surrogaatuitkomstmaten). Harde uitkomsten van morbiditeit en mortaliteit worden voor dergelijk onderzoek niet geëist door de registratieautoriteiten. Voor de registratie van geneesmiddelen is vrijwel altijd ook fase III-onderzoek (Gebu 2006; 40: 112) noodzakelijk en daarvoor kan meestal worden volstaan met resultaten op surrogaatuitkomstmaten (zie bv. tabel 1). Van orale bloedglucoseverlagende geneesmiddelen bijvoorbeeld dient ten behoeve van de registratie te zijn aangetoond dat ze de glucoseconcentratie in het bloed significant verlagen ten opzichte van placebo. Als maat hiervoor wordt een surrogaatparameter, het gehalte van het geglycosyleerde hemoglobine HbA_1c, gebruikt. Inmiddels zijn in de Verenigde Staten (VS) de registratie-eisen van deze middelen na de rosiglitazonaffaire (Gebu 2010; 44: 132) aangepast en dient van nieuwe orale bloedglucoseverlagende middelen te zijn aangetoond dat ze geen negatieve cardiovasculaire effecten hebben. Voor de Europese Unie zijn dergelijke eisen (nog) niet verplicht.
Bijwerkingen kunnen ook als uitkomstmaat worden gebruikt, maar zijn vrijwel nooit primaire of harde uitkomstmaten. In elk geval is het van belang op welke tijdstippen deze worden gemeten. In onderzoek naar mogelijke carcinogene effecten van een geneesmiddel, kan men niet volstaan met een meting na bijvoorbeeld zes maanden, maar is langduriger onderzoek noodzakelijk. Een gerandomiseerd onderzoek heeft vaak onvoldoende statistische zeggingskracht om (zeldzame) bijwerkingen op te sporen. Postmarketingsurveillance vindt plaats nadat een geneesmiddel is geregistreerd en kan worden ingezet in het kader van bijwerkingenonderzoek. De farmaceutische industrie gebruikt deze onderzoeksvorm nogal eens als ’seeding trial’ (Gebu 2012; 46: 138-145).
Voor- en nadelen. Het voordeel van harde uitkomstmaten is dat ze laten zien wat het effect is van een bepaalde interventie op de voor patiënten belangrijkste vraag, namelijk of de interventie een levensverlengend effect heeft dan wel ziekte in belangrijke mate beïnvloedt. Het gebruik van harde uitkomstmaten vergt echter veelal een lange onderzoeksduur met veel patiënten omdat bijvoorbeeld overlijden een niet vaak voorkomend eindpunt in onderzoek is. Dergelijk onderzoek heeft dan vanwege de patiëntenselectie een beperkte generaliseerbaarheid ofwel een beperkte externe validiteit.
Surrogaatuitkomstmaten laten voor de arts en de patiënt zien of een behandeling in de gewenste richting gaat of niet, maar geven geen zekerheid over de vraag naar gezondheidswinst of overleving. Onderzoeken met surrogaatuitkomsten kunnen sneller, goedkoper en met minder mensen worden uitgevoerd. Ze hebben ook diverse nadelen. Een verandering in een surrogaatuitkomst beantwoordt meestal niet de vraag naar de werkzaamheid van een bepaalde behandeling bij de individuele patiënt op klinisch relevante uitkomstmaten, zoals sterfte en ziektelast, ofschoon wel wordt gesuggereerd dat men dit nastreeft. Ook komt het voor dat de surrogaatuitkomst geen goede maat blijkt voor de morbiditeit die men tracht te verminderen. Verder wordt door het meten van een surrogaatuitkomst vaak slechts één aspect van een aandoening bepaald, terwijl andere buiten beschouwing worden gelaten. Ten slotte zijn ze vaak ontwikkeld in proefdieronderzoek, waarbij extrapolatie naar mensen niet altijd is geoorloofd.2 Een voorbeeld van een minder goede surrogaatuitkomst vormt het aantal CD4+-cellen bij patiënten met een infectie met het humane immunodeficiëntievirus (HIV). Aanvankelijk werd dit beschouwd als een goede indicator voor progressie van de ziekte, maar later bleek dat de plasmavirusconcentratie een betere indicator hiervoor is (Gebu 1999; 33: 73 en Gebu 2010; 44: 13-21).
Ten slotte worden patiëntgeoriënteerde uitkomstmaten, zoals de kwaliteit van leven, gebruikt. Deze worden gemeten bij aandoeningen waar geen duidelijke harde of surrogaatuitkomsten beschikbaar zijn, zoals chronische pijn of bij aandoeningen waardoor de kwaliteit van leven sterk wordt beïnvloedt, zoals bij kwaadaardige aandoeningen. Er is discussie over de wijze hoe de kwaliteit van leven moet worden gemeten en wat dient te worden verstaan onder kwaliteit van leven. De nu veelal gebruikte schalen houden nauwelijks rekening met zowel de intra- als interindividuele sterk wisselende wensen en/of voorkeuren van patiënten. In veel onderzoeken waarin kwaliteit-van-leven-schalen worden gebruikt, wordt dit probleem ten dele opgelost door te rapporteren per gemeten domein (bv. cognitie of mobiliteit). Voorts gaat de discussie over de vraag naar validiteit en betrouwbaarheid van dit type diagnostiek. Naast de kwaliteit van leven is de visueel-analoge-schaal (VAS)-schaal een voorbeeld van een meer specifieke patiëntgeoriënteerde uitkomstmaat. Deze is voor diverse uitkomsten een gevalideerde uitkomstmaat, zoals voor pijn en mobiliteit.
Samengestelde uitkomstmaten worden vooral gebruikt als de onderzoekers verwachten dat de frequentie van de primaire uitkomst, sterfte, gering zal zijn of als onderzoekers van mening zijn dat meerdere uitkomsten van belang zijn, zoals in het geval van hartfalen nogal eens gecombineerde eindpunten met overlijden, ziekenhuisopnamen en kwaliteit van leven, worden onderzocht. Samengestelde uitkomstmaten kunnen echter ook als primaire uitkomstmaat worden gebruikt en ook sterfte hoeft niet de enige uitkomstmaat te zijn.
Klinische relevantie. Als uitkomsten statistisch significant in het voordeel van een bepaalde interventie werken, betekent dit nog niet dat ze voor de patiënt van belang zijn, en dat ze op termijn van invloed zullen zijn op het ziektebeloop. Dit geldt bijvoorbeeld voor de soms in onderzoeken gebruikte veranderingen in bepaalde hemodynamische parameters of echografische variabelen. Hier speelt enerzijds de klinisch relevantie van de uitkomst een rol, maar anderzijds onder meer ook of de uitkomst in voldoende mate is toegesneden op de patiënt, wat de grootte van het effect is en hoe groot het uitgangsrisico is. Zo zal in de oncologie een patiënt niet altijd alleen maar geïnteresseerd zijn in de mogelijke levensverlenging van een behandeling, maar met name ook in welke mate hij of zij last zal krijgen van bijwerkingen. Deze op de patiënt toegesneden uitkomstmaten zijn uiteraard in deze gevallen zeer relevant voor hem of haar. Voor de praktijk is van belang dat van alle uitkomstmaten, namelijk de harde uitkomstmaten, surrogaatuitkomstmaten en patiëntgeoriënteerde uitkomstmaten, de klinische relevantie moet worden vastgesteld.

Harde uitkomstmaten verdienen altijd de voorkeur om de betekenis van een interventie te kunnen schatten en het gebruik van surrogaateindpunten zou tot de uitzonderingen moeten behoren, namelijk tot die gevallen waar men het mechanisme van een interventie zo goed kent dat het zeker is dat verbetering van het surrogaat ook de aandoening verbetert. In de praktijk worden harde uitkomstmaten vooral gebruikt voor aandoeningen die op korte of middellange termijn potentieel fataal zijn of een zeer ernstig en invaliderend beloop kunnen hebben. Het gaat hierbij om mortaliteit en morbiditeit, zoals een myocardinfarct of een CVA. Voor ernstig invaliderende aandoeningen, zoals een maligniteit met een hoge kans op overlijden, kan de kwaliteit van leven daarentegen juist heel belangrijk zijn.

Voorbeelden van onderzoeken met harde uitkomstmaten. | terug naar boven |
Statinen. De eerste cholesterolsyntheseremmer simvastatine werd in 1987 in de Verenigde Staten (VS) in de handel gebracht en in Nederland in 1989. Daarna zijn diverse me too’s (geneesmiddelen die chemisch vrijwel identiek zijn aan het eerste middel, maar alleen verschillen in één of meerdere chemische subgroepen die voor de werking veelal niet relevant zijn maar wel voor de bijwerkingen) geregistreerd. Met deze geneesmiddelen werden al enkele jaren na de marktintroductie grote gerandomiseerde dubbelblinde en placebogecontroleerde onderzoeken op harde uitkomstmaten opgezet en uitgevoerd (Gebu 1997; 31: 99-104). Het betreft allereerst de ’Scandinavian Simvastatin Survival Study’ ofwel het 4S-onderzoek (Gebu 1995; 29: 20).3 In dit onderzoek werden 4.444 patiënten met een verhoogde serumcholesterolconcentratie (5,5-8,0 mmol/l) en met angina pectoris (21% van de patiënten) of na een myocardinfarct (79%) gerandomiseerd naar een behandeling met simvastatine of placebo en gemiddeld 5,4 jaar gevolgd. Van het onderzoek werden met name patiënten uitgesloten met secundaire hypercholesterolemie, instabiele angina pectoris, hartfalen, atriumfibrilleren en verder premenopauzale vrouwen. De resultaten werden gepubliceerd in 1994.3 Het primaire eindpunt was de totale mortaliteit en die was met simvastatine 29% minder dan met placebo (absolute risicoreductie 0,033, Number Needed to Treat NNT 30). De totale cardiovasculaire sterfte was met simvastatine 34% minder dan met placebo (absolute risicoreductie 0,032, NNT 31).3 In twee andere gerandomiseerde dubbelblinde onderzoeken werd vrij snel daarna de werkzaamheid van de me too pravastatine op (gecombineerde) harde uitkomstmaten van morbiditeit en mortaliteit onderzocht.4 5
Met het gebruik van harde uitkomstmaten in het onderzoek naar de effecten van cholesterolverlaging met statinen, werden overtuigende resultaten behaald en werd een hoge standaard voor het wetenschappelijk onderzoek met deze middelen gesteld. Dit neemt overigens niet weg dat er desondanks methodologische kritiek is op de opzet en uitvoering van deze onderzoeken en dat de resultaten minder valide zijn dan de onderzoekers en de fabrikant ons willen doen laten geloven. De belangrijkste redenen hiervoor zijn de strikte insluitcriteria waardoor de externe validiteit van de bevindingen beperkt is en het gebruik van samengestelde uitkomstmaten (zie paragraaf samengestelde uitkomstmaten).4 5
Het gebruik van samengestelde uitkomstmaten (morbiditeit en mortaliteit) in de cardiologie heeft (ook) te maken met de grenzen van de uitvoerbaarheid wat betreft de tijdsduur en de omvang van de onderzoekspopulatie die nodig zou zijn voor gerandomiseerde onderzoeken op harde eindpunten. Daarbij dient men te bedenken dat morbiditeit, hoe moeilijk vaak ook in ernstgraden te meten, in elk geval een betere uitkomstmaat is dan bijvoorbeeld wanddiktemeting van arteriën. Bij (het voorkomen van) morbiditeit kan ook de afweging worden gemaakt of men kiest voor het jarenlange gebruik van geneesmiddelen of aandoeningen te behandelen als deze zich voordoen.
Saxagliptine. In 2009 is de dipeptidylpeptidase (DPP)-4-remmer saxagliptine geregistreerd op basis van een daling van 0,5 tot 0,83% van het HbA_1c-gehalte als het werd toegevoegd aan een behandeling met metformine in vergelijking met metformine alleen. In 2013 zijn de resultaten gepubliceerd van een gerandomiseerd dubbelblind onderzoek bij 16.492 patiënten met diabetes mellitus type 2.6 Het primaire samengestelde eindpunt was een combinatie van overlijden door cardiovasculaire oorzaken, myocardinfarct of ischemisch CVA. Het secundaire eindpunt was eveneens samengesteld en bestond uit het primaire eindpunt plus ziekenhuisopnamen vanwege hartfalen, coronaire revascularisatieprocedures of instabiele angina pectoris, alsmede alle eindpunten afzonderlijk. De patiënten werden gedurende een mediane periode van 2,1 jaar gevolgd. Zowel op de primaire als de secundaire uitkomstmaat waren er geen significante verschillen tussen beide groepen. Wel vonden er significant meer ziekenhuisopnamen plaats vanwege hartfalen bij patiënten die saxagliptine gebruikten dan bij placebo (3,5 vs. 2,8%). De onderzoekers concludeerden dat DPP-4-remming met saxagliptine geen toe- of afname gaf van ischemische incidenten bij patiënten met diabetes mellitus type 2, hoewel het percentage ziekenhuisopnamen voor hartfalen was toegenomen. Ofschoon saxagliptine de glykemische controle verbeterde, zijn andere behandelingen noodzakelijk om het cardiovasculaire risico bij patiënten met diabetes mellitus type 2 te verminderen.6 Vastgesteld moet echter worden dat saxagliptine slechter werkt dan placebo in het verminderen van cardiovasculaire incidenten (als ziekenhuisopnamen wegens hartfalen daarin worden meegenomen) (Gebu 2013; 47: 133-134).

Voor bepaalde aandoeningen, zoals diabetes mellitus, beoogt men naast het reguleren van de bloedglucoseconcentratie, cardiovasculaire en microvasculaire complicaties te voorkomen. Toch is slechts een beperkt aantal gerandomiseerde onderzoeken gepubliceerd waarin cardiovasculaire mortaliteit of morbiditeit primaire uitkomstmaten waren (zie kader hierboven). Ten behoeve van de registratie van nieuwe orale bloedglucoseverlagende geneesmiddelen waren de fabrikanten niet verplicht om resultaten op deze uitkomstmaten te overleggen. Nadat duidelijk was geworden dat het thiazolidinedionderivaat rosiglitazon een toename gaf van cardiovasculaire complicaties bij patiënten met diabetes mellitus, heeft de Amerikaanse registratieautoriteit Food and Drug Administration (FDA) geëist dat van nieuwe bloedglucoseverlagende middelen moet zijn bewezen dat ze geen toename van dergelijke uitkomsten geven in vergelijking met placebo. Voor medicatie waar een preventief effect van wordt verwacht, is deze eis in het kader van de patiëntveiligheid van belang. In dit kader worden twee voorbeelden van harde uitkomstmaten, van statinen en van saxagliptine, nader uitgewerkt.

Algemeen. In de afgelopen tijd is bij het bespreken van onderzoeksresultaten in het Geneesmiddelenbulletin regelmatig aandacht besteed aan resultaten op surrogaatparameters. Het ging bijvoorbeeld om de zes-minutenlooptest als maat voor de inspanningstolerantie bij pulmonale hypertensie (Gebu 2013; 47: 123-130), de serumtestosteronconcentratie als maat voor progressie van prostaatcarcinoom (Gebu 2013; 47: 135-140) en een functieonderzoek van de hersenen als maat voor hersenactiviteit bij de ziekte van Alzheimer (Gebu 2013; 47: 34-36). Wat de relatie is tussen deze uitkomsten en de progressie van deze aandoeningen is niet altijd duidelijk en in de genoemde voorbeelden werd betwijfeld of de surrogaatparameters valide waren voor hetgeen zij beoogden te meten, namelijk klinisch relevante voor- of achteruitgang.
Surrogaatparameters die bij de beoordeling van geneesmiddelen bij meer of minder frequent voorkomende aandoeningen onder meer worden gemeten, zijn: bloeddrukverlaging, de afname van linkerventrikelhypertrofie, verlaging van de serumcholesterolconcentratie, de afname van de serumconcentratie van het prostaatspecifieke antigeen en de vermindering van de plasmavirusconcentratie.
Voorwaarden valide gebruik surrogaatuitkomsten. Een surrogaatuitkomst wordt gemeten in plaats van een klinisch relevante maat en een goede surrogaatuitkomstmaat dient een klinisch relevante uitkomstmaat te kunnen beïnvloeden. Een surrogaatuitkomst volgt meestal het beloop of de uitbreiding van de aandoening.7 Volgens een richtlijn van het Amerikaanse ’National Institutes of Health’ dienen surrogaatuitkomsten objectief vast te stellen variabelen te zijn die fungeren als indicatoren van het onderliggende pathogenetische proces dat verantwoordelijk is voor ziekteprogressie, waaronder ook de verandering in dat proces na een therapeutische interventie wordt verstaan.8 Als surrogaatuitkomstmaten in gerandomiseerd onderzoek worden gebruikt, is het noodzakelijk dat ze een sterke associatie hebben met een klinisch eindpunt of uitkomst die het effect meet van een therapeutische interventie op ziekteprogressie.8 Voorts dient een surrogaatuitkomst op een eenvoudige wijze zonder of met minimaal invasieve ingrepen te kunnen worden bepaald. Anderen stellen dat een surrogaatuitkomst causaal verbonden dient te zijn met het definitieve eindpunt en dat het op dezelfde wijze op de behandeling moet reageren als de harde uitkomst.7 Dit is onder meer een criterium dat registratieautoriteiten hanteren voor de kwalificatie van een ’biomarker’ ofwel biologische merkstof als een geaccepteerde surrogaatuitkomst. Naast het causale verband mag er dan geen ander pathofysiologisch mechanisme bestaan waardoor de interventie de uitkomst negatief beïnvloedt.
Voordelen. Een belangrijk voordeel van het gebruik van surrogaatparameters is dat de onderzoeken goedkoper en sneller kunnen worden uitgevoerd omdat vaak minder patiënten nodig zijn, waardoor de steekproefgrootte geringer en de vervolgduur korter kunnen zijn.  
In de praktijk worden zogenoemde proof-of-conceptonderzoeken verricht waarin surrogaatuitkomstmaten worden gebruikt. In dergelijk onderzoeken wordt onderzocht of het op theoretische gronden verwachte werkingsmechanisme ook werkelijk zo bestaat. Als dat inderdaad het geval blijkt te zijn, zal men vervolgens verder moeten gaan met onderzoeken waarin klinisch relevante eindpunten worden gebruikt.
Waarom is het gebruik van surrogaatuitkomsten aantrekkelijk? In de klinische praktijk behoort het meten van surrogaatuitkomstmaten vaak tot de dagelijkse gang van zaken. Bij de behandeling van diabetes mellitus bijvoorbeeld wordt het HbA_1c-gehalte gemeten en dit laat de effecten op de middellange termijn van de ingestelde behandeling zien. Een ander kenmerk van surrogaatuitkomstmaten dat het gebruik aantrekkelijk maakt, is dat het clinici en patiënten de indruk geeft het ziekteproces te begrijpen en ook hoe de behandeling werkt, resulterend in het gevoel de ziekte te beheersen. Hierbij wordt aangenomen dat biologie en met name de pathofysiologie voorspelbaar is en er mechanistische (d.w.z. een bepaalde werking die verband houdt met het mechanisme) redenen zijn om aan te nemen dat een behandeling zal werken. Ten slotte spelen surrogaatuitkomsten een belangrijke rol in advertenties en promotiecampagnes van de farmaceutische industrie, zoals bij de recent geïntroduceerde glucagonachtigepeptide-1-agonisten, dipeptidylpeptidase-4-remmers en dapagliflozine (Gebu 2012; 46: 80-81 en Gebu 2013; 47: 131-133). De verwachting is dat als artsen en apothekers positieve effecten van een geneesmiddel op het verlagen van de HbA_1c-gehalte of de serum-LDL-concentratie zien, zij daaraan conclusies verbinden over een positief effect op het verlagen van cardiovasculaire mortaliteit.9 Deze uitgesproken verwachting is in het geval van de orale bloedglucoseverlagende middelen niet alleen toe te schrijven aan de farmaceutische industrie, maar hoofdzakelijk aan generaties diabetologen die het benadrukken van surrogaatuitkomsten tot op de dag van vandaag volhouden en blijven uitstralen naar de genoemde beroepsgroepen en hun patiënten.

Voorbeelden van onderzoeken met surrogaatuitkomstmaten. | terug naar boven |
HbA_1c-gehalte. De behandeling van diabetes mellitus type 2 is voorts gericht op de reductie van morbiditeit (microvasculaire (retinopathie, neuropathie en nefropathie) en macrovasculaire complicaties) en voortijdige mortaliteit (Gebu 2010; 44: 49-55). Aangenomen werd dat het HbA_1c-gehalte een surrogaatuitkomst was voor cardiovasculaire morbiditeit en mortaliteit. Er zijn verscheidene grote onderzoeken uitgevoerd naar de associatie tussen het HbA_1c-gehalte bij patiënten met diabetes mellitus type 2 en morbiditeit en mortaliteit. Een scherpe HbA_1c-instelling verlaagt het risico op microvasculaire complicaties,10 maar niet op macrovasculaire complicaties en mortaliteit.11-13 In een onderzoek dat deel uitmaakte van de ’United Kingdom Prospective Diabetes Study’ (UKPDS) was niet alleen het risico op microvasculaire complicaties verlaagd bij een scherpe instelling van het HbA_1c, maar ook op myocardinfarct en mortaliteit door alle oorzaken.14 Echter een te laag HbA_1c-gehalte (gedefinieerd als <6%) ging gepaard met een verhoogd risico op mortaliteit door alle oorzaken.13 In een meta-analyse van zes onderzoeken (33.040 pat., 163.000 persoonsjaren)10 12 13 15 16 toonden onderzoekers dat het risico op niet-fataal myocardinfarct (odds ratio OR 0,83 [95%BI=0,75-0,93], NNT 131 gedurende vijf behandeljaren) en coronaire hartziekte (OR 0,85 [0,77-0,93], NNT 93 gedurende vijf behandeljaren) was afgenomen bij een HbA_1c-gehalte van 6,6 versus 7,5%, maar dat het risico op een beroerte en mortaliteit door alle oorzaken niet was afgenomen.17 Inmiddels heeft men het beleid ten aanzien van het HbA_1c-gehalte bij patiënten met diabetes mellitus aangepast en wordt een al te strikte instelling niet meer wenselijk geacht.18
Ziekte van Alzheimer. De ziekte van Alzheimer is een complexe neurodegeneratieve aandoening waarbij van diverse pathofysiologische processen, zoals inflammatie, oxidatieve stress en amyloïddepositie, is geclaimd dat ze een rol in de pathogenese spelen. Van veel stoffen zijn in de literatuur claims gevonden dat ze als surrogaatparameters voor de progressie van de ziekte van Alzheimer kunnen dienen. Na een systematisch literatuuronderzoek concludeerden onderzoekers dat van geen enkele beoogde biologische merkstof bewijs is gevonden dat het als uitkomstmaat voor ziekteprogressie kan dienen.19
APC-resistentie. Het gebruik van hormonale anticonceptiva is geassocieerd met een verhoogd risico op veneuze trombose. Geactiveerd Proteïne C (Activated Protein C, APC) is een eiwit met antistollingsfunctie dat factor V in de stollingscascade inactiveert waardoor de stolling wordt geremd. Bij APC-resistentie is factor V in een bepaalde mate ongevoelig voor de werking van APC, waardoor de stolling te lang geactiveerd blijft en een grotere kans ontstaat op het ontwikkelen van veneuze trombose. Het gebruik van hormonale anticonceptiva leidt tot een verworven vorm van APC-resistentie.
De mate van APC-resistentie kan worden gemeten in het bloed en kan worden gebruikt als surrogaatuitkomst voor het risico op veneuze trombose tijdens het gebruik van hormonale anticonceptie. Het gebruik van hormonale anticonceptie met een hoog risico op veneuze trombose, bijvoorbeeld orale anticonceptiva met derdegeneratieprogestagenen (desogestrel, gestodeen) leidt tot een hogere APC-resistentie dan het gebruik van orale anticonceptiva met een laag risico, zoals anticonceptiva met tweedegeneratieprogestagenen (levonorgestrel). APC-resistentie is als surrogaatuitkomst gevalideerd in een groot patiëntcontrole-onderzoek, en blijkt het risico op veneuze trombose te voorspellen in een populatie van vrouwen die hormonale anticonceptie gebruiken, maar ook bij vrouwen die geen hormonen gebruiken en bij mannen.20 Een nadeel van APC-resistentie als surrogaatuitkomst is dat het geen eenvoudige bepaling is die niet in elk laboratorium kan worden uitgevoerd en een schatting geeft van het risico in een populatie maar niet van dat van individuele patiënten.

Registratie van nieuwe geneesmiddelen op basis van surrogaatuitkomsten. Nieuwe geneesmiddelen worden in toenemende mate geregistreerd op grond van de resultaten op surrogaatuitkomsten en doorlopen een versnelde registratieprocedure (Gebu 2014; 48: 2). Versnelde registratieprocedures zijn gereguleerd via zogenoemde ’exceptional circumstances’ en ’conditional approval’-procedures en deze zijn slechts toegankelijk voor geneesmiddelen die zijn bestemd voor aandoeningen die vrijwel niet kunnen worden behandeld, vaak voor zeldzame aandoeningen. Zo werden cytostatica voor de behandeling van gliomen zowel in de VS als in de EU geregistreerd op basis van de resultaten behaald op surrogaatuitkomsten (Gebu 2012; 46: 13-19). De registratieautoriteiten en de fabrikanten zijn van mening dat het hierbij vaak ondoenlijk is om onderzoeken op harde uitkomstmaten uit te voeren. Het belangrijkste nadeel is dat bijwerkingen die meestal niet zijn gerelateerd aan de onderzochte surrogaatuitkomstmaten, makkelijk buiten het zicht blijven van de onderzoekers. Van diverse geneesmiddelen werd om deze reden in de afgelopen jaren de indicatie ingeperkt of de registratie doorgehaald vanwege ernstige bijwerkingen (zie tabel 1).
 Opvallend is dat op basis van theoretische of pathofysiologische redeneringen effecten van geneesmiddelen werden beoordeeld en voorspeld, terwijl in de praktijk bleek dat deze effecten niet werden bereikt en soms zelfs volledig tegenovergesteld waren. Ten dele is dit te verklaren uit het feit dat de kennis over pathofysiologische processen verre van compleet is, maar ook uit het feit dat de bij de registratie van nieuwe geneesmiddelen beschikbare kritische oordelen over vermeende werkingsmechanismen van geneesmiddelen onvoldoende op hun waarde zijn geschat. Het werkingsmechanisme van het orale bloedglucoseverlagende middel rosiglitazon is dermate complex dat klinische effecten niet goed konden worden voorspeld. Bij de marktintroductie in 2000 werd hiervoor door onderzoekers gewaarschuwd (Gebu 2010; 44: 135).21 Het middel, waarvan aanvankelijk werd geclaimd dat het een risicovermindering van cardiovasculaire aandoeningen zou geven, bleek ernstige cardiovasculaire bijwerkingen te veroorzaken en toch duurde het tot 2010 voordat het van de markt werd gehaald (Gebu 2010; 44: 132). Een ander voorbeeld betreft de ß-blokkers waarvan de toepassing bij hartfalen op basis van pathofysiologische redeneringen enkele decennia geleden nog als een ’kunstfout’ werd gezien, en thans nadat werkzaamheid in diverse gerandomiseerde onderzoeken is gebleken, tot de standaardbehandeling is gaan behoren (Gebu 2000; 34: 65-70). Een recenter voorbeeld betreft de combinatietherapie van een ACE-remmer en een angiotensine-II-antagonist, de zogenoemde dubbele remming van het renine-angiotensine-aldosteron-systeem (RAAS)-systeem, bij diabetische nefropathie. Hiervan werden positieve effecten verwacht, metaaar deze bleven uit en er was zelfs sprake van een toename van ernstige bijwerkingen (Gebu 2014; 48: 4).
Mogelijke surrogaatparameters in de cardiologie. Gezien het feit dat diverse geneesmiddelen in de afgelopen jaren van de markt zijn gehaald, nadat ze waren geregistreerd op grond van uitkomsten op surrogaatparameters, zijn onderzoekers nagegaan wat de bewijzen zijn voor de claims van talloze surrogaatparameters als voorspellers van vooral cardiologische uitkomsten. In de tabel zijn de belangrijkste middelen die ook in Nederland in de handel zijn (geweest), opgenomen.

Kennelijk bleek de pathofysiologische theorie waarop het werkingsmechanisme en de registratie was gebaseerd, niet juist te zijn of spelen andere nog onbekende factoren een rol.

Terwijl veranderingen in harde uitkomstmaten van groot belang zijn voor patiënten, vertalen niet alle verbeteringen in uitkomstmaten zich in verbeteringen van het welbevinden of functioneren van de patiënt. Er zijn echter ook onderzoeken waar het behandelen van een ziekte tot merkbare verbeteringen voor de patiënt leidt, zoals bijvoorbeeld kortademigheid bij hartfalen.32 Deze zijn wel zeer belangrijk voor de patiënt maar het is de vraag in hoeverre ze op betrouwbare wijze kunnen worden gemeten. Voor het meten van pijn wordt onder meer een Visueel Analoge Schaal (VAS) gebruikt die veelvuldig is gevalideerd om de mate van pijnintensiteit in de loop van de tijd en klinisch relevante verbeteringen of verslechteringen te meten. Bij andere patiëntgeoriënteerde uitkomstmaten is het echter de vraag in hoeverre de ontworpen vragenlijsten werkelijk datgene meten wat zij claimen te meten. De betrouwbaarheid en de validiteit van de meetinstrumenten is hierbij aan de orde, hetgeen overigens niets zegt over de relevantie van deze uitkomstmaten: deze kan namelijk zeer relevant zijn voor de patiënt. Een voorbeeld betreft het gemetastaseerde prostaatcarcinoom dat niet meer curatief kan worden behandeld (Gebu 2013; 47: 135-140). Het doel van de behandeling is onder meer om de kwaliteit van leven in stand te houden. Opmerkelijk genoeg is deze kwaliteit van leven in vrijwel geen enkel gerandomiseerd onderzoek naar de medicamenteuze behandeling van het gemetastaseerde prostaatcarcinoom een primair of secundair eindpunt. Hierdoor kunnen geen onderbouwde uitspraken worden gedaan over welke behandeling de kwaliteit van leven het best in stand houdt.
 Veel uitkomstmaten die in psychiatrisch onderzoek worden gebruikt, zijn patiëntgeoriënteerd. Het gaat hierbij om uitgebreide diagnostische vragenlijsten die worden gebruikt om ziekten of aandoeningen vast te stellen of verbeteringen dan wel verslechteringen daarin. Een voorbeeld is behandeling van een depressieve stoornis met antidepressiva. Voor de diagnostiek en het beloop wordt gebruik gemaakt van bijvoorbeeld de ’Hamilton Depression Rating Scale’. Deze vragenlijst bevat 17 vragen (max. 52 pt.) en een afname van één of twee punten op deze lijst bij het gebruik van een antidepressivum geeft vaak een statistisch significant verschil ten opzichte van placebo (Gebu 2002; 36: 52). Pas enkele jaren geleden is een klinisch relevant verschil gedefinieerd, namelijk een verschil van ten minste drie punten ten opzichte van placebo (Gebu 2008; 42: 45-46). Van veel andere uitkomstmaten bij psychiatrische aandoeningen is de klinische relevantie niet bekend.

Algemeen. In klinisch onderzoek wordt vaak gebruik gemaakt van samengestelde uitkomstmaten waarmee een globale schatting van het effect van een interventie kan worden gemaakt. Dergelijke uitkomstmaten kunnen worden toegepast als onderzoekers van mening zijn dat meerdere eindpunten van belang zijn, als twee eindpunten in klinisch opzicht met elkaar zijn verbonden, of als er geen afzonderlijk eindpunt is dat het belangrijkst is om tot een gebalanceerd oordeel over voor- en nadelen van een therapie te komen. Samengestelde uitkomstmaten worden met name in de cardiologie gebruikt. De belangrijkste reden daarvoor is de geringe frequentie van de best vast te stellen hardste uitkomst, sterfte. Door combinatie van deze harde uitkomst met minder harde, zoals angina pectoris, niet-fataal myocardinfarct en een revascularisatieprocedure, kunnen ook significante verschillen in werkzaamheid van een interventie in kleinere onderzoekspopulaties worden getoond. Bij uitkomstmaten van morbiditeit is daarover meer twijfel dan bij de uitkomst sterfte. Zo zal de drempel voor een revascularisatieprocedure niet overal in de wereld even hoog liggen en bestaat er bovendien geen eenduidige maat voor angina pectoris en hartfalen. Het verdient aanbeveling om bij voorkeur geen samengestelde uitkomstmaten te gebruiken met componenten die een verschillende klinische relevantie hebben en die met een verschillende mate van subjectiviteit worden gedefinieerd. Als dat niet mogelijk is, dienen in elk geval van alle afzonderlijke uitkomsten de associatiematen te worden gedefinieerd en de resultaten in maat en getal te worden weergegeven. Een nadeel van het gebruik van samengestelde eindpunten is dat bijwerkingen kunnen worden gemaskeerd, zoals verderop uit het voorbeeld van tiotropium zal blijken.

Voorbeelden van onderzoeken met samengestelde uitkomstmaten. | terug naar boven |
Celecoxib. In Gebu 2001; 35: 25-31 is een onderzoek besproken waaruit bleek dat het effect van het COX-2-selectieve NSAID celecoxib bij patiënten met artrose of reumatoïde artritis niet-significant verschilt van diclofenac en ibuprofen op de belangrijkste uitkomstmaat ernstige ulcuscomplicaties. Als echter de uitkomstmaten ernstige ulcuscomplicaties en symptomatische ulcera bij elkaar werden opgeteld, was er wel een significant verschil in het voordeel van celecoxib. Dit is een voorbeeld van het bij elkaar optellen van harde (ulcuscomplicaties) en zachtere (symptomatische ulcera) uitkomstmaten, om tot een significant effect te komen.
Fondaparinux. In een gerandomiseerd dubbelblind onderzoek werd de werkzaamheid van het antistollingsmiddel fondaparinux vergeleken met placebo.33 De primaire uitkomstmaat bestond uit overlijden ongeacht de oorzaak of symptomatische longembolie, symptomatische diep-veneuze trombose of symptomatische verwijding van de safenofemorale overgang of symptomatisch recidief van een oppervlakkige veneuze trombose.33 Dit samengestelde eindpunt is een zeer heterogene combinatie van ernstige, minder ernstige en niet-ernstige aandoeningen. De resultaten toonden significante effecten van fondaparinux op het primaire eindpunt alsmede op elk van de samengestelde onderdelen, behoudens het effect op overlijden dat niet-significant was.33
Tiotropium. Van tiotropium zijn er aanwijzingen dat het gebruik ervan is geassocieerd met een verhoogd cardiovasculair risico en risico op overlijden in vergelijking met placebo bij patiënten met COPD. Het verhoogde risico zou mogelijk samenhangen met de toedieningsvorm, namelijk met de toediening per vernevelaar. Daarop werd in een door de fabrikant gesponsord gerandomiseerd dubbelblind onderzoek de werkzaamheid en bijwerkingen van tiotropium toegediend per vernevelaar (Respimat®) in een eenmaal daagse dosering van 2,5 µg of 5 µg vergeleken met tiotropium toegediend als poederinhalatie (Handihaler®) in een eenmaal daagse dosering van 18 µg bij 17.315 patiënten met COPD.34 De doseringen van 5 µg en 18 µg zijn equipotent. Ten aanzien van de primaire uitkomst overlijden was de vernevelaar met een dosering van 5 µg non-inferieur ten opzichte van de poederinhalator. Er waren geen significante verschillen in oorzaken van overlijden en de incidentie van belangrijke cardiovasculaire bijwerkingen tussen de drie groepen, zoals in het ’abstract’ staat vermeld.
In een ingezonden brief worden door niet bij de fabrikant betrokken onderzoekers kritische kanttekeningen bij de uitkomsten geplaatst.35 De uitkomstmaat overlijden door cardiovasculaire oorzaken was namelijk een samengestelde en bestond uit myocardinfarct, plotse dood, CVA of overlijden door andere cardiovasculaire oorzaken. Het risico op deze uitkomstmaat was statistisch niet-significant verschillend tussen de drie onderzoeksgroepen. De auteurs verzuimden echter de uitkomsten op bepaalde uitkomstmaten in het gepubliceerde artikel te vermelden. De schrijvers van de ingezonden brief hebben die uitkomsten wel berekend en vonden een statistisch significante associatie tussen het gebruik van tiotropium 2,5 en 5 µg (gecombineerd) per vernevelaar en fataal myocardinfarct in vergelijking met de poederinhalator (21/11.441 vs. 3/5.694, absoluut risicoverschil 0,1%, Number Needed to Harm (NNH) 1.000). De schrijvers geven aan dat het gebruik van samengestelde uitkomstmaten niet altijd adequaat is omdat het verschillen in oorzaak-specifiek overlijden, zoals door een myocardinfarct, kan maskeren. De bevindingen van de schrijvers van de ingezonden brief geven aanleiding om de conclusies van de onderzoekers ten aanzien van de vermeende cardiale veiligheid van tiotropium in twijfel te trekken (Gebu 2014; 48: 34-35).

Cardiologisch onderzoek. In Gebu 2009; 43: 33-34 is beschreven dat onderzoekers zijn nagegaan hoe vaak samengestelde uitkomstmaten worden gebruikt in cardiovasculair onderzoek en hoe ze worden samengesteld en gerapporteerd.1 In 14 toonaangevende algemeen medische, cardiologische en thorax-chirurgische tijdschriften vonden zij in totaal 304 onderzoeken. In 73% van de onderzoeken werden samengestelde uitkomstmaten gebruikt als primaire uitkomstmaat en in 27% alleen als secundaire uitkomstmaat. Er werden meestal drie afzonderlijke uitkomsten gebruikt voor een samengestelde uitkomstmaat. Sterfte was de meest (98%) gebruikte afzonderlijke uitkomstmaat in de samengestelde uitkomsten, maar droeg weinig bij aan de schatting van het totale effect van de samengestelde uitkomstmaten, namelijk 27%. Daarentegen werden revascularisatieprocedures vaak als afzonderlijke uitkomstmaat gebruikt en deze droegen veel meer bij aan de schatting van de samengestelde uitkomstmaat (namelijk 58%) dan sterfte.1
Dit onderzoek wijst op een aantal beperkingen van het gebruik van samengestelde uitkomstmaten. Zo zijn schattingen van het effect van een interventie die zijn gebaseerd op samengestelde uitkomsten soms niet consistent met die van de afzonderlijke uitkomsten. Ook worden samengestelde uitkomsten vaak gebruikt als niet is aangetoond dat elke afzonderlijke uitkomst even belangrijk is. Voorts dragen vaak voorkomende maar klinisch minder relevante uitkomsten meer bij aan samengestelde uitkomsten en dragen minder vaak voorkomende maar klinisch meer relevante eindpunten minder bij aan samengestelde uitkomsten.

Plaatsbepaling | terug naar boven |

De keuze van de uitkomstmaat in gerandomiseerd onderzoek bepaalt onder meer de duur, het benodigde aantal patiënten en de kosten van het onderzoek. Er zijn harde uitkomstmaten, surrogaatuitkomstmaten, patiëntgeoriënteerde (ook wel ’zachte’ genoemd) en samengestelde uitkomstmaten beschikbaar. Voor aandoeningen met een potentieel letale afloop zijn harde uitkomstmaten van mortaliteit en morbiditeit het meest wenselijk en inzichtgevend, terwijl patiëntgeoriënteerde uitkomstmaten zijn aangewezen als de medicamenteuze behandeling ernstige bijwerkingen geeft en levensverlenging niet altijd aan de orde is, zoals bij bepaalde maligne aandoeningen. Er kunnen echter redenen zijn om te kiezen voor surrogaatuitkomstmaten. Met name als deze eenvoudig zijn vast te stellen en ze een duidelijke relatie hebben met de harde uitkomstmaat kan hiermee betrouwbaar onderzoek worden verricht. Voor de praktijk is van belang dat van alle genoemde uitkomstmaten (harde, surrogaat en patiëntgeoriënteerde) de klinische relevantie moet worden vastgesteld.
De laatste jaren zijn diverse nieuwe geneesmiddelen geregistreerd op basis van resultaten op surrogaatuitkomsten. Een deel van deze nieuwe middelen bleek echter na verloop van jaren het tegenovergestelde te veroorzaken van dat wat aanvankelijk was verondersteld of geclaimd. Het op pathofysiologische gronden veronderstelde werkingsmechanisme bleek in de praktijk niet juist te zijn. Bij de registratie van nieuwe middelen is het van belang striktere toelatingseisen te hanteren, zeker als er alternatieven zijn waarvan werkzaamheid op harde eindpunten is aangetoond. Overigens zijn veel geneesmiddelen die in het verleden zijn geregistreerd ook op basis van surrogaatparameters geregistreerd en van een aantal is niet altijd in voldoende mate duidelijk of ze doen wat ze behoren te doen.
Patiëntgeoriënteerde uitkomstmaten betreffen vooral uitkomsten die voor patiënten van belang zijn, zoals klachtenvermindering en kwaliteit van leven. Als deze worden gebruikt in onderzoek, dient de validiteit en bij voorkeur ook de klinische relevantie te zijn vastgesteld.
Aan het gebruik van samengestelde uitkomstmaten kleven diverse problemen die maken dat de interpretatie nogal eens problematisch is. De in dit artikel besproken beperkingen kunnen de lezer helpen bij het beoordelen van uitkomsten van onderzoek met samengestelde uitkomstmaten. Naast andere criteria voor het beoordelen van onderzoek, zoals representativiteit van de populatie, randomisatie en blindering, kan men het aantal niet harde (morbiditeits-)uitkomsten in een samengestelde uitkomstmaat bepalen: hoe groter dit aantal, hoe groter de twijfel aan de klinische relevantie.

Literatuurreferenties  | terug naar boven |
1. Lim E, Brown A, Helmy A, Mussa S, Altman DG. Composite outcomes in cardiovascular research: a survey of randomized trials. Ann Intern Med 2008; 149: 612-617.
2. Greenhalgh T. Papers that report drug trials. In: Greenhalgh T (ed.). How to read a paper, the basics of evidence based medicine. Londen: BMJ Publishing Group, 1997: 87-96. Tevens: BMJ 1997; 315: 480-483.
3. Scandinavian Simvastatin Survival Study Group. Randomised trial of cholesterol lowering in 4444 patients with coronary heart disease: the Scandinavian Simvastatin Survival Study (4S). Lancet 1994; 344: 1383-1389.
4. Shepherd J, Cobbe SM, Ford I, Isles CG, Lorimer AR, MacFarlane PW, et al. Prevention of coronary heart disease with pravastatin in men with hypercholesterolemia. N Engl J Med 1995; 333: 1301-1307.
5. Sacks FM, Pfeffer MA, Moye LA, Rouleau JL, Rutherford JD, Cole TG, et al. The effect of pravastatin on coronary events after myocardial infarction in patients with average cholesterol levels. N Engl J Med 1996; 335: 1001-1009.
6. Scirica BM, Bhatt DL, Braunwald E, Steg PG, Davidson J, Hirshberg B, et al. Saxagliptin and cardiovascular outcomes in patients with type 2 diabetes mellitus. N Engl J Med 2013; 369: 1317-1326.
7. 5.3 - Surrogate Endpoints. In: STAT 509 –Design and analysis of clinical trials [document op het internet]. Pennsylvania State University. Via: https://onlinecourses.science.psu.edu/stat509/node/34.
8. Biomarkers definition working group. Biomarkers and surrogate endpoints: preferred definitions and conceptual framework. Clin Pharmacol Ther 2001; 69: 89-95.
9. Svensson S, Menkes DB, Lexchin J. Surrogate outcomes in clinical trials. JAMA Intern Med 2013; 173: 611-612.
10. Intensive blood-glucose control with sulphonylureas or insulin compared with conventional treatment and risk of complications in patients with type 2 diabetes (UKPDS 33). UK Prospective Diabetes Study (UKPDS) Group. Lancet 1998; 352: 837-853.
11. Effect of intensive blood-glucose control with metformin on complications in overweight patients with type 2 diabetes (UKPDS 34). UK Prospective Diabetes Study (UKPDS) Group. Lancet 1998; 352: 854-865.
12. ADVANCE collaborative group. Intensive blood glucose control and vascular outcomes in patients with type 2 diabetes. N Engl J Med 2008; 358: 2560-2572.
13. Gerstein HC, Miller ME, Byington RP, Goff DC, Jr., Bigger JT, Buse JB, et al. Effects of intensive blood glucose lowering in type 2 diabetes. N Engl J Med 2008; 358: 2545-2559.
14. Holman RR, Paul SK, Angelyn Bethel M, Matthews DR, Neil HAW. 10-year follow up of intensive glucose control in type 2 diabetes. N Engl J Med 2008; 359: 1577-1589.
15. Dormandy JA, Charbonnel B, Eckland DJ, Erdmann E, Massi-Benedetti M, Moules IK. Secondary prevention of macrovascular events in patients with type 2 diabetes in the PROactive Study (PROspective pioglitAzone Clinical Trial In macroVascular Events): a randomised controlled trial. Lancet 2005; 366: 1279-1289.
16. Duckworth W, Abraira C, Moritz T, Reda D, Emanuele N, Reaven PD, et al. Glucose control and vascular complications in veterans with type 2 diabetes. N Engl J Med 2009; 360: 129-139.
17. Ray KK, Seshasai SR, Wijesuriya S, Sivakumaran R, Nethercott S, Preiss D, et al. Effect of intensive control of glucose on cardiovascular outcomes and death in patients with diabetes mellitus: a meta-analysis of randomized controlled trials. Lancet 2009; 373: 1765–1772.
18. Rutten G, Grauw W de, Nijpels G, Houweling B, Laar F van der, Bilo H, et al. NHG-Standaard ’Diabetes mellitus type 2’. Huisarts Wet 2013; 56: 512-525.
19. McGhee DJM, Ritchie CW, Thompson PA, Wright DE, Zajicek JP, Counsell CE. A systematic review of biomarkers for disease progression in Alzheimer’s disease. PLoS One 2014; 9: e88854.
20. Tans G, Hylckama Vlieg A van, Thomassen MC, Curvers J, Bertina RM, Rosing J, Rosendaal FR. Activated protein C resistance determined with a thrombin generation-based test predicts for venous thrombosis in men and women. Br J Haematol 2003; 122: 465-470.
21. Schoonjans K, Auwerx J. Thiazolidinediones: an update. Lancet 2000; 355: 1008-1010.
22. Fergusson DA, HeBert PC, Mazer CD, Fremes S, MacAdams C, Murkin JM, et al. A comparison of aprotinin and lysine analogues in high-risk cardiac surgery. N Engl J Med 2008; 358: 2319-2331.
23. Committee of Principal Investigators. A co-operative trial in the primary prevention of ischaemic heart disease using clofibrate. Report from the Committee of Principal Investigators. Br Heart J 1978; 40: 1069-1118.
24. ALLHAT Officers and Coordinators. Major cardiovascular events in hypertensive patients randomized to doxazosin vs chlorthalidone: the antihypertensive and lipid-lowering treatment to prevent heart attack trial (ALLHAT). ALLHAT Collaborative Research Group. JAMA 2000; 283: 1967-1975.
25. Phrommintikul A, Haas SJ, Elsik M, Krum H. Mortality and target haemoglobin concentrations in anaemic patients with chronic kidney disease treated with erythropoietin: a meta-analysis. Lancet 2007; 369: 381-388.
26. Echt DS, Liebson PR, Mitchell LB, Peters RW, Obias-Manno D, Barker AH, et al. Mortality and morbidity in patients receiving encainide, flecainide, or placebo. The Cardiac Arrhythmia Suppression Trial. N Engl J Med 1991; 324: 781-788.
27. Haguenauer D, Welch V, Shea B, Tugwell P, Adachi JD, Wells G. Fluoride for the treatment of postmenopausal osteoporotic fractures: a meta-analysis. Osteoporos Int 2000; 11: 727-738.
28. POISE Study Group. Effects of extended-release metoprolol succinate in patients undergoing non-cardiac surgery (POISE trial): a randomised controlled trial. Lancet 2008; 371: 1839-1847.
29. Writing Group for the Women’s Health Initiative Investigators. Risks and benefits of estrogen plus progestin in health postmenopausal women: principal results from the Women’s Health Initiative randomized controlled trial. JAMA 2002; 288: 321-333.
30. Hampton JR, van Veldhuisen DJ, Kleber FX, Cowley AJ, Ardia A, Block P, et al. Randomised study of effect of ibopamine on survival in patients with advanced severe heart failure. Second Prospective Randomised Study of Ibopamine on Mortality and Efficacy (PRIME II) Investigators. Lancet 1997; 349: 971-977.
31. Nissen SE, Wolski K. Effect of rosiglitazone on the risk of myocardial infarction and death from cardiovascular causes. N Engl J Med 2007; 356: 2457-2471.
32. Ekman I. Are soft endpoints feasisble? [document op het internet]. University of Gothenburg. Via: http://spo.escardio.org/eslides/view.aspx?eevtid=46&fp=42.
33. Decousus H, Prandoni P, Mismetti P, Bauersachs RM, Boda Z, Brenner B, et al. Fondaparinux for the treatment of superficial-vein thrombosis in the legs. N Engl J Med 2010; 363: 1222-1232.
34. Wise RA, Anzueto A, Cotton D, Dahl R, Devins T, Disse B, et al. Tiotropium respimat inhaler and the risk of death in COPD. N Engl J Med 2013; 369: 1491-1501.
35. Loke YK, Singh S, Furberg CDl. Tiotropium and the risk of death in COPD [correspondence]. N Engl J Med 2014; 370: 480-481.