In het kort Lees artikel

Living systematic reviews

Leo M.L. Stolk, Rutger A. Middelburg
Nr 11|2021 (55)|Pagina 117-119|Thema-artikel|doi: 10.35351/gebu.nl.2021.11.21|10-11-2021

Tags

Tags

Samenvatting

Steeds meer systematische reviews en (netwerk) meta-analyses worden regelmatig geactualiseerd en evolueren in ‘living systematic reviews’ (LSR). Snelle ontwikkelingen op medisch gebied en actuele farmacotherapeutische vraagstukken maken dat de ‘overlevingstijd’ van systematische reviews beperkt is. In tegenstelling tot de klassieke systematische review worden living systematic reviews volgens een tevoren vastgelegd schema en met een hogere frequentie geactualiseerd. Methoden en kwaliteitseisen voor de samenstelling zijn grotendeels gelijk. Living systematic reviews zijn essentieel voor het samenstellen en actueel houden van richtlijnen.

Wat is het standpunt van het Ge-Bu?
  • Bij snelle ontwikkelingen op geneesmiddelengebied is de bruikbare periode van systematische reviews en (netwerk) meta-analyses beperkt. 
  • Een oplossing zijn living systematic reviews en (netwerk) meta-analyses, die volgens een tevoren vastgelegd schema frequent worden geactualiseerd.
  • Net als klassieke systematische reviews moeten living systematic reviews voldoen aan vastgelegde kwaliteitseisen. 
  • Richtlijnen worden bij voorkeur gebaseerd op living systematic reviews zodat lacunes zo snel mogelijk kunnen worden aangevuld.

“75 onderzoeken en 11 systematische reviews per dag. Hoe kunnen we dat ooit bijhouden?” is de titel van een artikel dat in 2010 verscheen.1 Inmiddels zijn deze aantallen waarschijnlijk nog veel groter geworden. Systematische reviews en meta-analyses verouderen daardoor snel. In een onderzoek werd een mediane overlevingstijd gevonden van 5,5 jaar. Bij 23% van de systematische reviews waren er na 2 jaar al signalen die een update noodzakelijk maakten. Bij 15% was dit al na 1 jaar en bij 7% zelfs al bij publicatie.2 De tijd tussen publicatie van een onderzoek en de opname daarvan in een systematische review kan variëren van 2,5 tot 6,5 jaar.3 

Vooral voor de onderbouwing van richtlijnen is het belangrijk dat onder andere systematische reviews en (netwerk) meta-analyses actueel zijn. Wanneer dit niet zo is bestaat het risico dat de richtlijn snel is verouderd. In een ‘overlevings’analyse van klinische richtlijnen werd gevonden dat één op de vijf aanbevelingen in klinische richtlijnen al na drie jaar verouderd is.4 In de literatuur zijn richtlijnen te vinden wanneer en hoe systematische reviews zouden moeten worden geactualiseerd.5 Ook het ‘Cochrane Handbook’ geeft uitgebreide aanwijzingen voor het updaten van systematische reviews.6 Bij de onderwerpen waar veel verandering plaatsvindt en het gaat om belangrijke (farmacotherapeutische) vraagstukken is het echter noodzakelijk een review zeer vaak of bijna continu te actualiseren. De systematische review wordt een ‘living systematic review’ (LSR) genoemd of, in het Nederlands, een levende systematische review.

Wat is een living systematic review?

Living systematic reviews (LSR) zijn online gepubliceerde systematische reviews die zeer vaak (bijna continu) worden geactualiseerd. ‘Living’ staat dus niet voor de methode van onderzoek maar voor het feit dat de review continu wordt bijgehouden. Het concept van living systematic reviews werd in 2014 voor het eerst voorgesteld. Dit concept vereist dat nieuw bewijs zo snel mogelijk wordt opgenomen.3,7 Binnen dit concept vallen ook netwerk meta-analyses (living cumulative network meta-analysis) en meta-analyses (living meta-analysis). Het aantal living systematic reviews is de laatste jaren sterk toegenomen. Het aantal ‘hits’ in PubMed op de zoekterm ‘living systematic review’ is sinds 2014 gestegen van 451 naar 1474.8

De zoekfrequentie en de tijd die nodig is voor opname van nieuwe informatie zijn essentieel voor de actualiteit van de LSR, maar zijn niet gespecificeerd in de definitie. Er moet altijd worden gezocht naar een balans tussen actualiteit en haalbaarheid. Een voorstel is om relevante nieuwe informatie in ieder geval per vier of zes maanden op te nemen.7,9 In de praktijk blijken de auteurs van de meeste LSR-projecten iedere maand te zoeken naar nieuwe informatie om deze daarna binnen nog een maand beschikbaar te maken voor de eindgebruiker.7

Een LSR is alleen nuttig en zinnig als aan alle onderstaande criteria wordt voldaan:

  • De systematische review is van groot belang voor de besluitvorming.
  • De betrouwbaarheid van het bestaande bewijs is laag. Het is daarom goed mogelijk dat nieuwe informatie leidt tot verandering van de conclusies. Het is uiteraard ook mogelijk dat de op bewijs van lage kwaliteit berustende conclusies beter worden onderbouwd.
  • Het is waarschijnlijk dat er op korte termijn in nieuwe onderzoeken nieuw bewijs wordt gevonden, omdat er snelle ontwikkelingen zijn op het onderzoeksterrein.

Overigens is een living systematic review natuurlijk geen veroordeling tot levenslang. Als niet meer aan bovenstaande criteria wordt voldaan, kan de LSR worden stopgezet.7

De methodiek voor het opstellen van een LSR is in essentie gelijk aan die van een standaard systematische review of (netwerk) meta-analyse.7 Deze laatste zijn eerder besproken in het Ge-Bu.10,11 De Cochrane Collaboration heeft een uitgebreid richtsnoer gepubliceerd voor de samenstelling van LSR’s.9 Verschillen met standaard systematische reviews en (netwerk) meta-analyses zijn dat van te voren wordt vastgelegd met welke frequentie er wordt gezocht naar nieuwe informatie, met welke frequentie deze nieuwe informatie wordt onderzocht en wanneer en hoe deze informatie in de LSR wordt opgenomen. Het is ook van belang om van te voren vast te leggen met welke methoden de meta-analyses worden geactualiseerd. Wanneer de meta-analyse opnieuw wordt berekend na toevoeging van nieuw gerandomiseerd onderzoek kunnen er namelijk opnieuw valspositieve en valsnegatieve resultaten (zogenaamde type 1- en type 2-fouten) optreden. Er zijn verscheidene statistische methoden ontwikkeld om voor deze fouten te corrigeren.12

De werkwijze bij het actualiseren

Het bijhouden van een LSR kent een vaste, bij voorkeur geprotocolleerde cyclus7,9:

  1. Zoeken naar nieuw onderzoek. 
  2. Beoordeling van de nieuwe onderzoeken. Wanneer een nieuw onderzoek niet wordt geïncludeerd, moet de lezer (eindgebruiker) worden geïnformeerd over de reden daarvan, onder vermelding van de datum van de laatste keer dat in de literatuur is gezocht. Is er relevant nieuw onderzoek gevonden, dan start stap 3.
  3. Herziening van de review met onder meer vaststellen van het risico op bias, updaten van de meta-analyses, peer-review enzovoort.
  4. Informeren van de lezers over de aanstaande herziening en wat er veranderd is (incl. de datum van de laatste zoekactie).
  5. Publicatie (zo snel mogelijk).

Automatiseren

De werklast om een LSR bij te houden, is groot. Om deze te verlichten is voorgesteld de uitvoering te automatiseren. Zo kan het continu doorzoeken van databases worden geautomatiseerd en zijn er mogelijkheden om het selecteren en classificeren van de te includeren studies te automatiseren. Ook het verzamelen van informatie uit de artikelen, het vaststellen van het risico op bias, het uitvoeren van meta-analyses en de rapportage kunnen worden geautomatiseerd.13

Alleen peer-reviewedpublicaties

Net zoals dat ook het geval is voor standaard systematische reviews worden in de LSR’s alleen peer-reviewedpublicaties opgenomen.9 Er wordt op dit moment veel gepubliceerd via zogenaamde ‘preprints’, manuscripten die op internet vrij toegankelijk zijn via zogenaamde ‘preprintservers’. Deze preprints hebben echter (nog) geen peer-review ondergaan.14,15 Omdat preprints geen peer-review hebben ondergaan, komen ze niet voor opname in de LSR in aanmerking.

Cochrane Library

De ‘Cochrane Library’ publiceert living systematic reviews.16 Er zijn een aantal LSR’s online beschikbaar, zoals ‘Systemic pharmacological treatments for chronic plaque psoriasis: a network meta-analysis versie 4.’17 De inhoud daarvan is vrij toegankelijk via cochranelibrary-psoriasis-lsr.17 

In het artikel staat een overzicht van de historie van de versies (‘version history’) 1 t/m 4 en zijn de wijzigingen per versie aangegeven. In de verschillende versies zijn de auteurs iets gewijzigd. In PubMed zijn de oude versies 2 en 3 van december 2017 t/m april 2021 terug te vinden. 

British Medical Journal

Ook het ‘British Medical Journal’ publiceert living systematic reviews, zoals ‘Drug treatments for covid-19: living systematic review and network meta-analysis’.18,19 Het oorspronkelijke artikel is gepubliceerd op 30 juli 2020. Inmiddels zijn er drie updates van het artikel gepubliceerd. Het artikel is vrij toegankelijk via bmj-covid19-lsr.19 

Voorbeeld van een protocol

Een voorbeeld van een protocol voor een living systematic review is ‘Vaccines to prevent COVID-19: a protocol for a living systematic review with network meta-analysis including individual patient data (The LIVING VACCINE Project)’.20 De auteurs geven aan dat de review wordt uitgevoerd volgens het Cochrane Handbook of systematic reviews and interventions21 en volgens Prisma (Preferred reporting items for systematic reviews and meta-analyses)22 Het protocol is opgenomen in de PROSPERO (The International Prospective Register of Systematic Reviews)-database onder nummer CRD42020196492.23 Het protocol is vrij toegankelijk via prospero-protocol-lsr.23

  1. Bastian H, Glasziou P, Chalmers I. Seventy-five trials and eleven systematic reviews a day: how will we ever keep up? PLoS Med. 2010 Sep 21;7(9):e1000326. doi: 10.1371/journal.pmed.1000326.
  2. Shojania KG, Sampson M, Ansari MT, Ji J, Doucette S, Moher D. How quickly do systematic reviews go out of date? A survival analysis. Ann Intern Med. 2007 Aug 21;147(4):224-33. doi: 10.7326/0003-4819-147-4-200708210-00179.
  3. Elliott JH, Turner T, Clavisi O, Thomas J, Higgins JP, Mavergames C, et al. Living systematic reviews: an emerging opportunity to narrow the evidence-practice gap. PLoS Med. 2014 Feb 18;11(2):e1001603. doi: 10.1371/journal.pmed.1001603.
  4. Martínez García L, Sanabria AJ, García Alvarez E, Trujillo-Martín MM, Etxeandia-Ikobaltzeta I, Kotzeva A, et al. Updating Guidelines Working Group. The validity of recommendations from clinical guidelines: a survival analysis. CMAJ. 2014 Nov 4;186(16):1211-9. doi: 10.1503/cmaj.140547. Erratum in: CMAJ. 2017 Jan 9;189(1):E33. 
  5. Garner P, Hopewell S, Chandler J, MacLehose H, Schünemann HJ, Akl EA, et al. Panel for updating guidance for systematic reviews (PUGs). When and how to update systematic reviews: consensus and checklist. BMJ. 2016 Jul 20;354:i3507. doi: 10.1136/bmj.i3507. Erratum in: BMJ. 2016 Sep 06;354:i4853. 
  6. This chapter should be cited as: Cumpston M, Chandler J. Chapter IV: Updating a review. In: Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, Welch VA (editors). Cochrane Handbook for Systematic Reviews of Interventions version 6.2 (updated February 2021). Cochrane, 2021. Via: www.training.cochrane.org/handbook. Geraadpleegd op 13-07-2021
  7. Elliott JH, Synnot A, Turner T, Simmonds M, Akl EA, McDonald S, et al. Living Systematic Review Network. Living systematic review: 1. Introduction-the why, what, when, and how. J Clin Epidemiol. 2017 Nov;91:23-30. doi: 10.1016/j.jclinepi.2017.08.010. 
  8. Via: https://pubmed.ncbi.nlm.nih.gov/?term=living+systematic+reviews. Geraadpleegd op 19-09-2021
  9. Brooker J, Synnot A, McDonald S et al. Guidance for the production and publication of Cochrane living systematic reviews: Cochrane Reviews in living mode. 2019. Via: https://community.cochrane.org/sites/default/files/uploads/inline-files/Transform/201912_LSR_Revised_Guidance.pdf. Geraadpleegd op 17-07-2021
  10. Stolk LM. Netwerk meta-analyse van geneesmiddelen. Gebu. 2020;54(8):89-95.
  11. Dekkers OM. Meta-analyse: mogelijkheden en beperkingen. Gebu. 2012;46(8):85-92.
  12. Simmonds M, Salanti G, McKenzie J, Elliott J; Living Systematic Review Network. Living systematic reviews: 3. Statistical methods for updating meta-analyses. J Clin Epidemiol. 2017 Nov;91:38-46. doi: 10.1016/j.jclinepi.2017.08.008.
  13. Thomas J, Noel-Storr A, Marshall I, Wallace B, McDonald S, Mavergames C, et al. Living Systematic Review Network. Living systematic reviews: 2. Combining human and machine effort. J Clin Epidemiol. 2017 Nov;91:31-37. doi: 10.1016/j.jclinepi.2017.08.011.
  14. Maslove DM. Medical Preprints-A Debate Worth Having. JAMA. 2018 Feb 6;319(5):443-444. doi: 10.1001/jama.2017.17566. 
  15. van Schalkwyk MCI, Hird TR, Maani N, Petticrew M, Gilmore AB. The perils of preprints. BMJ. 2020 Aug 17;370:m3111. doi: 10.1136/bmj.m3111. 
  16. LSRs and LSR Protocols on Cochrane Library. Via: https://community.cochrane.org/review-production/production-resources/living-systematic-reviews/lsrs-and-lsr-protocols-cochrane-library. Geraadpleegd op 23-07-2021
  17. Sbidian E, Chaimani A, Garcia-Doval I, Doney L, Dressler C, Hua C, et al. Systemic pharmacological treatments for chronic plaque psoriasis: a network meta-analysis. Cochrane Database Syst Rev. 2021 Apr 19;4(4):CD011535. doi: 10.1002/14651858.CD011535.pub4. Via: https://www.cochranelibrary.com/cdsr/doi/10.1002/14651858.CD011535.pub4/full
  18. Macdonald H, Loder E, Abbasi K. Living systematic reviews at The BMJ. BMJ. 2020 Jul 30;370:m2925. doi: 10.1136/bmj.m2925.
  19. Siemieniuk RA, Bartoszko JJ, Ge L, Zeraatkar D, Izcovich A, Kum E, et al. Drug treatments for covid-19: living systematic review and network meta-analysis. BMJ. 2020 Jul 30;370:m2980. doi: 10.1136/bmj.m2980. Update in: BMJ. 2020 Sep 11;370:m3536. Update in: BMJ. 2020 Dec 17;371:m4852. Update in: BMJ. 2021 Mar 31;372:n858. Erratum in: BMJ. 2021 Apr 13;373:n967. Via: https://www.bmj.com/content/370/bmj.m2980
  20. Korang SK, Juul S, Nielsen EE, Feinberg J, Siddiqui F, Ong G, et al. Vaccines to prevent COVID-19: a protocol for a living systematic review with network meta-analysis including individual patient data (The LIVING VACCINE Project). Syst Rev. 2020 Nov 20;9(1):262. doi: 10.1186/s13643-020-01516-1. 
  21. Higgins J TJ, Chandler J, Cumpston M, Li T, Page M, et al. Cochrane handbook for systematic reviews of interventions version 6.0. (updated July 2019). Via: https://training.cochrane.org/handbook/archive/v6.
  22. Moher D, Shamseer L, Clarke M, Ghersi D, Liberati A, Petticrew M, et al. PRISMA-P Group. Preferred reporting items for systematic review and meta-analysis protocols (PRISMA-P) 2015 statement. Syst Rev. 2015 Jan 1;4(1):1. doi: 10.1186/2046-4053-4-1.
  23. PROSPERO International prosepective register of systematic reviews. Via: https://www.crd.york.ac.uk/prospero/. Geraadpleegd op 24-07-2021

Auteurs

  • dr Leo M.L. Stolk, ziekenhuispotheker n.p., klinisch farmacoloog n.p., epidemioloog n.p.
  • dr Rutger A. Middelburg, epidemioloog