Jonge wetenschappers, verbeter de wetenschap

Opinie | door Judith de Haan
22 februari 2018 | Er is beweging gaande in de (biomedische) onderzoekswereld. Van verschillende kanten klinkt geluid over de grote hoeveelheid publicaties van twijfelachtige kwaliteit, het falen van vele medicijnen in klinische studies en de onduidelijke impact van veel onderzoek. De vraag is wat er aan gedaan kan worden. En wat kunnen wij, de promovendi, hieraan doen?

Er zijn al verschillende acties ondernomen, zoals het implementeren van een paragraaf ‘Maatschappelijke impact’ in verschillende beursaanvragen en het benoemen van hoogleraren op meer dan alleen hun publicatielijst. Deze stappen worden genomen door personen die al ver in hun carrière zijn en ook vóór personen die al een stapje verder zijn. Mogen wij als jonge wetenschappers pas zelf kritiek geven en veranderingen verwezenlijken als we het oude systeem hebben doorlopen? De veranderingen die gaande zijn, zijn voor ons des te belangrijker en daarom vind ik dat je ook als promovendus een actieve rol kan nemen in het bewerkstelligen van verbeteringen van de wetenschap. En eigenlijk dat je dit als promovendus verplicht bent, aan jezelf en aan de wetenschap.

Er zijn verschillende dingen die je ook als beginnende wetenschapper kan doen, die niet alleen zijn weggelegd voor de hoge piefen. Soms lijkt het misschien of zoiets kleins maar weinig zin heeft, maar juist alles bij elkaar, het veranderen van de manier van denken, bewustzijn creëren, heeft uiteindelijke een grote impact. Hieronder beschrijf ik een aantal dingen die je zou kunnen doen, ook als beginnende wetenschapper.

Publiceer “negatieve” data

Het gebeurt niet vaak dat “negatieve”studies (waarin geen verschil wordt gevonden) worden gepubliceerd. Men publiceert liever (verplicht?) positieve, vernieuwende bevindingen, zowel in proefschriften als in wetenschappelijke tijdschriften. Het publiceren van “negatieve” data neemt de afgelopen jaren zelfs af (Fanelli 2012). Gedurende mijn promotietraject viel het me op dat onderzoekers vaak hun experimenten als gefaald zien als er geen verschillen worden geobserveerd. Terwijl studies die geen verschil laten zien, net zo waardevol zijn als studies die wel verschillen aantonen.

Het aantal “negatieve” studies dat wordt gepubliceerd in de biomedische wetenschappen varieert tussen de 7 en 23%, afhankelijk van het veld (Fanelli 2010). In een artikel dat in The Economist is verschenen in 2013 wordt duidelijk uitgelegd dat we gebaseerd op berekeningen veel meer 'negatieve' studies Als je er vanuit gaat dat 1 op de 10 hypotheses echt waar is (wat al best een hoge aanname is, in bijvoorbeeld de genetica is dit veel lager, namelijk 1 op 1000), dan zou je van 1000 hypothese-onderzoeken verwachten dat er 100 hypotheses echt waar zijn, en 900 niet waar. Van deze 100 hypotheses die waar zijn, pik je er 80 op met een onderscheidingsvermogen, de power, van 80%. Van de 900 zullen er 45 vals positief zijn, door de alfa van 5%. In totaal verwacht je dus 875 'negatieve' studies uit 1000 studies, een veel hoger aantal dan dat we terugvinden in de literatuur (The Economist 2013). zouden verwachten.

Tijdschriften zijn vaak minder geïnteresseerd in het publiceren van “negatieve” data. Voor onderzoekers is het dus vaak moeilijker om hun studie te verkopen als de uitkomst “negatief” is. Gelukkig ontstaan er wel in toenemende mate initiatieven om het publiceren van “negatieve” data te bevorderen. Zo is er het tijdschrift voor negatieve bevindingen van BioMed Central, zijn er fondsen speciaal voor het financieel ondersteunen van het publiceren van “negatieve” data (ZonMw: ‘Meer kennis met minder dieren open access publiceren van negatieve data’) en worden er debatten georganiseerd over de manier waarop we data publiceren (Keulemans 2017).

Suggesties om het systeem op andere manieren te verbeteren zijn ook volop aanwezig. Zo kunnen instructies van experimenten online worden gedeeld op Open Lab Book. Daarnaast sprak Rosanne Hertzberger openlijk over haar problemen met haar postdoc in de Verenigde Staten in een populair Nederlands TV programma ‘Zomergasten’. Ze nam het naar mijn mening moedige initiatief om een blog te starten, genaamd Reblab, waar ze de principes van Open Kitchen Science volgt en al haar data, positief en negatief, online deelt en niet wacht tot het publiceren in een peer-reviewed wetenschappelijk tijdschrift.

Verbeter de methodologie

Verschillende studies kaarten aan dat er veel winst te behalen valt bij het verbeteren van experimentele opzet en statistische analyses. Veel onderzoekers rapporteren over de problemen die we hebben: het gebrek aan reproduceerbaarheid, de publicatie bias, allemaal belichten ze een ander aspect van het probleem. Eén ding komt duidelijk naar voren: statistische scholing zou verbeterd moeten worden voor zowel de junior onderzoeker als de senior onderzoeker. Maar waarom implementeren biomedische wetenschapper dan geen betere methodologie voor hun onderzoek?

Een van de redenen is wellicht dat statistici en wetenschappers niet dezelfde taal spreken. Ook is het statistiekonderwijs voornamelijk gericht op klinisch onderzoek en niet op laboratoriumonderzoek. We hebben meer en betere statistiekcursussen nodig die zich speciaal richten op wetenschappers op het lab (zoals ‘Molecules, mice and math: A statistical toolbox for the lab’). Naar mijn idee weten wetenschappers in het algemeen vaak niet van de mogelijkheden die een goede methodologie en statistiek kan genereren voor hun onderzoek; het is een hulpmiddel om hun onderzoeksopzet en analyses te verbeteren en daardoor betrouwbaardere resultaten krijgen.

Samenwerken met statici zou van toegevoegde waarde kunnen zijn bij de keuze van geslacht in proefdieronderzoek. Het meeste onderzoek is gedaan met óf mannetjes- óf vrouwtjesdieren en niet met beide. Vaak is de keuze om maar één sekse te bestuderen gebaseerd op voorafgaand onderzoek in hetzelfde lab en als gewoonte nemen mensen daarna dezelfde sekse. Een andere reden om alleen maar één sekse mee te nemen, is dat men er vanuit gaat dat ze het aantal dieren moeten verdubbelen als ze beiden seksen willen meenemen, namelijk het aantal dieren dat ze hebben berekend in hun groepsgrootteberekening maal twee.

Met een gepaste onderzoeksopzet hoeft het aantal dieren vaak niet verdubbeld te worden en kunnen toch beiden seksen worden geïncludeerd. Een voorbeeld, als je onderzoeksvraag is of een medicijn de hartfunctie na een hartinfarct verbetert en je hebt geen reden om aan te nemen dat dit anders zou functioneren in mannetjes of in vrouwtjes, dan heb je geen extra dieren nodig als je twee groepen met elkaar vergelijkt (als je drie groepen met elkaar vergelijkt, dan is er één extra dier nodig). Ook als het effect sterker is in mannetjes dan in vrouwtjes, verandert dit niet het aantal dieren dat je nodig hebt (zolang je relevante effectgrootte gelijk blijft). Beide seksen meenemen in je onderzoek heeft verschillende voordelen.

Allereerst zal het leiden tot een vermindering van het overschot van muizen van één sekse, wat om ethische redenen een pré is. Ten tweede zal het de kans vergroten dat een medicijn ook in beiden seksen in mensen werkt. Alleen als er sterke aannames zijn dat een medicijn alleen in één geslacht gaat werken, bijvoorbeeld een medicijn dat aangrijpt op estrogeen, dan zou het alleen in mannetjes of in vrouwtjes getest moeten worden. Voor meer fundamentele vragen is het lastiger om te bepalen of geslacht invloed heeft. In dit geval zou het uitvoeren van een systematische review Bij een systematische review wordt alle relevante studies op een systematische wijzen verzameld om een overzicht te geven van de literatuur op dat moment. Een systematisch review kan gevolgd worden door een meta-analyse waarbij de uitkomsten van de verschillende studies worden samengevoegd om met een grotere betrouwbaarheid een uitspraak te kunnen doen over de effectiviteit van een medicijn of behandeling. uitkomst kunnen bieden. Hieruit kan worden herleid of geslacht invloed heeft en of in de toekomst studies in beiden geslachten of alleen in mannetjes of vrouwtjes moet worden uitgevoerd.

Onderzoeksgroepen zoals CAMARADES en Syrcle hebben een expertise ontwikkeld voor het uitvoeren van systematische reviews. Een ander voordeel van het uitvoeren van een systematische review van een proefdiermodel is dat het een overzicht geeft van de parameters die invloed kunnen hebben op de uitkomst waarin je geïnteresseerd bent. Vervolgstudies kunnen zo een betere keuze maken betreffende diersoort, geslacht of de follow-up tijd.

Het is belangrijk om de de power van studies De power, het onderscheidend vermogen, van een studie is het vermogen om effecten die aanwezig zijn ook daadwerkelijk op te pikken. Hoe hoger de power van je studie is, de minder kans op fout-negatieve resultaten. te verhogen, omdat een groot deel van het biomedische onderzoek met een te lage power werkt (Turner, Bird, and Higgins 2013; Button et al. 2013; Scott et al. 2008; Ramirez et al. 2017) en dit kan uiteindelijk leiden tot niet-reproduceerbaarheid en het falen van de translatie van dierproeven naar de kliniek. Het aantal studies dat te reproduceren is, is alarmerend laag. In een overzicht van studies die keken naar reproduceerbaarheid van preklinisch onderzoek was maximaal maar de helft te reproduceren (Freedman, Cockburn, and Simcoe 2015).

Een groepsgrootteberekening vooraf aan de studies had de power van de studies vergroot en daarmee ook de kans op het vinden van een kandidaat voor een medicijn dat effectief is in mensen (Scott et al. 2008). Bestaande literatuur kan worden gebruikt om een schatting te maken van de gewenste effectgrootte en de variantie in de uitkomstmaat. De beste manier om de varianties te bepalen is door een systematisch review uit te voeren, waarbij je alle aanwezige literatuur op het onderwerp van interesse verzamelt en daarmee de beste schattingen kan maken.

Registreer je protocollen

Een manier om de kwaliteit van studies te verbeteren én publicatie-bias te verminderen (en zo dus ook meer “negatieve” studies te publiceren) is het registreren van je protocollen. Een van de manieren hiervoor is een Registered Report system, waarbij het peer-review-proces is opgesplitst in twee fases, één fase waarin het gedetailleerde onderzoeksprotocol met de rationale en het analyseplan wordt bekeken en een tweede fase waarin het uiteindelijke manuscript met resultaten en discussie wordt beoordeeld. Methodologisch sterke stukken hebben op deze manier meer kans om geaccepteerd te worden voor publicatie, zelfs als de uitkomsten negatief zijn.

Tijdschriften zoals Plos One werken met een soortgelijke strategie, waarbij alleen artikelen worden geaccepteerd die methodologisch correct zijn. Er ontstaan ook initiatieven voor pre-registratie van preklinisch proefdieronderzoek, zoals de website preclinicaltrials.eu waar studies geregistreerd kunnen worden. Door je experimentele opzet, analyse en manier waarop je uitbijters verwijdert, van tevoren openbaar te maken, is het meer transparant wanneer er wijzigingen worden doorgevoerd later in de studie. Daarnaast kunnen ook protocollen voor systematische reviews online worden geregistreerd, op websites van bijvoorbeeld Syrcle.

Deel ook je mislukkingen

We zouden meer verhalen moeten delen over wat er fout gaat en wat er mislukt tijdens ons onderzoek. Onderling delen we vaak alleen de succesverhalen; de experimenten die verrassende resultaten lieten zien, de publicaties in vooraanstaande tijdschriften, de fondsen die we hebben gekregen. Ik geloof dat deze manier van denken over succes al vroeg in de carrières van jonge onderzoekers start en schadelijk is voor het wetenschappelijke gemeenschap. Ik denk dat we meer verhalen zouden moeten delen over wat er fout gaat en wat we daarvan kunnen leren. Ik denk dat deze verhalen net zo waardevol, danwel waardevoller, zijn.

Gelukkig wordt er steeds meer aandacht besteed aan het belang van het delen van fouten en wat je daaruit kan leren. Het cv van Falen van Johannes Haushofer, een universitair docent bij Princeton, kreeg bijvoorbeeld veel aandacht. Ook zijn er initiatieven zoals de Failure Lectures van MIT, waarbij gevestigde professors open spreken over de fouten en mislukkingen in hun carrière, bijvoorbeeld die van hoogleraar Robert Langer. Het openlijk bespreking van mislukkingen onder promovendi zou zeker nog kunnen worden aangemoedigd. Zoals Shona Kalkman uiteenzet in het artikel ‘Promoveren en de kunst van het mislukken’  is de wetenschap gebaat bij het delen van mislukkingen (Shona Kalkman 2014). Ook ik geloof dat dit soort verhalen essentieel zijn. Het creëert een open houding; iedereen maakt fouten en fouten zijn niet schadelijk, het zijn kansen om te leren.

Conclusie

Biomedisch onderzoek is, ondanks de gebreken in kwesties zoals experimentele opzet, subsidieaanvragen en publicatiebias, onmisbaar geweest voor de toegenomen kennis. Toch kunnen we als onderzoekers niet ontkennen dat we problemen hebben. We moeten ons richten op de dingen de we nu zelf kunnen doen, het verbeteren van onze onderzoeksopzetten door bijvoorbeeld systematische reviews uit te voeren, het leren van statistici, energie stoppen in het publiceren van “negatieve” bevindingen. Het gaat niet allemaal om p-waardes en waanzinnige resultaten, het gaat niet om de hoeveelheid maar om de kwaliteit van het onderzoek. Ook jonge onderzoekers zouden hier hun steentjes aan kunnen bijdragen, want ieder beetje helpt!

Judith de Haan :  Programma manager Open Science Programma van de Universiteit Utrecht

Literatuurverwijzingen

Power Failure: Why Small Sample Size Undermines the Reliability of Neuroscience.

Button, Katherine S., John P. A. Ioannidis, Claire Mokrysz, Brian A. Nosek, Jonathan Flint, Emma S. J. Robinson, and Marcus R. Munafò. 2013. “Power Failure: Why Small Sample Size Undermines the Reliability of Neuroscience.” Nature Reviews Neuroscience 14 (5): 365–76. doi:10.1038/nrn3475. Dit artikel beschrijft waarom het belangrijk is om te werken met een hoge power en waarom je groepsgrootte berekeningen zou moeten doen.

How to Increase Value and Reduce Waste When Research Priorities Are Set.

Chalmers, Iain, Michael B. Bracken, Ben Djulbegovic, Silvio Garattini, Jonathan Grant, A. Metin Gülmezoglu, David W. Howells, John P.A. Ioannidis, and Sandy Oliver. 2014. “How to Increase Value and Reduce Waste When Research Priorities Are Set.” The Lancet 383 (9912): 156–65. doi:10.1016/S0140-6736(13)62229-1. In dit artikel wordt aangedragen hoe er betere onderzoeksvragen geformuleerd kunnen worden voor translationeel onderzoek. Dit zal dan tot minder verspild onderzoek gaan leiden.

‘Positive’ Results Increase Down the Hierarchy of the Sciences.

Fanelli, Daniele. 2010. “‘Positive’ Results Increase Down the Hierarchy of the Sciences.” Edited by Enrico Scalas. PLoS ONE 5 (4): e10068. doi:10.1371/journal.pone.0010068. Hier wordt beschreven dat in de “softere” wetenschappen zoals psychologie er meer positieve studies worden gepubliceerd dan in natuurkundige wetenschappen.

Negative Results Are Disappearing from Most Disciplines and Countries.”

  1. Fanelli, Daniele. 2012. “Negative Results Are Disappearing from Most Disciplines and Countries.” Scientometrics 90 (3). Springer Netherlands: 891–904. doi:10.1007/s11192-011-0494-7. Naast dat er weinig negatieve artikelen worden gepubliceerd, neemt dit aantal ook nog eens af.

“The Economics of Reproducibility in Preclinical Research.”

Freedman, Leonard P., Iain M. Cockburn, and Timothy S. Simcoe. 2015. “The Economics of Reproducibility in Preclinical Research.” PLoS Biology 13 (6): 1–9. doi:10.1371/journal.pbio.1002165. De kosten voor preklinisch onderzoek zijn hoog, deels wordt er geld verspild aan niet-reproduceerbare studies. Dit geld zou beter besteed kunnen worden.

Increasing Value and Reducing Waste in Research Design, Conduct, and Analysis.

Ioannidis, John P A, Sander Greenland, Mark A Hlatky, Muin J Khoury, Malcolm R Macleod, David Moher, Kenneth F Schulz, and Robert Tibshirani. 2014. “Increasing Value and Reducing Waste in Research Design, Conduct, and Analysis.” The Lancet 383 (9912): 166–75. doi:10.1016/S0140-6736(13)62227-8. In dit artikel worden verschillende suggesties aangedragen om experimentele design en analyse te verbeteren.

Promoveren de kunst van het mislukken

Kalkman, Shona, 2014. ‘Promoveren en de kunst van het mislukken’ In dit stuk worden de gevaren beschreven van het niet delen van mislukkingen onder promovendi.

Wetenschappers die via reviews reclame maken voor zichzelf, daar wil Wageningen van af.

Keulemans, Maarten. 2017. “Wetenschappers Die via Reviews Reclame Maken Voor Zichzelf, Daar Wil Wageningen van Af.” 5-9-2017.  Debat gaande bij de VSNU over het rapport van de universiteit van Wageningen over het citatiegedrag van onderzoekers.

Survey of the Quality of Experimental Design, Statistical Analysis and Reporting of Research Using Animals.

Kilkenny, Carol, Nick Parsons, Ed Kadyszewski, Michael F.W. Festing, Innes C. Cuthill, Derek Fry, Jane Hutton, and Douglas G. Altman. 2009. “Survey of the Quality of Experimental Design, Statistical Analysis and Reporting of Research Using Animals.” PLoS ONE 4 (11). doi:10.1371/journal.pone.0007824.  Onderzoek naar de kwaliteit van de gerapporteerde dierstudies. Conclusie is dat de kwaliteit vaak ondermaats is.

A Manifesto for Reproducible Science.

Munafò, Marcus R, Brian A Nosek, Dorothy V M Bishop, Katherine S Button, Christopher D Chambers, Nathalie Percie, Uri Simonsohn, Eric-jan Wagenmakers, Jennifer J Ware, and John P.A. Ioannidis. 2017. “A Manifesto for Reproducible Science.” Nature Human Behaviour 1 (January). Macmillan Publishers Limited: 1–9. doi:10.1038/s41562-016-0021. Een manifest voor reproduceerbaar onderzoek.

Methodological Rigor in Preclinical Cardiovascular Studies: Targets to Enhance Reproducibility and Promote Research Translation.

Ramirez, F Daniel, Pouya Motazedian, Richard G Jung, Pietro Di Santo, Zachary D MacDonald, Robert Moreland, Trevor Simard, et al. 2017. “Methodological Rigor in Preclinical Cardiovascular Studies: Targets to Enhance Reproducibility and Promote Research Translation.” Circulation Research 120 (12). American Heart Association, Inc.: 1916–26. doi:10.1161/CIRCRESAHA.117.310628. In het cardiovasculaire veld is de kwaliteit van preklinische studies niet verbeterd de afgelopen jaren.

Design, Power, and Interpretation of Studies in the Standard Murine Model of ALS.

Scott, Sean, Janice E. Kranz, Jeff Cole, John M. Lincecum, Kenneth Thompson, Nancy Kelly, Alan Bostrom, et al. 2008. “Design, Power, and Interpretation of Studies in the Standard Murine Model of ALS.” Amyotrophic Lateral Sclerosis 9 (1): 4–15. doi:10.1080/17482960701856300. Voorbeeld van een onderzoeksveld, ALS, waarbij er een groot probleem is in de transleerbaarheid naar de mens. Groepsgrootteberekeningen hadden een deel van dit probleem kunnen ondervatten.

Unreliable Research Trouble at the Lab.

The Economist. 2013. “Unreliable Research Trouble at the Lab.” Artikel over de problemen die spelen in het laboratorium. Hierin wordt ook uitvoerig beschreven dat we meer negatieve studies zouden verwachten op basis van berekeningen.

The Impact of Study Size on Meta-Analyses: Examination of Underpowered Studies in Cochrane Reviews.

Turner, Rebecca M., Sheila M. Bird, and Julian P. T. Higgins. 2013. “The Impact of Study Size on Meta-Analyses: Examination of Underpowered Studies in Cochrane Reviews.” Edited by Lise Lotte Gluud. PLoS ONE 8 (3). Public Library of Science: e59202. doi:10.1371/journal.pone.0059202. Systematische reviews en daaropvolgende meta-analyses zijn gebaseerd op studies met een te lage power.


«
Schrijf je in voor onze nieuwsbrief
ScienceGuide is bij wet verplicht je toestemming te vragen voor het gebruik van cookies.
Lees hier over ons cookiebeleid en klik op OK om akkoord te gaan
OK