Positief prikkelen
Vorig jaar startte het NWO-pilotprogramma Replicatiestudies en vorige week werd bekendgemaakt welke projecten in de eerste ronde gefinancierd zullen worden. ScienceGuide sprak met onderzoeker Jelte Wicherts (Tilburg University) en met de voorzitter van de programmacommissie Lex Bouter (Vrije Universiteit) over de noodzaak van replicatiestudies en de mogelijkheden die deze prikkel biedt voor de wetenschap.
In totaal kregen negen onderzoekers in deze eerste ronde een beurs om replicatie- of reproductieonderzoek te doen. Bij replicatie herhalen de onderzoekers een studie op (zo veel mogelijk) dezelfde wijze om te kijken of de uitkomst zich herhaalt. Ook was het mogelijk dat dezelfde data worden gebruikt als in het oorspronkelijke onderzoek, maar worden deze opnieuw geanalyseerd om de analyse te valideren.
Overweldigend enthousiasme
Lex Bouter maakt zich al langer hard voor het verbeteren van de wetenschappelijk praktijk en werd door NWO gevraagd om de programmacommissie te leiden. Hij maakt zich momenteel op voor de analyse van de eerste ronde en is positief. “Het enthousiasme voor deze call was overweldigend, en dat had niet iedereen verwacht.”
Replicatieonderzoek wordt volgens Bouter vaak onterecht getypeerd als “Onderzoek voor mensen die zelf niets kunnen bedenken.”, en het volgt volgens hem ook uit de logica van het huidige beloningssysteem dat het gezien kan worden als belemmerend voor de carrière. “Je krijgt er weinig subsidie voor, je krijgt het lastig gepubliceerd, dat soort argumenten hoor je dan. Zo’n groot aantal aanmeldingen biedt toch enig tegenwicht tegen die gedachten.”
Volgens Bouter is het juist belangrijk om de prikkel om te repliceren expliciet te maken. “Replicatie is een belangrijk onderdeel van wetenschap, maar binnen de meeste onderzoeksprogramma’s ligt de nadruk puur op innovatie. Als dat niet in je voorstel zit ben je vaak bij voorbaat al kansloos.” Volgens hem moet het op de lange termijn naar een gezonde mix tussen innovatie en replicatie. “Als een studie het niet waard is om te repliceren, dan had je hem misschien niet moeten doen.”
Jelte Wicherts, een van de ontvangers van de beurs, wijst in dit kader op een van de grotere problemen in de wetenschap en zijn eigen veld, de psychologie, in het bijzonder. “Wat je ziet is dat mensen vaak met te kleine steekproeven werken als ze een nieuw fenomeen onderzoeken. Dat betekent dat bevindingen misschien wel significant, maar allerminst betrouwbaar zijn.”
De kern van dit probleem ligt volgens Wicherts bij diezelfde voorliefde om ‘iets nieuws’ te ontdekken en de neiging om daarop te optimaliseren. “Als je de middelen hebt om een test af te nemen bij 100 mensen, dan is het handiger om die 100 mensen in 5 groepen van 20 op te delen.” Deze ‘hagelschotbenadering’ levert sneller significante resultaten op, maar ook vaker bij toeval. “Maar dat een effect dat je op deze manier vindt eigenlijk niet betrouwbaar is, dat kan wetenschappers over het algemeen niet zo veel schelen. Je kunt het kwijt bij een high impact journal, en dat is goed voor je carrière.”
Schoon schip maken
Naast de eenzijdige nadruk op nieuwe dingen werkt deze praktijk volgens Wicherts ook door in het scheppen van nieuwe realiteiten. “Wat je ziet is dat zodra een dergelijk spannend of nieuw effect in de literatuur beschreven is, dat er op voortgeborduurd wordt zonder dat het oorspronkelijke effect nog een keer getoetst wordt.”
Dit leidt er volgens hem toe dat corrigerend vermogen uit de wetenschap verdwijnt. “Het is dan mogelijk dat een heel veld gewoon uit gebakken lucht bestaat, maar daar kom je niet zomaar achter.”
Het doen van replicatieonderzoek heeft nogal wat voeten in de aarde volgens Wicherts. “Bij replicatiestudies moet je de lat altijd hoger leggen dan bij de eerste studie. Als je een klein effect van een null effect wilt onderscheiden, dan heb je een hoop proefpersonen nodig om een test betrouwbaar te maken.” Dat kan betekenen dat een proef met wel 5 keer zo veel mensen over gedaan moet worden. “Dat is dus zo kostbaar, en dat is nog een reden waarom replicatieonderzoek niet erg aantrekkelijk is.”
Veel van de gehonoreerde projecten staan dan ook in het teken van controleren van ontdekkingen die een grote invloed hebben gehad op wetenschappelijke en maatschappelijke praktijken. “Onze call richtte zich op zogenaamde ‘hoeksteenprojecten’.”, vertelt, Bouter. “Studies die in de leerboeken staan of waar een medische behandeling op gestoeld is, maar die eigenlijk nooit goed gecontroleerd zijn.”
Dat is precies het type studies dat in deze ronde een beurs heeft gekregen. Onder de voorstellen vindt je dan ook vragen als: ‘Leidt het roken van elektronische sigaretten tot het roken van tabak?’ en ‘Wat is de optimale manier om tweelingen geboren te laten worden: keizersnede of vaginaal baren?’ Vragen waar wel onderzoek naar gedaan is, maar waarvoor de wetenschappelijke basis verre van solide is.
Alle registers opentrekken
Voor Jelte Wicherts en zijn collega Paulette Flore biedt deze beurs een unieke kans om te onderzoeker of vooroordelen, bijvoorbeeld over gender of ras nu werkelijk een effect hebben op hoe goed mensen een toets zoals een eindexamen maken. “We kunnen nu voor het eerst op grote schaal onderzoeken of de effecten die vaak gevonden zijn overeind blijven als je het meermaals met voldoende proefpersonen herhaalt.”
Het plan is dan ook om zo veel mogelijk van de hokjes voor goed en betrouwbaar onderzoek aan te kruisen. “We gaan in dit project werken met een ‘registered report’, we laten onze onderzoeksopzet dus van tevoren peer-reviewen, en we proberen zo veel mogelijk groepen uit de hele wereld te betrekken bij het project.” Dat laatste is vooral belangrijk voor de generaliseerbaarheid, kortweg de vraag of een effect algemeen is of zich beperkt tot een specifieke context.
Ook de andere aanvragen getuigen van een dergelijke frisse aanpak, volledig gericht op het zo betrouw maar mogelijk herhalen van een experiment. Twee van de projecten richten zich zelfs uitsluitend op het herhalen van de analyse van eerder onderzoek. “In mijn ogen is dat ook heel belangrijk voor het zelfcorrigerend vermogen van de wetenschap, namelijk dat je elkaars analyse kunt controleren.” Volgens Wicherts zou elke geldschieter de openbaarheid van data onder voorwaarden moeten verplichten.
Uniek in de wereld
Dit is de eerste van drie rondes waar ZonMw en het NWO-domein Sociale en Geesteswetenschappen (SGW) in totaal drie miljoen voor uit hebben getrokken. Volgens Bouter zaten er tussen de aanmeldingen bijzonder goede voorstellen en hij betreurt het dat niet meer projecten gefinancierd konden worden. “Een slagingskans van tien procent is gewoon te laag. Dat is een breder probleem, maar dat neemt niet weg dat het frustrerend is, voor alle partijen, om goede voorstellen af te moeten wijzen.”
Lees verder over hoe beleidsmakers en wetenschappers de honoreringspercentages van NWO denken te kunnen verbeteren.
Wel benadrukt Bouter dat het een uitzonderlijke kans is om ervaring op te doen met dit type onderzoek. “Nederland is bij mijn weten het enige land waar een dergelijke subsidie beschikbaar is voor replicatiestudies. De Amerikaanse NIH vraagt bijvoorbeeld wel om aandacht voor replicatiestudies maar verder dan een didactisch programma komt het daar niet.”
Beiden zien het programma als een welkome toevoeging aan het spectrum van onderzoekssubsidies en zijn benieuwd naar de uitkomsten. Bouter voegt daar nog aan toe: “Ere wie ere toekomt, ik denk toch ook dat een initiatief als dit er zeker ook is gekomen door Science in Transition. Zij hebben bespreekbaar gemaakt dat het beloningssysteem heel bepalend is voor hoe wetenschappers zich gedragen, en daar is nu een volwassen discussie over gaande. Ook moet vermeld worden dat Daniël Lakens (TU/e) zich enorm heeft ingezet voor dit programma.”
