KNAW vindt eigen replicatierapport niet kritisch genoeg

Onlangs ging de KNAW met onderzoekers in discussie over het recente rapport over replicatiestudies. Centraal stond de vraag of er naast de gezondheidswetenschappen, de biologie en de psychologie ook in andere wetenschappelijke vakgebieden aandacht besteed moet worden aan replicatieonderzoek? Ook was er ook kritiek op het rapport. Zo vond hoogleraar Joost Frenken, die directeur is van het Advanced Research Centre for Nanolithography dat de KNAW vergoelijkend sprak over misstanden in de wetenschap. De vicepresident van de KNAW, Wim van Saarloos was het eens met deze stelling en kwam met een voorbeeld van het UMC Utrecht.

Niet reproduceerbaar

Aan het begin van de middag legde de commissievoorzitter Johan Mackenbech uit waarom de KNAW dit rapport heeft opgesteld. “De reden van dit advies is de waarneming dat de laatste jaren veel systematische reeksen van replicatiestudies zijn uitgevoerd, daaruit bleek dat een substantieel percentage van eerdere onderzoeksbevindingen niet reproduceerbaar zijn.”

Volgens Mackenbach loopt in de drie onderzochte vakgebieden de repliceerbaarheid uiteen van 10% tot 20%, met een enkele positieve uitschieter naar 70%. “Wij moeten als commissie concluderen dat in de systematische pogingen om eerder onderzoek te reproduceren deze resultaten teleurstellend zijn.”

Het kan per vakgebied verschillen

“Wij denken dat dit probleem zich na alle waarschijnlijk veel breder voordoet dan alleen in de vakgebieden geneeskunde, psychologie en biologie, maar we kunnen geen uitspraken doen over de mate waarin dit het geval is,” zei Mackenbach. Volgens de Rotterdamse hoogleraar is het goed mogelijk dat het verschilt per vakgebied, “maar daar zijn geen systematische studies over gedaan. Wel denken wij dat het dat het belangrijk is dat ieder vakgebied dat voor zichzelf vaststelt in welke mate onderzoeksbevindingen al dan niet reproduceerbaar zijn.”

Volgens Mackenbach, die zelf geneeskundige is aan de Erasmus Universiteit heeft niet-reproduceerbaar onderzoek veel negatieve gevolgen. “Dit is een gevaar voor de wetenschap en voor de toepassing van onderzoeksresultaten in de samenleving. Het kan leiden tot vertraging van wetenschappelijke vooruitgang, als mensen verder werken op een onderzoeksresultaat dat niet juist blijkt te zijn. Dat kan leiden tot verspilling van onderzoeksmiddelen en tot onethisch gebruik van proefdieren en proefpersonen. Uiteindelijk leidt het tot verminderd vertrouwen in de wetenschap, met alle negatieve gevolgen van dien. Dit is dus een serieus probleem.”

De bijeenkomst was vooral bedoeld om te kijken in hoeverre in andere vakgebieden er sprake is van een al dan niet vermeende replicatiecrisis. Rik Peels, wetenschapsfilosoof aan de Vrije Universiteit gaf aan dat in zijn vakgebied er eigenlijk niet veel bekend is over replicatie. “Replicatieonderzoek in de geesteswetenschappen is een onontgonnen terrein, daar is nog geen onderzoek naar gedaan en niet over geschreven.”

Dat wil volgens Peels niet zeggen dat replicatie in de geesteswetenschappen niet plaatsvindt, maar het wordt niet als zodanig geapprecieerd. “Kortom, niemand zegt in de geesteswetenschappen: ‘wij doen aan replicatieonderzoek of wij willen geld voor replicatieonderzoek.’” Volgens Peels moet replicatie in de geesteswetenschappen dan ook meer ingebed worden om erachter te komen of dit ook echt een probleem is. “Het lijkt op de paradox dat we meer replicatieonderzoek moeten uitvoeren in de geesteswetenschappen om erachter te komen in hoeverre het ook nodig is.”

“Alles wat sloppy is moet eruit!”

Een bezorgder geluid kwam van hoogleraar Joost Frenken, die directeur is van het Advanced Research Centre for Nanolithography. hij gaf aan geschrokken te zijn van het rapport: “Er staan getallen in die schrikbarend zijn. De woorden die gekozen zijn in het rapport, daar zit een ondertoon in van vergoelijking, en ik vind dat gevaarlijk.”

Frenken kwam met een persoonlijke metafoor om uit te leggen waarom het zo belangrijk is om ondeugdelijke wetenschap ‘uit te roeien’. “Ik heb tegenwoordig geen auto meer, maar ik heb een rijke historie met auto’s. Zo heb ik een keer een zeer ernstig auto-ongeluk meegemaakt, waarbij tijdens de reparatie een fout was gemaakt, er was namelijk een bout niet teruggeplaatst in de stuurkolom. Door die fout raakte ik de macht over het stuur kwijt en reed ik met 80 km/u tegen een boom met een auto uit de oude tijd, zonder riemen. Ik was bijna dood.”

Dat ondeugdelijke werk komt ook in de wetenschap voor volgens Frenken. “Als je op die manier naar ons bedrijf kijkt en je neemt wat wij doen serieus dan moet je ondeugdelijkheid en onzorgvuldigheid uitroeien. Alles wat sloppy is moet eruit! Ik denk dat dat een belangrijk uitgangspunt is. We moeten heel kritisch zijn op zorgvuldigheid. Ik denk daarom dat je de toon heel scherp moet kiezen, wat dat betreft was ik teleurgesteld over het rapport.”

Natuurkundige Frenken stelde daar zijn eigen vakgebied tegenover. “Ook al hebben we als natuurkunde niet het alleenrecht over de wetenschappelijke methode, zijn we wel de bakermat van deze methode. Daarom wordt er ook veel gekoketteerd in andere onderzoeksgebieden met de natuurwetenschappelijke methode. Ik denk wel dat het goed is om daar zo veel mogelijk gebruik van te maken en dat het zinvol kan zijn om goed af te kijken hoe wij dat doen.”

“Kijk naar de kwantummechanica of de relativiteitstheorie. Dat zijn vakgebieden waar je zelf nooit zo op zou komen. En om elkaar te overtuigen dat het toch de juiste beschrijving is van hoe de natuur in elkaar zit moet je heel precies te werk te gaan. En moet je ook je onderzoek heel vaak herhalen om dezelfde resultaten te behalen.”

Wanneer iets niet reproduceerbaar is dan is het simpelweg geen wetenschap meer, zo stelt Frenken. “Als je dat niet doet dan is er voor ons het verschil weg tussen wetenschap en alchemie. Dan ben je bezig met het beschrijven van sciencefiction. Het is dus heel belangrijk om die lijn scherp te trekken.”

Wel had Frenken aan het eind van zijn betoog oog voor de perverse prikkels die slordige wetenschap in de hand werkt. “Wat ik wel zie is dat er veel perverse prikkels zijn. Je komt natuurlijk alleen in de media met een mooi verhaal. Op het moment dat je iets reproduceert is dat natuurlijk niet mooi. Als je iets laat zien wat iedereen al verwachtte, dat krijg je niet in de krant. Datzelfde geldt voor wetenschappelijke prijzen. Wij zijn er helemaal op ingericht om de uitschieters te belonen. De mensen die op de achtergrond het zorgvuldige werk doen die laten we in de schaduw staan. Ik denk dat het ook heel moeilijk is omdat verschijnsel te veranderen.”

Transparantie is het uitgangspunt

Lex Bouter, die een belangrijke rol vervult bij de replicatieprogramma’s van NWO, schrijft momenteel met een commissie aan een vernieuwde integriteitscode voor wetenschappers en daar krijgt reproduceerbaarheid ook een belangrijke plek. “We hebben het heel vaak in de commissie gehad over reproduceerbaarheid en hoe streng we dat in die code kunnen stoppen. Wat kunnen we vinden dat het voor alle disciplines ook geldig is?”

“We komen nu hierop uit: ‘Repliceerbarheid komt voort uit het principe van de transparantie. De wijze van uitvoering en fasering van het onderzoeksproces moet tenminste voor vakgenoten te volgen zijn. De argumentatie moet helder zijn, in de veel disciplines moeten de stappen in het empirisch onderzoek controleerbaar zijn, zodat het onderzoek herhaald kan worden.”

Over hoe vaak een bevinding gerepliceerd moet worden, daar was Bouter nog niet uit. “Een van onze belangrijkste doelen is onszelf overbodig maken. Wat we graag willen is dat er op alle onderzoeksprogramma’s redelijke manier geïnnoveerd wordt en gerepliceerd wordt wanneer dat nodig is. Wij hebben daar als commissie over gediscussieerd wat is nu de ideale mix en wij kwamen daar niet goed uit. Wij durfde daar niet iets over op te schrijven. Is dat nu 10% is dat nu 50%?”

We accepteren te makkelijk fouten

Aan het slot van de middag kwam ook de vicepresident van de KNAW aan het woord. Wim van Saarloos die in mei José van Dijck als president opvolgt. Hij had met enige zorg naar het verhaal van Frenken geluisterd. “Het zelfreinigend vermogen kwam hier een aantal keer aan de orde. Ik wil toch vragen aan de zaal of jullie het nu eens zijn met de stelling van Joost Frenken. Dat het rapport best wat kritischer had mogen zijn en dat we misschien toch af en toe te makkelijk accepteren dat we fouten maken?”

Als voorbeeld van zijn zorg noemde Van Saarloos een discussie die hij eerder had bij het UMC Utrecht. “Ik heb weleens een discussie gehad bij het Universitair Medisch Centrum Utrecht en daar werd gediscussieerd over reproduceerbaarheid van het medisch onderzoek. Daar werd gediscussieerd over de quote, ‘dat 85% van ons onderzoek niet goed is uitgevoerd, niet goed gepland en niet goed gepubliceerd is.’ Dan denk ik: nou…., misschien moet het zelfreinigend vermogen hier en daar nog wel wat hoger. Dus wat dat betreft ben ik het met Joost Frenken eens.”