KNAW wil einde aan slecht niet repliceerbaar onderzoek
Slordig onderzoek belemmert namelijk de wetenschappelijke vooruitgang en leidt tot verspilling van onderzoeksgelden. Bovendien bestaat er een kans dat slecht uitgevoerd onderzoek uiteindelijk resulteert in negatieve gevolgen, bijvoorbeeld wanneer later blijkt dat patiënten de verkeerde behandeling krijgen. Het systematisch herhalen van onderzoek van anderen moet normaler worden. Dit is de kern van het vandaag verschenen KNAW-advies, ‘Replication studies – Improving reproducibility in the empirical sciences’.
Het KNAW-advies heeft zich nadrukkelijk gebogen over de vakgebieden geneeskunde, levenswetenschappen en de psychologie. De meeste discussie is over repliceerbaarheid van onderzoek speelden zich de laatste jaren af in deze vakgebieden. Een commissie van de KNAW sprak met onderzoekers, voerde een literatuurstudie uit en organiseerde een workshop met experts uit binnen- en buitenland.
Aantal replicatiestudies moet omhoog
De commissie onder voorzitterschap van Johan Mackenbech, hoogleraar publieke geneeskunde aan de Erasmus Universiteit, signaleert dat er nog veel gedaan kan worden om de kwaliteit en daarmee de reproduceerbaarheid van onderzoek te verbeteren. De KNAW beveelt onder andere aan dat onderzoekers, onderzoeksinstellingen, financiers en wetenschappelijke tijdschriften samen zorgen dat replicatieonderzoek gemakkelijker wordt. Dit kan onder meer door een goede opslag van onderzoeksgegevens.
In diverse wetenschappelijke disciplines is namelijk gebleken dat de resultaten van veel replicatieonderzoek niet overeenkomen met die van eerder onderzoek. Dit kan betekenen dat disciplines over de hele breedte te kampen hebben met gebrekkige reproduceerbaarheid.
Diederik Stapel als voorbeeld
Ook wijst de commissie op het gevaar dat een gebrek aan repliceerbaarheid het vertrouwen in de wetenschap kan aantasten. Als voorbeeld wordt er verwezen naar de geruchtmakende zaak rondom Diederik Stapel. Volgens de schrijvers van het rapport toonde deze grootschalige fraude aan wat er fout kan gaan als onderzoek niet repliceerbaar is.
Replicatieonderzoeken lijken maar een klein deel te vormen van alle wetenschappelijke publicaties, maar goede gegevens ontbreken hierover. Diverse disciplines (zoals preklinisch proefdieronderzoek, experimentele psychologie, genetische epidemiologie en biochemie) hebben inmiddels stappen gezet om de reproduceerbaarheid te verbeteren en goede replicatiepraktijken te ontwikkelen.
Diverse belemmeringen
Dat er nog een wereld valt te winnen blijkt wel uit de problemen waar wetenschappers mee te maken krijgen. “Onderzoekers lopen op dit moment aan tegen diverse belemmeringen voor het uitvoeren van replicatieonderzoek. Zo is het eerdere onderzoek vaak niet in voldoende detail gerapporteerd, wat het moeilijk maakt om een goed vergelijkbaar replicatieonderzoek op te zetten. Daarnaast kan het voor onderzoekers onduidelijk zijn hoe ze een replicatieonderzoek moeten opzetten en de resultaten dienen te interpreteren.”
Ook wordt replicatieonderzoek niet altijd op waarde geschat door onderzoekers zelf, en is het moeilijk om replicatieonderzoek gefinancierd en gepubliceerd te krijgen. Drie strategieën kunnen helpen de juiste randvoorwaarden voor replicatieonderzoek te creëren: “Het verbeteren van informatie-uitwisseling over oorspronkelijk onderzoek en replicatieonderzoek; het versterken van kennis over wanneer en hoe replicatieonderzoek moet worden uitgevoerd; en het creëren van betere prikkels voor replicatieonderzoek.”
Wetenschappers beter opleiden
Om deze lacune in het Nederlandse onderzoek tegen te gaan komt de commissie met een aantal aanbevelingen. “Om de reproduceerbaarheid van onderzoek te verbeteren moeten disciplines bepalen in hoeverre hun resultaten niet-reproduceerbaar zijn en wat de oorzaken daarvan zijn. De KNAW acht het van zeer groot belang dat in gevallen waarin de reproduceerbaarheid als onvoldoende wordt bestempeld, deze wordt verbeterd.”
De KNAW beveelt verder aan dat universiteiten onderzoekers beter moeten begeleiden bij het repliceren van onderzoek. “Onderzoekers dienen onderzoek op een meer gedegen wijze uit te voeren door meer aandacht te besteden aan standaardisatie, kwaliteitscontroles, op evidentie gebaseerde richtlijnen en checklists, validatieonderzoek en interne replicatie. Instellingen dienen onderzoekers beter op te leiden en te begeleiden.”
Meer aandacht voor wetenschapsfilosofie
Zo moet onderzoekers beter begeleid worden bij het opzetten van gedegen onderzoek; onderzoekspraktijken die reproduceerbaarheid bevorderen; en het op de juiste wijze analyseren en interpreteren van resultaten. Ook moet er bij de opleiding van onderzoekers meer aandacht komen voor wetenschapsfilosofie. Zodat onderzoekers leren dat vooruitgang in de wetenschap gemaakt kan worden, omdat iedere stap zorgvuldig en goed gedocumenteerd wordt gemaakt.”
De toegankelijkheid van data is volgens de opstellers van het rapport dan ook van cruciaal belang. “Financiers en tijdschriften dienen preregistratie van hypothese-toetsend onderzoek verplicht stellen. Tijdschriften dienen gedetailleerde richtlijnen en checklists voor het rapporteren van onderzoek uit te vaardigen en dienen ook te zorgen voor de naleving ervan. Tijdschriften en financiers dienen te eisen dat onderzoeksgegevens en ‑methodes worden opgeslagen in toegankelijke databanken.”
Lees hier een interview met Lex Bouter over het gevaar van ‘sloppy science’.
Ook voor de wetenschappelijke tijdschriften ligt er een belangrijke verantwoordelijkheid om sloppy science tegen te gaan, daarom moet er een cultuuromslag komen. “Tijdschriften dienen onderzoek met negatieve bevindingen vaker te publiceren en dienen onderzoekers te stimuleren om dergelijke resultaten te rapporteren. Instellingen, financiers en tijdschriften dienen onderzoekers ruimhartiger te belonen voor het uitvoeren van gedegen onderzoek en reproduceerbare onderzoeksresultaten. In plaats van het vooral belonen van ‘highimpact’-publicaties, ‘innovatief’ onderzoek en overtrokken conclusies.”
De KNAW concludeert verder dat replicatieonderzoek een normaal en essentieel onderdeel moet zijn van de wetenschap. “Replicatieonderzoek zou vaker en systematischer moeten worden toegepast dan nu het geval is. Onderzoekers dienen hierbij wel per geval een zorgvuldige afweging te blijven maken. En moeten zich afvragen in hoeverre replicatieonderzoek wenselijk is, op basis van de te verwachte opbrengsten en kosten.”
KNAW-president hoopt op verandering
Om onderzoekers in staat te stellen replicatieonderzoek uit te voeren in gevallen dat dat wenselijk is, adviseert de KNAW dat financiers van onderzoek meer geld dienen vrij te maken voor replicatieonderzoek. “Door bijvoorbeeld programma’s op te zetten speciaal voor replicatieonderzoek en of door te eisen dat replicatie deel uitmaakt van individuele onderzoeksvoorstellen. Daarnaast moeten wetenschappelijke tijdschriften onderzoekers altijd stimuleren om manuscripten van replicatieonderzoek in te dienen. Instellingen dienen bij het beoordelen van personeel meer waarde te hechten aan replicatieonderzoek.”
Ook komt de president van de KNAW, Jose van Dijck in het advies kort aan het woord. Van Dijck wijst erop dat door de publicatiedruk, concurrentie om onderzoeksgeld en de vraag vanuit de samenleving om met grote wetenschappelijke ontdekkingen te komen de aandacht voor repliceerbaar onderzoek op de achtergrond is geraakt. Zij beziet ook met enige zorg dat er in de wetenschap al wordt gesproken over een ‘replicatiecrisis.’ Van Dijck hoopt dat met dit advies belangrijke stappen worden gezet om deze crisis tegen te gaan.
