Wie weet wat ‘goede wetenschap’ is?

Verslag | door Sicco de Knecht
8 november 2019 | Na bijna drie jaar lopen de ZonMw-programma's Replicatiestudies en Bevorderen Verantwoord Onderzoek af. Wat is de toekomst van deze kleine revolutie in de onderzoeksfinanciering?

Het afgelopen decennium was geen gemakkelijke tijd voor de wetenschap. Fraudezaken, de replicatiecrisis en de notie dat veel gepubliceerd onderzoek niet klopt deden de academie op haar grondvesten schudden. Voor ZonMw reden om twee programma’s in het leven te roepen om het wetenschappelijk proces zelf onder de loep te nemen. “We zijn internationaal koplopers,” zegt Eduard Klasen die samen met Lex Bouter (Vrije Universiteit) aan de wieg van de programma’s stond, “de gemiddelde Nederlandse wetenschapper is er alleen nog niet van op de hoogte.”

Er is dus nog een hoop zendingswerk te doen, maar binnenkort lopen de programma’s Replicatiestudies en Bevorderen Verantwoorde Onderzoekspraktijken (BVO) van ZonMw af. De vraag is dan ook allereerst of er een vervolg komt. Bouter vindt dat geen lastige vraag. “We zijn nog lang niet klaar, dus moeten we op zoek naar een nieuwe zak met geld voor een vervolg.” Hij denkt aan €10 miljoen, een verdubbeling van de middelen van beide programma’s.

Als er één ding duidelijk wordt tijdens deze najaarsbijeenkomst in het Muntgebouw in Utrecht, is het dat er nog driftig gezocht wordt naar definities. De deelnemers zijn veelal onderzoekers die werken aan een van de projecten en medewerkers van ZonMw en de instellingen. Ze buitelen in de sessies en plenaire discussie over elkaar heen om vast te stellen waar de programma’s nu eigenlijk over gaan.

Want is het bevorderen van ‘goede wetenschap’ nu in de eerste plaats een kwestie van integriteit, of is er eerder een gebrek aan kennis over hoe je gedegen onderzoek doet? Verkeert de wetenschap werkelijk in crisis, of is het slechts een kwestie van een paar ‘tweaks’?

Belangen in Playboy

Wat betreft het programma Replicatiestudies blijkt op deze dag in ieder geval dat de subsidies over het algemeen besteed zijn aan waar ze voor bedoeld waren. Zo vertelt Joost de Winter (TU Delft) op droge doch bloedstollende wijze over de ontdekkingen van zijn team toen zij de wereldberoemde studie van Eckhard Hess (1916 – 1986) naar de relatie tussen de mentale staat en de pupilgrootte probeerden te herhalen.

Positief Prikkelen

Hess publiceerde in 1975 werk waaruit zou blijken dat de ‘mentale staat’ van proefpersonen was af te lezen uit de pupilgrootte, of specifieker: “Uit zijn eerste studie bleek dat de pupil van mannen verwijd werd bij het zien van blote vrouwen, terwijl die van vrouwen bij het zien van baby’s vergroot werd.” De Winter wil uiteindelijk met ‘eye tracking’ de navigatie voor automobilisten optimaliseren – minder informatie aanbieden als iemand gestrest is – maar daarvoor is het wel belangrijk om te weten welke effecten je kunt verwachten.

In een uitvoerig proces wisten De Winter en zijn collega’s de hand te leggen op de originele materialen en ook de handgeschreven data, die laatste digitaliseerden ze en gooiden ze opnieuw door de analyse. De reproductie was succesvol. “We vonden nagenoeg dezelfde resultaten, maar het viel ons wel op dat er erg selectief gerapporteerd werd.”

De oorspronkelijke set beelden was bijvoorbeeld veel groter dan het artikel deed vermoeden. “Ook kwamen we erachter dat Hess een aantal private belangen had bij het onderzoek,” vertelt De Winter die ondertussen een brief laat zien, gericht aan het blad Playboy met het voorstel van Hess voor een samenwerking.

In het proces van replicatie liep het team tegen nog meer problemen aan. “Alleen al het wisselen van slides op een oude diaprojector heeft al een groot effect op de pupilgrootte.” Het lukte het team niet om de uitkomsten te repliceren. “Wel keken mannen uitgebreid naar de borsten maar het effect op pupilgrootte kwam hoogstwaarschijnlijk vooral door de kleur waar mensen naar keken, en niet naar waar het beeld over ging.”

Al met al is de les die De Winter trekt uit dit replicatieonderzoek dat het belangrijk is om ook de grote ‘hallmark-studies’ tegen het licht te houden. Waren hij en zijn team er simpelweg vanuit gegaan dat de studie klopte, dan waren ze in hun eigen onderzoek niet ver gekomen. Genoeg reden tot vervolg van het programma, maar moet replicatie niet standaard onderdeel worden van veel programma’s, vragen aanwezigen zich af.

Witte vlekken

Hoe de toekomst van het programma BVO eruit moet zien is minder duidelijk, al was het maar omdat iedereen de betekenis van de afkorting steeds op moet zoeken. Om de discussie op deze dag enigszins richting te geven heeft een team van vier jonge wetenschappers een position paper geschreven: Promoting Responsible Research Practices. Joeri Tijdink (VUmc) licht deze toe in een plenaire sessie. “Wij hebben getracht in vier A4’tjes vast te leggen wat de ‘witte vlekken’ zijn binnen dit thema die we nu nog onvoldoende adresseren.”

Het zijn er 25 geworden, wat er onder andere op wijst hoe breed en hoe groot dit thema is. Tijdink licht een aantal van deze witte vlekken eruit. “Open Science is een term die veel langs is gekomen in onze discussies. Het is een ‘buzzword’ waar iedereen het over heeft. Het heeft zeker iets te maken met verantwoorde onderzoekspraktijken maar niemand kan er de vinger op leggen hoe nu precies.” Er is dan ook een luide roep om meer onderzoek naar de praktijk van de wetenschap – maar dat viel te verwachten met een zaal vol onderzoekers die de wetenschap bestuderen.

Want waar in open science praktijken in de geneeskunde en biomedische wetenschap termen als pre-registratie Bij pre-registratie geeft de onderzoeker van tevoren specifiek aan welke vraag er beantwoord moet worden, welke data er verzameld wordt en hoe deze wordt geanalyseerd. Dit gebeurt op een publieke plek en het plan wordt veelal eerst door andere onderzoekers goedgekeurd. , preprint De preprint van een artikel is de conceptversie die in de regel beschikbaar komt voordat het peer-review proces is doorlopen. Het zorgt ervoor dat resultaten en inzichten een stuk eerder bekend worden, daar het peer review proces lang kan duren. en open peer review Bij open peer review gebeurt het proces van peer reviewen in het openbaar in plaats van geanonimiseerd en achter de schermen. Sommige tijdschriften experimenteren hiermee omdat het de kwaliteit (en toon) van de peer review zou verbeteren. De peer review blijft vaak ook na publicatie beschikbaar voor inzage. langzaamaan hun weg beginnen te vinden naar labmeetings, is het voor veel onderzoekers uit andere vakgebieden nog hocus pocus. “Binnen deze beweging zijn we eigenlijk nog te weinig inclusief,” stelt Tijdink die constateert dat bijvoorbeeld het perspectief van de humaniora, de technische wetenschappen en van het hbo nog veel te weinig aan bod zijn gekomen, “ook in ons paper, daar kom ik eerlijk voor uit.”

Het is volgens veel aanwezigen dan ook nog veel te vroeg om ‘goede wetenschap’ te vatten in vaste richtlijnen en beleid. “Door sommige wetenschappers wordt het ‘onderzoeksprotocol‘ heilig verklaard terwijl wetenschappers in andere vakgebieden niet eens werken met een vast protocol.”

Replicatie in de geesteswetenschappen nog in de kinderschoenen

Als indicatie van de stand van zaken geeft Karina van Dalen-Oskam (Universiteit van Amsterdam) een korte lezing over replicatiestudies in de geesteswetenschappen. “Replicatie is momenteel alleen impliciet aanwezig in geesteswetenschappelijk onderzoek.” Ze wijst daarbij op de individualistische en interpretatieve aard van veel vakgebieden als literatuurwetenschappen en geschiedenis.

De digitalisering van bronmateriaal begint nu een vlucht te nemen maar is van recente aard. “Langzaamaan wennen mensen eraan dat ze veel meer bronnen tegelijk kunnen raadplegen en doorzoeken. En hoe meer je tegelijk uit kunt zoeken, des te meer verantwoording je af moet leggen over hoe je dat hebt gedaan en waarom.” Voor de geesteswetenschappen is het komen tot een set van voorwaarden waaraan data zelf moeten voldoen voorlopig een eerste speerpunt legt ze uit.

“Ook zullen we echt moeten beginnen met het includeren van dergelijke vraagstukken in ons onderwijs,” stelt Van Dalen-Oskam. Op dat vlak hebben de auteurs van het position paper nog een observatie. Tijdink: “We hebben eigenlijk helemaal geen idee of onderwijs in responsible research practices eigenlijk wel zin heeft. De echte socialisatie gebeurt op de werkvloer. Daar leren jonge onderzoekers wat gebruikelijk is in hun vakgebied, niet in de collegebanken.”

Het is dan ook jammer dat er op deze dag weinig jonge wetenschappers zijn. Dat erkennen ook de aartsvaders van het programma en Chantal Kemner (Universiteit Utrecht). “De mensen die hier staan komen uit het systeem en hebben deze interesse. We moeten ons afvragen of we dit veranderproces wel op de goede manier aanpakken. Het goede voorbeeld geven vanuit de top is belangrijk, maar het moet authentiek zijn.”


«
Schrijf je in voor onze nieuwsbrief
ScienceGuide is bij wet verplicht je toestemming te vragen voor het gebruik van cookies.
Lees hier over ons cookiebeleid en klik op OK om akkoord te gaan
OK