‘Ook gefaald onderzoek verdient een prijs’
Recent werd de eerste Trial and Error Award voor ‘gefaald’ onderzoek uitgereikt aan de Nederlandse psycholoog Floor van Meer. Dat gebeurde tijdens de Algemene Ledenvergadering van de Utrecht Young Academy (UYA). De prijs is een eerbetoon aan de essentiële plek van falen in de wetenschap en bedoeld om het publiceren van onderzoek met methodologische verbeterpunten en negatieve of nulresultaten aan te moedigen. De prijs is een gezamenlijk initiatief van betrokkenen bij het Journal of Trial and Error (JOTE) en enkele leden van de Utrecht Young Academy (UYA).
Een prijs voor gefaald onderzoek
Het is van belang dat vallen en opstaan – of trial and error – erkend wordt als een essentieel onderdeel van het wetenschappelijke proces. Het publiceren van gefaald onderzoek en studies met negatieve en nulresultaten brengt immers veel voordelen met zich mee: het leidt tot betere meta-analyses, het kan voorkomen dat wetenschappers opnieuw dezelfde fouten maken, en het geeft een realistischer beeld van het wetenschappelijk onderzoeksveld.
Bovenal is vallen en opstaan een natuurlijk onderdeel van de wetenschap dat gevierd mag worden. Kennis waaruit blijkt dat iets niet het geval is, is immers ook kennis. Met deze boodschap hopen de initiatiefnemers dat binnen de wetenschap minder nadruk komt te liggen op publicaties met positieve resultaten. Het ultieme doel is een gezonder onderzoeksveld en een gezondere publicatiecultuur.
Autorijden leidt tot meer snacken, maar niet door stress
Floor van Meer won de eerste Trial and Error Award voor haar onderzoek naar het effect van afgeleid eten op eetgedrag. Samen met haar collega’s ontdekte de psycholoog in haar onderzoek dat mensen die chips aten tijdens rij-simulatie daarna, zoals voorspeld, meer chips eten. Het team stuitte ook op een aantal onverwachte nulresultaten. Zo bleek dit effect niet verklaard te kunnen worden door een verschil in de ervaren smaakintensiteit of stress, iets dat de onderzoekers wel verwachtten.
Uitdagingen zoals deze benadrukken hoe moeilijk het is om menselijk gedrag te onderzoeken. De onderzoekers hadden bijvoorbeeld rekening moeten houden met hoe hongerig de deelnemers zich voelen en hoeveel ervaring ze hebben met rij-simulaties en games. Studies als deze, waar resultaten niet overeenkomen met de hypothesen, kunnen daarom alsnog veel waardevolle methodologische inzichten opleveren.
De wekelijkse nieuwsbrief is nog korte tijd gratis te ontvangen. De voorwaarden vindt u hier.
Overigens leken de belangrijkste hypotheses van het onderzoek in eerste instantie te worden bevestigd en werd het artikel ingediend bij een ander wetenschappelijk tijdschrift dan JOTE. Om open en transparant te zijn over de resultaten, deelden de auteurs ook alle data en analysescripts met de reviewers. Eén van de reviewers vond echter een foutje in het analysescript. Eén van de belangrijkste geconstateerde effecten in het onderzoek veranderde daardoor van ‘significant’ naar ‘net niet significant’, en het artikel werd afgewezen.
Voor haar publicatie ontving Van Meer een kunstwerk dat voor deze gelegenheid werd gecreëerd door Isolde Eickmans. Samen met mede-leerlingen van het Sint Lucas College in Boxtel ontwierp Eickmans een serie werken die het concept falen verbeelden.
Het Journal of Trial and Error
Als initiatiefnemers van de Trial and Error Award zagen we dat falen in de wetenschap nog onvoldoende werd geprezen. Daarom hebben we de Trial and Error Award in het leven geroepen, vernoemd naar het open access tijdschrift dat de award initieerde: het Journal of Trial and Error.
Sinds haar oprichting in 2019 publiceert JOTE artikelen met negatieve en nulresultaten, als een tegenantwoord op de positieve publicatiebias in de wetenschap. Omdat wetenschappers vooral beloond worden voor indrukwekkende, positieve resultaten, blijven studies zonder deze resultaten ongepubliceerd op het bureau van de wetenschappers liggen. Deze studies kunnen echter wél zinnige methodologische verbeterpunten of aanwijzingen tegen bepaalde leidende theorieën bevatten. JOTE is overtuigd van de productieve rol van fouten in wetenschap. Fouten maken en ze publiceren is fundamenteel onderdeel van het leren en ontdekken in de wetenschap.
Naast gefaalde onderzoeken publiceert JOTE ook artikelen waarin gereflecteerd wordt op (methodologische) fouten en uitdagingen, en wetenschappelijke studies naar de wetenschap zelf – een veld dat ook bekendstaat als ‘metascience’.
Structurele erkenning van niet-succesvol onderzoek
Als organisatoren willen we de Award jaarlijks gaan aanbieden. Momenteel zijn we in overleg om dat volgend jaar op de internationale Open Science Conferentie te doen. Het idee is om de nominatieprocedure uit te breiden zodat iedereen die moedig genoeg is geweest om onverwachte resultaten of gefaald onderzoek te delen, genomineerd kan worden.
Als initiatiefnemers hopen we dat de prijs zal bijdragen aan een cultuurverandering binnen de academische gemeenschap, waarbij een meer accepterende houding ten opzichte van falen in wetenschap wordt aangenomen. Uiteindelijk moet dit ervoor zorgen dat alle soorten onderzoeksresultaten – en niet alleen de succesvolle – worden gewaardeerd en aangemoedigd.
Genomineerden
De genomineerden van de Trial and Error Award waren:
- Florencia Abinzano – The Complexity of Joint Regeneration: How an Advanced Implant Could Fail by Its In Vivo Proven Bone Component
- Wendy Ross – Rewilding Cognition: Complex Dynamics in Open Experimental Systems
- Caroline Fischer – Real-effort survey designs: Open-ended questions to overcome the challenge of measuring behavior in surveys
- Tamal Kumar De – Classical Conditioning for Pain: The Development of a Customized Single-Case Experimental Design
- Joshua W. Maxwell – Do Carryover Effects Influence Attentional Bias to Threat in the Dot-Probe Task?
- James Bartlett – No Meaningful Difference in Attentional Bias Between Daily and Non-Daily Smokers
- Trisha Harjani – Gamified Inoculation Against Misinformation in India: A Randomized Control Trial
- Floor van Meer – Driven to Snack: Simulated Driving Increases Subsequent Consumption
