Feest van falende wetenschap
Tijdens het welkomstwoord beschrijft projectleider Martijn van der Meer, tevens beleidsmedewerker onderzoeksethiek aan Tilburg University en betrokken bij het Open Science Programma van de Universiteit Utrecht, hoe een groep bachelor-studenten constateerde dat er een groot gat ligt tussen de verwachtingen en de daadwerkelijke dagelijkse realiteit van de wetenschap. Het publieke beeld van wetenschap is namelijk gekleurd door spectaculaire doorbraken, terwijl de realiteit van de wetenschappelijke praktijk bestaat uit proberen, falen, leren, en opnieuw proberen.
Dat gat tussen verwachting en realiteit veroorzaakt een ander gat, namelijk het gat tussen dat wat wordt onderzocht en dat wat uiteindelijk wordt gepubliceerd. Gefaald onderzoek wordt zelden gepubliceerd – en dat is zonde, zeggen de oprichters van JOTE. Zij kwamen op het idee voor een journal waarin júíst de worstelingen van wetenschappelijk onderzoek worden besproken.
Falen als fundament
“Wetenschappelijk onderzoek ‘faalt’ wanneer het niet voldoet aan de verwachtingen van de onderzoekers, bijvoorbeeld wanneer het geen replicatie van eerder onderzoek bereikt, of wanneer de verwachte bronnen niet werden gevonden”, legt Van der Meer uit. De belangrijkste reden om zulke onderzoeksuitkomsten ‘falen’ te noemen, is omdat ze niet kunnen worden gepubliceerd. “Negatieve kennis voldoet namelijk niet aan het beeld van wetenschap.”
Juist die onverwachte, teleurstellende resultaten wil JOTE publiceren – gratis beschikbaar voor iedereen. De oprichters zijn er namelijk van overtuigd dat het proces van trial and error het fundament is voor leren, ontdekken en het verkrijgen van kennis. “Door falen te communiceren, willen we het wetenschappelijke proces herinterpreteren”, zegt Van der Meer.
Kennis uit reflectie op falen
“Team Science werkt alleen wanneer een grote groep individuen voortdurend faalt.” Uit zulk falen wordt vervolgens kennis verworven door reflectie. Wat is er fout gegaan? Waren de hypothesen niet goed, of lag het misschien aan de onderzoeksopzet?
Reflectie is dus de weg naar kennisverwerving uit gefaald onderzoek. Daarom nodigt JOTE bij elk gepubliceerd artikel een specialist op dat onderwerp uit om te reflecteren op het gefaalde onderzoek. Door dergelijke publiekelijke reflectie kunnen wetenschappers leren van het wetenschappelijke falen, en hoeven wetenschappers in de toekomst niet dezelfde fouten te maken.
De oprichters van JOTE willen de wetenschappelijke gemeenschap wijzen op een alternatieve manier van denken over de onderzoekspraktijk en kennisverwerving. “We moeten over het verwerven van kennis gaan denken als een gemeenschappelijke, altruïstische onderneming – en niet als een individuele, competitieve worsteling.” Hun gehele motivatie is te lezen in dit manifest.
Omgaan met fouten: correctie of commentaar
Het belang van reflectie werd ook door verschillende sprekers geïllustreerd. In een bijdrage van Willem Halffman, universitair hoofddocent aan de Radboud Universiteit, legde deze uit hoe de omgang met gefaald of foutief onderzoek gedurende de afgelopen decennia is veranderd. Veel van die verandering hangt samen met de komst van het internet; zo is het aantal wetenschappelijke publicaties sindsdien enorm gestegen, onderzoeksartikelen zijn makkelijk vindbaar, en er worden veel meer meta-analyses uitgevoerd.
Halffmann legt uit dat die veranderingen een andere opvatting van ‘de literatuur’ mogelijk hebben gemaakt, die een andere omgang met fouten bevat. Voor de komst van het internet had ‘de literatuur’ het karakter van een bibliotheek: een archief van onderzoeksartikelen. In die omstandigheid worden fouten gecorrigeerd door commentaar, bijvoorbeeld in de volgende editie van een journal. Er wordt dus gereflecteerd op en gesproken over fouten en falen.
In een andere opvatting heeft ‘de literatuur’ het karakter van een database, waarbij het een archief van resultaten is. Fouten worden dan niet besproken en becommentarieerd, maar simpelweg geschrapt. Zodoende wordt de mogelijkheid van kennisverwerving uit negatieve onderzoeksresultaten niet benut, omdat er geen reflectie plaatsvindt.
JOTE zal met fouten omgaan op de manier die Halffman koppelt aan de opvatting van ‘de literatuur’ als bibliotheek: elke peer-review van een artikel zal op JOTE worden gepubliceerd.
Lessen uit reflectie
Ook Ruud Abma, cultuurpsycholoog en wetenschapshistoricus van de Universiteit Utrecht, bespreekt de lessen die reflectie op gefaald onderzoek biedt. Hij reflecteerde namelijk op het eerste artikel dat door JOTE werd gepubliceerd. Het betreft een experiment waarbij wordt gepoogd om een eerder onderzoek naar de relatie tussen associaties met alcohol en gewelddadige gedachten te repliceren, wat echter niet lukt.
Abma is lovend over de manier waarop de onderzoekers zelf verklaringen aandragen voor hun falen. Na een beschouwing van het onderzoek oppert hij nog een aantal andere redenen voor de onverwachte resultaten. Zo kan de gefaalde replicatie ook te maken hebben met het feit dat het experiment werd gedaan met mensen.
Mensen zijn, zo zegt Abma, niet erg geschikt voor experimenten: het is bijvoorbeeld typisch menselijk om tijdens het experiment te achterhalen waarom ze iets moeten doen. Als een deelnemer de fenomenen binnen de experimentele omgeving anders gaat interpreteren dan de onderzoekers van tevoren hebben bedacht, verpest dat het experiment.
Zijn reflectie op gefaald onderzoek blijkt bij Abma fundamentele vragen op te roepen. “Waarom gaan we door met experimenten in de human sciences, terwijl we zien dat mensen hoogst ongeschikt zijn om experimenten op te doen? Waarom doen we niet meer veldonderzoek? Waarom leunen we niet meer op deelnemersobservaties en diepte-interviews?”
JOTE naar de toekomst toe
Voor zowel geïnteresseerde onderzoekers als geïnteresseerde lezers is er goed nieuws: het is namelijk gratis om artikelen op JOTE te publiceren of te lezen. Daarnaast geeft Van der Meer aan dat er al genoeg artikelen zijn voor een tweede editie. Mede door steun vanuit het Descartes Centre van de Universiteit Utrecht, is er ook al genoeg geld om het voortbestaan van JOTE in de komende jaren te verzekeren.
