“Ik laat conservatievelingen links liggen”
Brian Nosek (University of Virginia) was dit jaar een van de grote sprekers op de World Conference on Research Integrity in Amsterdam. De voorvechter van Open Science sprak op het congres over de grote afstand tussen de idealen die wetenschappers hebben en de praktijk die ze er op nahouden. ScienceGuide sprak met hem over de menselijkheid van wetenschappers, perverse prikkels en de toekomst van publiceren.
Een paar jaar geleden kreeg het van team van Nosek internationale bekendheid door hun beroemde replicatiestudie. Daarin herhaalden ze 100 (voornamelijk) psychologische experimenten die de oorspronkelijke onderzoekers zelf aandroegen en daaruit bleek dat het overgrote deel van de resultaten niet gerepliceerd konden worden.
Als de media schrijven over uw onderzoek waar ergert u zich dan het meest aan?
Eigenlijk aan hetzelfde proces dat elk wetenschappelijk onderzoek overkomt zodra het in de publiciteit komt: overinterpretatie. Mensen willen graag een ‘definitief’ antwoord hebben op een vraag, dat is wat ze verwachten van wetenschap, en dat probeert de media hen dan ook te bieden. Ik begrijp dat ook wel, maar waar ik denk dat de echte fout zit is in de aanname dat men daardoor ook niet geïnteresseerd is in hoe het onderzoek gedaan is, en aan welke restricties het voldoet.
Als we het bredere publiek willen betrekken bij de wetenschap dan moeten we ze bij het proces betrekken. En dat is een zich langzaam voortslepende proces dat probeert stap voor stap onzekerheid te verminderen. Het komt niet tot een definitief antwoord. Je hebt bovendien voldoende materiaal om over te schrijven als je ook over de context van een onderzoek, en het type vragen en problemen een vakgebied schrijft. Dan bedoel ik niet dat je als journalist netjes de methoden overtikt, het gaat om het bredere plaatje.
Op welke manier onderscheidt de wetenschap zich volgens u van andere vakgebieden, waarom is de context hier zo belangrijk?
In werkelijkheid doen we in de wetenschap niets anders dan het systematisch aanpakken van een vraagstuk. Waar je in het normale leven besluiten baseert op veelal anekdotisch bewijs is de wetenschap een collectief georganiseerde onderneming om zo veel mogelijk te standaardiseren en in te kaderen. Dat alles om de betrouwbaarheid en transparantie te vergroten.
Waar men zich wel eens in vergist is dat wetenschappers ook maar mensen zijn, en voor hen gelden dezelfde beperkingen als voor anderen. Nog meer dan bij bijvoorbeeld een rechter vergt de samenleving van ons om ‘objectief’ te zijn, maar dat zijn mensen gewoon niet. Ook wetenschappers hebben een ego en willen erkend worden, en dat kan in de weg staan van de objectiviteit. Het verschil in de wetenschap is dat alles transparant is – iedereen kan er kritiek op leveren.
Nu dan toch maar de grote vraag die ons momenteel bezighoudt: zijn we in een replicatiecrisis beland?
Dat hangt er vanaf wat je daarmee bedoelt. Is er een vertrouwenscrisis? Ja, die is er zeker, maar op een productieve manier: er komt steeds meer aandacht voor en er worden initiatieven ontwikkeld om er mee om te gaan. Is het nu erger gesteld met de reproduceerbaarheid dan vroeger? Ik zou het niet weten. De grote drijfveren achter de replicatiecrisis – ego en de redeneerfouten die mensen maken – zijn niet noemenswaardig veranderd naar mijn weten. Wetenschappers willen nog steeds nieuwe en liefst positieve resultaten en inzichten produceren.
De hoge mate van competitie is wel anders dan vroeger. Het aantal mensen dat elkaar beconcurreert om dezelfde baan of dezelfde beurs is enorm toegenomen. Dat zou het probleem sterk kunnen aanzetten. Aan de andere kant is de ‘productiecapaciteit’ in de meeste wetenschapsgebieden enorm toegenomen, en dat zou beide kanten op kunnen werken. Als puntje bij paaltje komt maakt het me ook niet uit of het vroeger beter of slechter was. We weten dat we beter kunnen dan wat we nu doen dus laten we ons daar op richten.
Is het wetenschappelijke systeem opgewassen tegen deze heftige financiële druk?
In termen van zelfcorrectie is dat over het algemeen wel gewaarborgd. Daargelaten dat mensen toch de neiging zullen hebben om, als ze eenmaal op een spoor zitten, zichzelf te blijven bevestigen in hun onderzoek blijft er uiteindelijk altijd de mogelijkheid tot zelfcorrectie.
Wat aan de basis ligt van onze strijd met reproduceerbaarheid, is het feit dat we in onze wetenschappelijke communicatie elkaar voor de gek houden. We doen dan wel alsof de handvatten voor het reproduceren er zijn, maar eigenlijk schiet de informatievoorziening meestal feitelijk tekort om een onderzoek echt te herhalen.
Eigenlijk is een wetenschappelijke publicatie veelal een soort advertentie voor de wetenschapper, met daarin een strikte selectie van wat de onderzoeker belangrijk vond in het denkproces, de uitvoering en de analyse. Je hebt helemaal geen toegang tot het bronmateriaal, en bijvoorbeeld de analyses die onderzoekers zelf hebben geprogrammeerd om tot een bepaald resultaat te komen.
Maar als we er nu eens van uitgaan dat er helemaal geen fraude is, is het dan nog steeds erg?
Ja, want er sluipen toch altijd individuele keuzes in. Mensen kiezen voor een bepaalde aanpak, al is het maar de manier waarop ze de data opslaan, en je kunt er niet altijd van uitgaan dat dit vanzelfsprekend is voor de rest van het veld. Voor het zelfcorrigerend vermogen is het essentieel dat je totale openheid hebt. Ik wil alle data zien, de manier waarop het geanalyseerd is, eigenlijk de beslissingen die mensen hebben genomen. Dat scheelt bovendien een heleboel tijd want je kunt het gewoon over concrete vragen hebben als iets niet helemaal in de haak lijkt te zijn.
Streven naar transparantie is een eerbaar doel, maar zoals u zelf zegt blijven wetenschappers ook maar mensen. Is de wetenschappelijke methode opgewassen tegen onze menselijke drang om gelijk te hebben en te krijgen?
Er wordt wel eens gezegd dat een slechte theorie pas verdwijnt als de hoogleraar die hem heeft verzonnen sterft. Ik las laatst ook een paper waaruit bleek dat de citatiescore van artikelen van bepaalde wetenschappers drastisch daalt op het moment dat die persoon komt te overlijden.
Hoe directer de relatie is tussen de ontdekker en de degene die het tegendeel ontdekt, des te kleiner de kans dat de correctie plaatsvindt. Dat is een realiteit waar we mee te maken hebben. Wel denk ik dat binnen het grotere plaatje deze correctiemogelijkheid er wel is. Dan zijn er natuurlijk nog steeds manieren om anderen te dwarsbomen door bijvoorbeeld een publicatie tegen te houden.
Wel zijn er steeds meer methoden om dit in de toekomst tegen te gaan. Preregistrations (het aanmelden van een onderzoek, nog voordat de resultaten binnen zijn) kunnen daar een grote rol in spelen. Een onderzoek gaat dan eerst door een fase van openbare goedkeuring, en de resultaten kunnen niet meer ergens weggemoffeld of tegengehouden worden. Ik zie deze en meer mechanismes ontstaan die echte verbeteringen opleveren.
U bent een van de oprichters van The Open Science Center dat de openheid, integriteit en reproduceerbaarheid van de wetenschap wil verhogen. Welke ontwikkelingen kunnen we op dat vlak verwachten in de nabije toekomst?
Ik geloof er niet in dat we er met een enkele revolutie zullen zijn. De weg voorwaarts is er een van kleine stapjes, waardoor we steeds iets dichterbij zullen komen. En ik denk dat het zit in het beschikbaar maken van technieken, voor iedereen, om het publicatiesysteem geschikter te maken voor hoe wetenschap echt werkt.
De eerste stap die we moeten zetten is om de preprint-methode voor iedereen toegankelijk te maken, dan is een artikel in ieder geval sneller beschikbaar. De stap daarna is om te gaan werken met ‘versioning’, ofwel dat een artikel niet meer gezien wordt als ‘af’ maar dat er achteraf nog verbeteringen kunnen worden aangebracht en dat iedereen kan zien wie dit heeft gedaan en wanneer dit gedaan is. Deze technieken zijn er al en die willen we ook verspreiden aan iedereen.
De echte grote stap gaat zijn om open access software te ontwikkelen om het peer review proces te begeleiden. Daarmee halen we het ook uit handen van de uitgevers en kunnen individuele vakgebieden weer de controle pakken over hun wetenschappelijke communicatie. Ze kunnen zelf beslissen of commentaar openbaar is of niet, wanneer ze het publiceren et cetera. Een marktplaats voor ideeën dus, waar de werkwijze van een reviewproces zijn eigen reputatie kan opbouwen.
Het klinkt allemaal heel mooi, maar hoe zorg je dat je de critici meekrijgt?
Het laatste wat ik wil doen is mijn tijd verspillen aan het proberen te overtuigen van conservatieve wetenschappers. Dat gaat een heleboel energie in zitten en levert in de praktijk eigenlijk maar weinig op. Waar ik me op wil richten is op de meer idealistisch ingestelden, de early adopters, en hen in staat stellen hun ambities waar te maken.
Ik ben er van overtuigd dat mensen zo’n nieuw systeem moeten ervaren, dat is de beste manier om iemand te overtuigen. Dan hebben mensen bijvoorbeeld door dat als je iets in preprint zet je sowieso niet meer ‘gescoopt’ kunt worden. En zo kun je een voor een de argumenten tegen open science weerleggen. Dat zal allemaal niet zonder slag of stoot gaan, er zitten ook nadelen aan, maar ik heb er het volste vertrouwen in dat dit de weg is.
