Gretig zoeken naar wetenschappelijk gesjoemel
Op vrijdag 9 juli van dit jaar publiceerde de NRC op haar voorpagina een verslag van onderzoek naar ‘Gesjoemel in de wetenschap’ met als ondertitel “Een op de twee wetenschappers heeft weleens gesjoemeld met onderzoeksresultaten”. Het betreffende onderzoek is beschreven in twee rapporten van een groep onderzoekers rond Lex Bouter, hoogleraar aan de Vrije Universiteit, die onderzoek heeft gedaan naar wetenschapsintegriteit. Bouter wordt in het NRC-artikel geïnterviewd en geciteerd.
Hij wijst erop dat er 63778 vragenlijsten werden verstuurd naar acht Nederlandse instellingen voor wetenschappelijk onderzoek (die medewerking hadden toegezegd); 21 procent van de vragenlijsten werd ingevuld. Vanuit de overige instellingen kwam weinig binnen, hoewel niet kan worden vastgesteld welk percentage dat is omdat het aantal potentiële respondenten wegens de niet verleende medewerking van de instellingen onbekend is.
“Strikt genomen, benadrukt Bouter, zeggen de resultaten alleen iets over de deelnemers eraan en niet over de gehele Nederlandse wetenschap, maar hij heeft vertrouwen in de kwaliteit en representativiteit van zijn gegevens”, zo meldt de krant. “Het responspercentage is vergelijkbaar met gelijksoortige studies in het buitenland,” luidt de argumentatie van Bouter, “en in absolute aantallen is mij internationaal geen onderzoek naar dit onderwerp bekend dat groter is.”
Opgewonden nieuwsgierigheid
Door opgewonden nieuwsgierigheid gedreven mailde ik onmiddellijk naar Bouter met het verzoek de betreffende artikelen te mogen ontvangen. Hij stuurde prompt per mail de gevraagde werken en voegde er nog een artikel aan toe van Science Magazine, waarin aandacht aan de studies wordt besteed. Aangetekend dient nog te worden dat de onderzoeksrapporten, waarop de NRC haar artikel baseerde en die ik door Bouter toegestuurd kreeg, waren gepubliceerd op een preprint server, wat betekent dat ze nog niet zijn beoordeeld door vakgenoten.
Alvorens ik de resultaten van mijn analyses rapporteer merk ik nog op dat Science Magazine de bevindingen van Bouter c.s. minstens zo stevig neerzet als de NRC, met als kop “Landmark research integrity survey finds questionable practices are surprisingly common.” In het artikel wordt gemeld dat de vondst dat 51 procent onderzoekers questionable research practices beoefenen eerdere internationale bevindingen overtreft. Er wordt zelfs nog een ‘research ethicist’ geciteerd (Fanelli van de London School of Economics) die denkt dat die 51 procent een onderschatting is.
Hij stelt dat in het onderzoek van Bouter c.s. de vragen zeer rechtstreeks aangeven dat de gevraagde praktijken niet deugen. Als men de vragen neutraler stelt, waarbij de respondent meent dat het allemaal niet zo erg is, dan geven ze meer handelingen toe, zo is haar redenering.
Bijna alle onderzoekers wijzen plagiaat af
Dan nu mijn analyse van de gelezen stukken. Het ene artikel (‘Prevalence of responsible research practices among academics in the Netherlands’) gaat over responsible research practices (RRP’s), het andere (dat de meeste aandacht trok van de media) gaat over questionable research practices (QRP’s).
Het eerste artikel meldt bevindingen die compact weergegeven op het volgende neerkomen: bijna alle onderzochten wijzen plagiaat af, slechts een minderheid doet aan pre-registering. In de geesteswetenschappen doet men het minst aan RRP’s, hetzelfde geldt voor promovendi en jonge onderzoekers in alle vakgebieden (vergeleken met senioren). Verder blijkt dat publicatiedruk inderdaad, zoals vaak beweerd wordt, een negatief effect op RRP’s heeft (maar het effect is klein), terwijl supervisie of begeleiding, het onderschrijven van wetenschappelijke normen en de druk om fondsen te verwerven juist RRP’s stimuleren. Men moet hierbij wel steeds blijven beseffen dat dit alles niet gaat over feiten maar over beweringen van een groep respondenten (waarvan de representativiteit niet vaststaat).
Ik denk daar geheel anders over
Het tweede artikel is interessanter. Van de 63778 academische onderzoekers die werden aangeschreven (zie ook Bouters mededelingen in de NRC) vulden uiteindelijk slechts 6813 onderzoekers volledig het vragenformulier in. Representatief? Volgens Bouter wel; het responspercentage is vergelijkbaar met gelijksoortige studies in het buitenland, en in absolute aantallen is er internationaal geen onderzoek naar dit onderwerp dat groter is, redeneerde hij. Ik denk daar geheel anders over.
Het gegeven dat in ander onderzoek de representativiteit even belabberd of erger is kan bezwaarlijk als argument gelden voor de representativiteit van dit onderzoek. Men hoort tegenwoordig vaak het argument dat online onderzoek leidt tot lage respons en niet zelden wordt dat als verzachtende omstandigheid gehanteerd (zie ook Sijtsma). Hoezo eigenlijk? En dan de omvang van het onderzoek; ik deel niet het argument dat het een bewijs van representativiteit is wanneer de eigen steekproef groter uitvalt dan die van anderen.
Dan nu naar de conclusies, die zo breed uitgemeten worden in de NRC en in Science Magazine. De conclusie luidt dat in de laatste drie jaar een op de twee onderzoekers herhaaldelijk tenminste een van de door de auteurs onderscheiden QRP’s bedreef. Strikt empirisch is deze conclusie juist. Althans, voor zover men vaststelt dat die conclusie zich beperkt tot de kleine, mogelijk niet representatieve steekproef waarover dit onderzoek gaat.
Verbazingwekkend weinig frauduleus
Het is beslist nuttig om goed te bekijken wat in dit onderzoek eigenlijk verstaan wordt onder QRP’s. In de vragenlijst wordt gevraagd naar elf QRP’s. Ik zie ervan af die alle elf hier weer te geven, maar wijs op een aantal dat er verbazingwekkend weinig frauduleus uitziet. Om een voorbeeld te geven: als men (als senior) slechte of bijna geen begeleiding verzorgt, dan is dat een QRP (in de vragenlijst: QRP2).
We kunnen het natuurlijk wenselijk vinden dat jongeren (en ouderen) goed begeleid en gesteund worden, maar als dat niet gebeurt is het echter niet noodzakelijk zo dat daaruit slecht onderzoek voortkomt. Ik wijs op nog een aantal QRP’s van misschien wel non-optimale gedragingen die men eventueel QRP kan noemen, maar die beslist niet stroken met de krantenkoppen-aanduiding ‘gesjoemel’: “slordig naar bronnen verwijzen” (QRP6), “negatieve uitkomsten niet indienen of opnieuw indienen voor publicatie” (QRP9), “selectief citeren uit de literatuur” (QRP 11), ”onvoldoende aandacht hebben geschonken aan apparatuur e.d.” (QRP1).
Dat de auteurs dan op grond van deze QRP’s concluderen dat ‘sloppy science‘ meer voorkomt dan gedacht, namelijk in meer dan 50 procent van de gevallen, acht ik een mispresentatie. Immers, de empirische data uit publicaties kunnen uitstekend gepresenteerd en geanalyseerd zijn, ook als er slordig naar bronnen wordt verwezen (wat overigens normaal gesproken uitgefilterd wordt door reviewers); publicaties over negatieve uitkomsten, die ernstig bekritiseerd zijn door een tijdschrift en die niet opnieuw worden ingediend kunnen moeilijk tot ‘sloppy science‘ verklaard worden; dat (jonge) onderzoekers niet zelf kritisch naar beschikbare instrumentatie kijken, maar (mogelijk zeer terecht) vertrouwen op de kwaliteit van de lab-voorzieningen die ze gebruiken, heeft met ‘sloppy science’ niets te maken.
Onvoldoende supervisie is, zoals gezegd, ook een eigenaardige index voor ‘sloppy science’. Wat is hier ‘onvoldoende’? Wie stelt dat vast? (Hier zijn slechts de meningen van respondenten beschikbaar). En waarom zou onvoldoende supervisie noodzakelijk tot ‘sloppy science’ leiden? Waarom dit alles vatten onder het kopje ‘gesjoemel’?
Lex Bouter verraadt een zekere gretigheid
Ik stel vast dat het onderzoek van wat ik hier maar samenvattend aanduid als dat van de groep Bouter, van groot belang zou kunnen zijn voor de integriteitsbevordering die de groep voor ogen staat. Ik stel echter ook vast dat de communicatie rond dit onderzoek een zekere gretigheid verraadt, het verlangen en streven ‘de’ wetenschap neer te zetten als gebrekkig, zo niet frauduleus. Die gretigheid past uiteraard in een modern klimaat waarin Trumpiaans gestimuleerd denken over nepnieuws een dominante rol speelt. Waarschijnlijk onbedoeld wordt het genoemde verlangen bevredigd door de communicatie over het op zichzelf niet onbelangrijke onderzoek van Bouter c.s.
Waarom moet de pers (NRC) geïnformeerd worden over onderzoek dat nog niet door vakgenoten is beoordeeld? Waarom meent Bouter niet te hoeven twijfelen aan de representativiteit van de betreffende steekproef? Waarom wordt zelfs in Science Magazine geen woord besteed aan de inhoud van de zogenaamde QRP’s, die (ten dele) toch heel wat subtielere ongewenste gedragingen behelzen dan de termen fraude en gesjoemel suggereren?
Met deze media-aandacht wordt het omgekeerde bereikt
Daarbij is het vooral een belangrijke vraag welk doel met deze communicatie wordt beoogd. Wat mij het meest verontrust is het voor de hand liggende effect van dergelijke communicatie via de media; een dalend publiek vertrouwen in de wetenschap, immers de helft van de Nederlandse wetenschappelijke onderzoekers sjoemelt maar wat, zo ‘blijkt’ volgens de media. Dit lijkt mij het omgekeerde van het ongetwijfeld door de groep Bouter beoogde effect, namelijk ‘evidence based’ verhoging van wetenschappelijke integriteit, resulterend in verhoogd vertrouwen bij het publiek.
Overigens zou men aan de lijst van QRP’s kunnen toevoegen het voortijdig (want voordat peer review heeft plaatsgevonden) resultaten publiek maken (door mij verzonnen QRP 12), en in de publiekscommunicatie gerechtvaardigde relativeringen achterwege laten (QRP 13). Zulke QRP’s gelden, zoals alle, ook voor onderzoekers van wetenschappelijke integriteit. Jezelf daar van uitzonderen lijkt me eveneens een QRP (QRP 14).
