In advies zijn wetenschappers net zo ‘sloppy’ als in het onderzoek
Ze noemt zichzelf een slow professor. Het is een bestaanswijze die epidemioloog Cecile Janssens opvatte toen ze de stap van Nederland naar Emory University Atlanta (V.S.) waagde om daar haar onderzoek voort te zetten. “Al snel kwam ik erachter dat het in de Verenigde Staten net zo’n competitief model is als in Nederland, misschien wel erger. Mensen rennen zichzelf voorbij in de haast om te scoren, maar daar was ik niet voor gekomen.”
De Slow Professor is het medicijn tegen werkdruk
“Het is een misverstand dat slow science betekent dat je langzamer moet werken. Het betekent dat je de tijd moet nemen, ook om fouten te maken.” De afgelopen vier jaar werkte ze aan een omvangrijk project dat een grote verbetering belooft in de wijze waarop zoekmachines relevante wetenschappelijke literatuur vinden. “Ik heb in die periode nagenoeg niets gepubliceerd. Dat is niet goed voor mijn indicatoren maar ik heb dan ook sneller gewerkt dan ooit. Nu ligt er een resultaat.”
“Waar we achter kwamen, was dat er nooit iemand even goed had nagedacht over wat het betekent om ‘relevante’ literatuur te vinden.” Dit vergde dan ook een (tijds)inspanning van jewelste om goed uit te werken. “In de tussentijd heb ik ervoor gekozen om niet alle tussenstappen te publiceren, dat vind ik geen recht doen aan de omvang van het probleem en bovendien wordt onderzoek doen daar ongelooflijk traag van.”
Kwestie van relativeren
Momenteel staat Janssens op het punt de tool CoCites te lanceren. “Het is een ‘make or break’ moment voor mijn wetenschappelijke carrière.” Dat is uiteraard een spannend moment, maar ze is er vrij laconiek over. “Ik voel die druk maar ik realiseer me ook dat er heel veel carrières zijn waarin ik gelukkig zou kunnen zijn, wetenschap is daar een van.” Het reguleren van je eigen werkdruk is deels een kwestie van relativeren, zo lijkt het.
“”Ik realiseer me dat er heel veel carrières zijn waarin ik gelukkig zou kunnen zijn, wetenschap is daar een van.” “
Een van de manieren waarop Janssens grip probeert te houden op haar tempo is door parttime aangesteld te zijn als onderzoeker. “Dat is een bewuste keuze. Ik heb de optie van een vaste baan bewust laten lopen, ik had namelijk voldoende subsidie op dat moment. Mijn aanstelling is variabel, en is afhankelijk van hoeveel subsidie ik binnenhaal en hoeveel onderwijs ik geef, maar meestal tussen de 50 en 80 procent. Emory betaalt fatsoenlijk voor onderwijs, meer dan de uren die je maakt.”
Dat laatste is in Nederland wel anders, weet ze uit ervaring. “Aanstellingen zijn altijd zoveel procent onderzoek en zoveel procent onderwijs, en opgeteld altijd meer dan honderd procent.” Op zo’n moment is elke klus die er extra bij komt, hoe leuk ook, voornamelijk een toevoeging aan de werkstress. “En begrijp me niet verkeerd, ik werk ook geregeld over, maar op het moment dat ik er zelf voor kies, zie ik het niet als onbetaald werk.”
Haast, slordigheid en egocentrisme combineren slecht met open science
Kortgeleden was Janssens in Nederland voor een bijeenkomst over open science. Een belangrijk onderwerp vindt ze, maar wel een aanpak die risico’s met zich meebrengt voor de kwaliteit van de wetenschap. “Wat ik zie is dat open beschikbaarheid van bijvoorbeeld genetische databases – mijn vakgebied – in het huidige competitieve systeem leidt tot talloze onzinpublicaties. Mensen zien ‘gratis’ data die ze bovendien niet zelf hebben verzameld en gaan ermee de boer op.”
Als voorbeeld geeft ze de UK Biobank, een database waarin het genoom van een half miljoen Britten open wordt gesteld voor onderzoek. “De oprichters van die database roepen in alle richtingen dat die database niet representatief is. Het is een groot getal maar het is maar een zeer selecte groep, voornamelijk hoogopgeleide en gezonde Britten, die hier vrijwillig aan mee heeft gedaan. Het kan dus niet gebruikt worden voor doeleinden zoals predictie. En toch zie ik om mij heen steeds weer publicaties opduiken op basis van die dataset met precies die strekking. Het is om moedeloos van te worden.”
Het is haast, slordigheid en een fixatie op eigen gewin en eigen carrière ziet Janssens. “Het is bijna niet te geloven maar mensen doen het gewoon. Dan zetten ze vervolgens doodleuk in de discussie dat het resultaat niet representatief is voor de hele populatie en vervolgens drukt zo’n tijdschrift het alsnog af.” En het is heus niet alleen het financieel gewin van de uitgever dat hier de drijvende kracht achter is, moet ze constateren. “Mensen denken allen maar na over hun eigen toko, zo lang die maar draait is het goed. Wat dat ook betekent in het bredere perspectief.”
““Mensen denken allen maar na over hun eigen toko, zo lang die maar draait is het goed. Wat dat ook betekent in het bredere perspectief.””
“Dat is mijn grote frustratie aan de wetenschap. Net als dat er gewoon ongelooflijk veel mensen rondlopen die onvoldoende kennis van methodologie en statistiek hebben.” Aangezien een groot deel van haar werk puur methodologisch is, is dit iets dat Janssens in het bijzonder kan irriteren. “Ik zie zo vaak mensen fouten maken waar we vijftien jaar geleden al voor waarschuwden. Soms vraag ik me af hoe fout het moet gaan voordat we een keer radicaal van paradigma veranderen…”
Het gaat wel over hen
Want ondanks de aandacht voor schendingen van wetenschappelijke integriteit en zorgen over repliceerbaarheid en sloppy science, zijn academici met een waarschuwende boodschap nog altijd roepende in de woestijn. “Alle alarmerende berichten van onder andere John Ioannidis en ook van Science in Transition in Nederland ten spijt, denken onderzoekers altijd: ja, maar dat gaat niet over mij. Maar het gaat wél over hen.”
John Ioannidis over onderzoeksbias
“We durven bovendien geen open discussie te voeren over de wetenschap, laat staan over elkaars werk.” Een ongezond zwijgcontract vindt Janssens, en ze ziet deze houding terug in het hele wetenschappelijk bedrijf, van blinde peer review tot aan het gesprek tussen de wetenschap en de politiek. “We durven het niet publiekelijk met elkaar oneens te zijn vanwege repercussies.”
Onlangs merkte Janssens weer eens hoe verstikkend deze cultuur kan zijn toen ze openlijk kritiek uitte op het rapport van de commissie Weckhuysen van de KNAW. In een column in de NRC (titel niet haar eigen keus) trok ze de onderbouwing en de werkwijze van de commissie in twijfel. “De argumentatie en de bewijsvoering zijn gewoon allesbehalve wetenschappelijk. Niet wat je verwacht van zo’n gerenommeerd en een instituut als de KNAW onwaardig.”
“”Het advies als dat van de commissie Weckhuysen is een gerennomeerd instituut als de KNAW onwaardig.””
De uitspraak dat de verhouding in investeringen in toegepast en fundamenteel onderzoek gelijk zou moeten zijn – de kern van het advies – vindt ze slecht onderbouwd. “Het is een internationale vergelijking, zo valt te lezen. Maar als er al een conclusie getrokken kan worden uit de vergelijking, dan is het dat er geen pijl op te trekken valt. Dat is voor een advies als dit veel te weinig onderbouwing. Had daar niet iemand wat grondiger naar kunnen kijken?”
De aanbeveling dat er niet geschoven kan worden met middelen, maar dat er anderhalf miljard euro bij moet kon Janssens aanvankelijk niet terugvinden in het advies. “Dat komt omdat het er ook niet in staat. Het staat ook niet in de samenvatting en de commissie zegt zelf dat het geen onderdeel van de adviesvraag was. Waarom is dan wel de hele mediastrategie hierop gebaseerd?”
Berekening op de achterkant van een envelop
Hoe onderbouw je dan wel dat je anderhalf miljard nodig zou hebben? “Dan zou je moeten kijken naar wat er zoal misloopt. Misschien moet je in kaart brengen welke veelbelovende projecten geen doorgang vinden, louter vanwege de financiële beperkingen. Waar moet je onderzoekers hun carrière beknotten omdat er geen geld is. Dat zou dan een verstandige aanvliegroute zijn. Dan kun je daar ook een investeringsvraag tegenover zetten. Laat dat onderzoeken, liefst door een onafhankelijke partij.”
De berekening van het genoemde bedrag voor langdurige investeringen middels rolling grants In de voetnoot op pagina 76 staat: Als eerste indicatie kan worden uitgegaan van circa 7.000 wetenschappers met het ius promovendi x 2 promovendi (á gemiddeld €300.000 el voor een volledig promotieonderzoek), dus ongeveer €1 miljard indien elke vier jaar een volgende promovendus de vorige in een rolling-grant systeem vervangt. is wat haar betreft net zo ‘sloppy’ als de rest van het advies. “Dat miljard moest toch zijn voor jonge onderzoekers? Waarom gaat de berekening dan uit van hoogleraren die louter promovendi begeleiden? Er wordt in het advies gesproken over een rolling grant system, waarin je dus wil zorgen dat je op langere termijn onderzoek kunt stimuleren, waarom ga je dan uit van steeds weer nieuwe promovendi? Hoe gaat dat rust brengen in het systeem?”
“”Ik vind dit geen zuivere manier van werken.””
Janssens vindt het dan ook niet verrassend dat de lijst met ‘geraadpleegde experts’ wordt gedomineerd door hoogleraren. “Wat je bovendien ook leest is dat er onder de experts ook verschillen van inzicht zijn geweest. Blijkbaar dacht niet iedereen dat er geld bij moest.” Een nadelige bijwerking van een werkwijze waar voornamelijk met interviews met experts wordt gewerkt is tevens dat de geraadpleegden impliciet ook medeplichtig worden aan een dergelijk advies. “Ik vind dat geen zuivere manier van werken.”
Tone policing
Dat er binnen de wetenschap een zekere omerta geldt voor dit soort zaken heeft Janssens ook nu wederom ondervonden. “Ik kreeg mailtjes dat een column als deze echt niet kon. Dat het heel onverstandig was om dit op te schrijven. Als je dan vervolgens doorvraagt waarom dan, blijkt dat zo’n opmerking helemaal niet over de inhoud gaat. Het gaat om het feit dát je vraagtekens plaatst bij investeringen in wetenschap.” De Amerikaanse term ‘tone policing’ was voor haar een nieuw begrip, maar inmiddels weet ze als geen ander wat die behelst.
“En begrijp me goed, ik ben er niet op tegen om anderhalf miljard extra te investeren in de wetenschap, maar deze onderbouwing is ondermaats. Het klopt niet en het is slordig. Nu staat er in feite gewoon: geef ons gewoon geld en kom niet elke keer vragen hoe ver we zijn. Tsja… Op het moment dat je vraagt om vertrouwen maar je levert een rapport af dat dit niet verdient, dan zit je op de verkeerde weg.”
Bovendien mist Janssens nog een ander belangrijk aspect, en dat is de verdeling over disciplines. “Ik lees niets over de verhouding alfa, bèta en gamma, of een constatering over waar het specifiek knelt.” Want waar velen met liefde bereid zijn om op de bres te springen voor hun eigen vakgebied is de saamhorigheid – uitzonderingen daargelaten – vaak ver te zoeken. “Op het moment dat je niet nadenkt over de verdeling in de wetenschap dan neem je niet je ‘menselijke’ verantwoordelijkheid. Die houding van ‘zo lang het met mij maar goed gaat’ is schadelijk.”
Uiteindelijk is het volgens Janssens ook de vraag of wetenschappers zich eigenlijk wel herkennen in een dergelijk advies. “Ik in ieder geval niet. Ik vind het niveau van discussies in de wetenschap vaak te laag.” Dat is een probleem dat niet specifiek opgaat voor de discussie over investeringen, ook de vraag hoe om te gaan met problemen als een replicatiecrisis of ‘sloppy science’ wordt eigenlijk maar zuinigjes beantwoord door onderzoekers in het veld. “Een echt inhoudelijke discussie valt nagenoeg niet meer te voeren. Misschien omdat mensen te druk zijn…”
