AWTI: gooi metrics niet overboord bij Erkennen en Waarderen
Toen 172 wetenschappers het Erkennen en Waarderen-programma bekritiseerden in een open brief op ScienceGuide, brak een landelijke discussie los die doordrong tot in de Tweede Kamer. Tussen alle beweringen, zorgen en aansporingen bleven bepaalde vragen knagen. Leidt het programma wel of niet tot een daling van de Nederlandse wetenschap op internationale ranglijsten? Moet het programma integraal in elk vakgebied worden geadopteerd? En moet men metrics blijven gebruiken?
Gelukkig beschikt de Kamer over de onafhankelijke Adviesraad voor Wetenschap, Technologie en Innovatie (AWTI). Die ging graag met dit vraagstuk aan de slag – maar wel voorzichtig, vertelt voorzitter Eppo Bruins.
Politieke spanning
“Het is een vraag waarop best wat politieke spanning zit”, zegt Bruins. “We hebben goed bedacht welke vragen we kunnen beantwoorden. In gesprek met de vaste Kamercommissie voor OCW merkte ik dat er behoefte is om te weten hoe de kwaliteit van wetenschap objectief kan worden vastgesteld. Daarmee zijn we aan de slag gegaan. Kun je dat objectief vaststellen? Hoe is dat in het verleden geprobeerd, en welke ontwikkelingen zien we nu?”
De nieuwsbrief is exclusief toegankelijk voor medewerkers van onze partners.
Met de Kamercommissie werd afgesproken dat die inspanning zou leiden tot een breed informerende brief over de kwaliteit van wetenschap en niet tot een advies. Zo geschiedde. De brief geeft blijk van uitgebreide literatuurstudie, maar leunt ook op de inbreng van experts en van zowel voor- als tegenstanders van het Erkennen en Waarderen-programma, vertelt Bruins. “De brief gaat niet expliciet over Erkennen en Waarderen, maar wel over het anders erkennen en waarderen van de kwaliteit van wetenschap. Het was dus belangrijk om verschillende blikken op de werkelijkheid te krijgen.”
Het breder willen waarderen van wetenschap is een reactie op het overmatige gebruik van vooral kwantitatieve kwaliteitsindicatoren, legt Bruins uit. Daarmee is echter niet elk aspect te vangen. Zo kiest de AWTI ervoor om te spreken over de meervoudsvorm ‘kwaliteiten’ van wetenschap. “Het maakt immers nogal uit wat je van wetenschap verwacht – een bijdrage aan economische welvaart, een bijdrage aan kennisontwikkeling, zo veel mogelijk transparantie en methodische zuiverheid, noem het maar op. Wij kennen daarin geen eenduidige definitie; we hebben geen ministerie dat zegt: ‘Dít is wat wij van universiteiten verwachten’. Er wordt dus vanuit verschillende waarden naar wetenschap gekeken, wat ertoe leidt dat er verschillende kwaliteiten bestaan.”
Ook peer review is niet heilig
Wordt die relativering toegestaan, dan is ook een hulpmiddel zoals peer reviews niet langer heilig. “De AWTI stelt peer review niet ter discussie, maar er zijn redenen waarom sommigen de waarde van peer reviews betwijfelen en hechten aan meer kwantitatieve indicatoren”, legt Bruins uit. “Die redenen hebben we daarom willen beschrijven. Peer reviews zijn bijvoorbeeld niet altijd blind; denk aan een peer review in een NWO-commissie. Ook bij wetenschappelijke tijdschriften is de peer review niet altijd blind. Dat brengt de mogelijkheid van subjectiviteit mee. Ook bij een blinde peer review kan dat overigens zo zijn, bijvoorbeeld omdat een beoordelaar het ene vakgebied leuker vindt dan het andere.”
Kortom, de peer review mag voor velen de gouden standaard voor de beoordeling van wetenschap zijn, het is niettemin bevlekt met subjectiviteit. “Aanvullende kwantitatieve indicatoren kunnen dus helpen bij de beoordeling”, aldus Bruins.
De bibliometrie is zo’n hulpmiddel om peer review en kwalitatieve indicatoren te onderbouwen, maar ook daarbij plaatst de AWTI-voorzitter stevige nuances. “Bibliometrische indicatoren werken voor een beperkt aantal vakgebieden goed; fysica of wiskunde, bijvoorbeeld. Toen ik STW-directeur werd, merkte ik echter al dat ingenieurs- en ontwerpwetenschappen helemaal niet bezig zijn met publiceren. Die geven lezingen op IEEE-conferenties; gastspreker zijn bij zo’n conferentie is in dat domein veel belangrijker.”
Metrics zeggen niets over een voorstel
De h-index en de journal impact factor (JIF), vaak bekritiseerd als kwaliteitsindicatoren, blijven evenmin buiten schot. “De h-index of de JIF gaan nooit over dat ene artikel dat iemand bij een NWO-voorstel opvoert als kwaliteitsindicator”, stelt de AWTI-voorzitter. “Als je bij één van de vijf opgegeven publicaties de JIF vermeldt, zegt dat niets over de specifieke publicatie. De JIF zegt iets over het tijdschrift, niet over de specifieke kwaliteit van een artikel. Bij NWO, maar ook elders, wordt daarom opgeroepen om de kwaliteit van een wetenschapper niet met een h-index of één JIF te onderbouwen. De JIF en een h-index zeggen wel iets, maar op zichzelf zeggen ze niets over dat ene artikel of die ene wetenschapper.”
Niettemin zegt het wel íets als iemand vaak publiceert in een high impact journal, weet Bruins, maar daarmee is het niet per se een zinvolle indicator bij een subsidieaanvraag. Wereldwijd is men het erover eens dat de JIF niet zodanig gebruikt moet worden. Tegelijkertijd is er nood aan een alternatief; kwantitatieve indicatoren zijn immers belangrijk om kwalitatieve beweringen te onderbouwen. “Je moet het kind niet met het badwater weggooien”, aldus Bruins. “Kwantitatieve indicatoren blijven belangrijk en nuttig, in combinatie met een bredere waardering van de kwaliteit van wetenschappers.”
Kwantitatieve en kwalitatieve indicatoren vullen elkaar aan, benadrukt de AWTI keer op keer. “Er is een rijk en genuanceerd palet van kwalitatieve en kwantitatieve indicatoren nodig. Alleen een narratief cv is niet meer dan een verhaal”. Zo stipt Bruins een belangrijk punt van kritiek op het Erkennen en Waarderen-programma bij NWO aan. “Maar ik heb niet de indruk dat NWO tevreden is met zomaar een verhaaltje. Ze hebben de naam niet voor niets veranderd naar ‘evidence-based cv’. Je merkt daaraan dat ook zij op zoek zijn naar het genuanceerde palet waarmee kwaliteit goed geduid kan worden.”
Slechte afstemming kan mobiliteit wetenschappers schaden
Het is vooral belangrijk om met elkaar in gesprek te blijven, benadrukt Bruins meermaals. Dat het meer en meer doordringt dat iedereen een andere opvatting van wetenschappelijke kwaliteit kan hebben, vindt de AWTI-voorzitter een boeiend proces. “Je moet echter voorkomen dat het chaos wordt. Als de Radboud iets verzint en de VU iets heel anders, wordt de mobiliteit van wetenschappers bemoeilijkt en kan dit hun loopbanen schaden. Je moet het op z’n minst Nederland-breed aanpakken, en eigenlijk ook samen met andere landen.”
Juist omdat nu sneller blijkt dat een neuroloog misschien een ander beeld van ‘goede wetenschap’ heeft dan een fysicus of een geesteswetenschapper en dat men bij TNO anders naar wetenschap kijkt dan een hogeschool, is het gesprek extra belangrijk, benadrukt het voormalig Kamerlid. “Dit is een fundamentele verschuiving, een cultuurverandering. We moeten dus eerst en vooral veel met elkaar praten.”
Geen bedreiging internationale positie Nederland
In de brief noemt de AWTI het anders erkennen en waarderen van wetenschappelijke kwaliteit onvermijdelijk. “We zien dit overal gebeuren”, licht Bruins die uitspraak toe. “Als je er niet in meegaat, word je wellicht onaantrekkelijk of verlies je de aansluiting met andere landen. Nederland loopt best voorop, maar niet alleen. Als je niet alleen vooroploopt, biedt dat kansen om de richting te bepalen.”
Tegelijkertijd moet je de troepen niet uit het oog verliezen, beseft hij. “De mogelijke mobiliteitsproblemen tussen instellingen die andere richtingen volgen kunnen immers ook ontstaan tussen landen die andere keuzes maken. Als je internationaal blijft samenwerken, heb je de kans om Nederland als wetenschapsland juist aantrekkelijker te maken.”
Deze beweging is niet alleen een bedreiging voor de internationale positie van de Nederlandse wetenschap, bedoelt Bruins maar. Daar zit immers veel politieke bezorgdheid; wie te snel vooruitbeweegt, kan weleens buitenspel komen te staan. Op dit moment kan echter nog geen zinnige uitspraak worden gedaan over een gevolg voor de positie van de Nederlandse wetenschap, zegt hij. “Als je dat wel zou doen, doe je dat aan de hand van een ranglijst of een indicator – terwijl we weten dat zo’n ranglijst juist niet de gehele werkelijkheid weergeeft. Niettemin hebben we met betrekking tot bijvoorbeeld Open Access geen aanwijzing dat Nederland daardoor uit de top-5 van meest geciteerde landen zal verdwijnen.”
Kies metrics die ertoe doen
De AWTI-voorzitter ziet in deze verandering ook kansen voor hoger onderwijsinstellingen om zich onderscheidend te profileren. “Het kan zijn dat een kennisinstelling zegt: ‘wij doen niet aan wetenschapscommunicatie; wij doen aan de meest fundamentele sterrenkunde en houden ons niet bezig met communicatie daarover richting de buitenwereld’. Dat is prima! Kies tenminste een scherp profiel, bepaal waarin je goed wilt zijn en beoordeel op basis daarvan je wetenschappers.”
Als een universiteit of hogeschool zich vooral op onderwijs, leiderschap, patiëntenzorg of maatschappelijke impact richt, moet men wel zinvolle indicatoren hebben om dat te meten, legt Bruins uit. “Dat is het punt. Die verbreding van het vaststellen van de kwaliteiten van wetenschap en wetenschappers, dat is waarover dit proces gaat.”
In de fysica is wetenschapscommunicatie belangrijker geworden, geeft hij als voorbeeld. “Dat kun je echter niet vertalen naar bibliometrische gegevens. Je moet dus met iedere wetenschapper bespreken wanneer die het goed doet; als iemand heel goed is in onderwijs, moet je die anders beoordelen dan iemand die eenzaam in een hokje de meest briljante software schrijft.”
We beginnen nog maar net
Met deze brief van de AWTI is wedstrijd niet gelopen; integendeel, denkt Bruins. “We zitten nog vroeg in het proces. De tegenstand tegen bijvoorbeeld het narratieve cv moet serieus genomen worden en uittrillen; dit is nog maar net begonnen. We moeten niet naar het ‘verhaaltjes vertellen’ bij onderzoeksvoorstellen, maar we moeten ook niet verwachten dat je met één getal iemands kwaliteit als wetenschapper kunt uitdrukken. Kwalitatief en kwantitatief vullen elkaar aan; bespreek vooral met elkaar hoe dat het beste kan.”
