Zal Erkennen en Waarderen internationale positie Nederlandse wetenschap beïnvloeden?
Een groep wetenschappers en politici maakt zich zorgen over de invloed van het Erkennen en Waarderen-programma op de internationale positie van de Nederlandse wetenschap. “Ik zou heel goed uitgelegd willen krijgen waarom Erkennen en Waarderen onze internationale positie niet bedreigt”, zei VVD-Kamerlid Hatte van der Woude onlangs in gesprek met ScienceGuide, waarin ze aangaf deze zorg in vraagvorm aan de minister voor te leggen.
Onduidelijkheid over invloed op internationale positie
Waar de meeste elementen van het Erkennen en Waarderen-programma al publiekelijk vanuit meerdere hoeken zijn betwist en verdedigd, lijkt de vraag naar de invloed van dit programma op de internationale positie van de Nederlandse wetenschap het nog zonder duidelijk antwoord te moeten doen. Zo wordt in dit kader op de website van Recognition and Rewards geschreven dat de wereldwijde trend richting Open Science alsook de problematiek in de wereldwijde wetenschap uiteindelijk zullen leiden tot de adoptie van de Nederlandse Erkennen en Waarderen-praktijken in andere landen.
Dit antwoord lijkt een aantal zorgen onbeantwoord te laten. Zo lijkt de verwachting van een trend en een problematiek die zullen leiden tot internationaal geadopteerde Erkennen en Waarderen-praktijken niets minder dan een aanname te zijn. In het verlengde daarvan duikt direct de volgende vraag op: wat nu als het niet zo is?
Daarnaast is het denkbaar dat de Nederlandse wetenschap, wanneer zij het Erkennen en Waarderen-programma als een van de eerste landen doorvoert, een stevige daling op de internationale rankings zal doormaken – ofwel voor een onbepaalde tijd, omdat de internationale wetenschap het E&W-programma niet omarmt, ofwel voor een overbruggende periode die eindigt zodra alle andere landen het E&W-programma omarmen.
Terwijl de minister zich over de Kamervragen van Van der Woude buigt, heeft ScienceGuide alvast aan vier voorstanders van het Erkennen en Waarderen-programma gevraagd of het programma de positie van Nederlandse universiteiten op de internationale rankings zal beïnvloeden. Zo nee, waarom niet? En zo ja, moet die consequentie dan voor lief worden genomen?
Toponderzoek staat los van het meten ervan
Cecile Janssens, hoogleraar translationele epidemiologie bij de Emory University in Atlanta, denkt dat het Erkennen en Waarderen-programma de positie van Nederlandse universiteiten op de internationale rankings niet negatief zal beïnvloeden. “Ik vind dat Hatte van der Woude twee dingen door elkaar haalt: toponderzoek willen doen en toponderzoek met ‘objectieve’ indicatoren willen meten”, schrijft zij. “Net zoals je de winnaar van een marathon kunt aanwijzen zonder de tijden te klokken, zo kun je ook toponderzoek herkennen zonder de impactfactoren te meten.”
Daarnaast zijn de gebruikte indicatoren volstrekt niet eenduidig te interpreteren, benadrukt Janssens. Een JIF van 10 kan in het ene vakgebied laag en in het andere vakgebied onhaalbaar hoog zijn. “Je kunt de impact van het werk van onderzoekers niet helemaal niet vergelijken door naar de journal impact factor te kijken”, schrijft ze. Eenzelfde mankement tekent het gebruik van een h-index als indicator. “Een h-index is makkelijker hoger voor onderzoekers die veel in grote samenwerkingen publiceren dan voor onderzoekers die alleen of met twee of drie medeauteurs schrijven. Als je met een groep van tien onderzoekers publiceert en ieder neemt de leiding bij één artikel, dan schrijf je één artikel maar publiceer je er tien.”
Janssens vindt het tevens een misvatting dat het stoppen met het gebruik van indicatoren gelijkstaat aan het weghalen van ‘prikkels tot ambitie’. “Onderzoekers blijven echt wel in Science publiceren als hun werk Science-waardig is. Die gaan dat niet plots overstappen naar het onbekende Scientific Reports. Elk vakgebied kent zijn toptijdschriften, de onderzoekers weten welke dat zijn, en er zullen ambitieus genoeg blijven om daarin te willen publiceren.”
Invloed op internationale positie is niet relevant
Een hoogleraar die wegens omstandigheden liever anoniem blijft is een andere mening toegedaan. “Gaat Erkennen en Waarderen de positie van Nederlandse universiteiten op de rankings beïnvloeden? Ja. Maar is dat de meest relevante vraag? Nee.” Wie zich zorgen maakt over een positie op die rankings, doet er goed aan eerst in overweging te nemen hoe die rankings werken en waartoe ze zijn ingericht; bezien vanuit publieke waarden vindt hij het verdienmodel van deze rankings namelijk behoorlijk verziekt.
Gaat Erkennen en Waarderen de positie van Nederlandse universiteiten op de rankings beïnvloeden? Ja. Maar is dat de meest relevante vraag? Nee.
“Ik neem de Times Higher Education world university ranking als voorbeeld. Dat is niet alleen een private organisatie, maar ook nog eens een onderneming die in handen is van private equity – een investeringsvorm die winstmaximalisatie als doel heeft”, benadrukt de hoogleraar. Een van de uitingen van het verdienmodel van Times Higher Education is de dienst die het aanbiedt om universiteiten te helpen met het verbeteren van hun positie. Universiteiten leveren namelijk zelf de data aan op basis waarvan de ranking wordt gemaakt, maar het is onbekend hoe die data wordt gewogen en verwerkt.
Zodoende weten universiteiten van tevoren vaak niet goed wat de uitkomst van een ranking gaat zijn. Wel hebben ze invloed op de stempels die ze aan hun data meegeven, legde Tessa Groen eerder uit in een gesprek met ScienceGuide. Zo kan het bestempelen van een interdisciplinaire studie als ‘geesteswetenschap’ of als ‘sociale wetenschap’ invloed hebben op een ranking. Welk verschil dat maakt? Dat kunnen universiteiten ontdekken door simulatiesoftware te kopen – bij Times Higher Education.
Positie op ranking hangt niet noodzakelijk samen met kwaliteit
Dat is echter niet het enige euvel dat deze rankings besmet, legt de hoogleraar uit. “Een aanzienlijk deel van de indicatoren die ranking-bureaus gebruiken is gebaseerd op onderzoeksindicatoren zoals aantallen publicaties, de journal impact factors van tijdschriften waarin is gepubliceerd, gewonnen prijzen en gehonoreerde subsidieaanvragen.” Daarbij wordt benadrukt dat ook vrijwel alle tijdschriften, die een belangrijke rol spelen in de bepaling van een ranking, in handen zijn van commerciële bedrijven die geld verdienen aan wetenschappelijke publicaties.
Rankings zoals die van Times Higher Education worden gebruikt om talent aan te trekken en studenten vooral veel collegegeld te laten betalen, waarmee het een exclusief model is dat vooral is gericht op de happy few, luidt de conclusie. Het is dus belangrijk om te beseffen dat een hoge positionering op een ranking daarom niet noodzakelijk samenhangt met een goede kwaliteit van onderwijs en onderzoek. “De top tien of top twintig van zo’n ranking zal ook echt wel goed zijn, maar we hebben geen flauw idee wat precies het verschil is tussen een nummer zeventig of een nummer honderdeenentwintig op zo’n lijst.”
Het zou daarom beter zijn om te vragen of het Erkennen en Waarderen-programma de positie (dus niet alleen de ranking) van de Nederlandse wetenschap gaat beïnvloeden, denkt de hoogleraar. Ook daarop is het antwoord ‘ja’. “Met de snelheid en vastberadenheid ervan kunnen we een koppositie pakken in de wereld. Er wordt nu al met veel enthousiasme naar Nederland gekeken. De ontwikkeling van Erkennen en Waarderen is niet uniek en al volop internationaal.”
Gebrek aan validiteit rankings is allang aangetoond
Het antwoord van promovendus Joshua Cohen op de vraag van ScienceGuide is iets minder uitgesproken. Als wetenschappers niet meer alleen worden afgerekend op indicatoren zoals het aantal publicaties in tijdschriften met een hoge JIF, zullen ze wellicht meer tijd investeren in andere universitaire taken zoals het geven van onderwijs en het doen aan wetenschapscommunicatie, denkt Cohen. “Dat betekent dat men op dergelijke gangbare rankings mogelijk minder hoog zal scoren.” Echter, ook Cohen betwijfelt of dat een probleem is.
“Wetenschappers die voor hun vakgebied studie doen naar dergelijke rankings en hun effect op wetenschap en samenleving (denk aan Ellen Hazelkorn en Sarah de Rijcke) stellen al jaren vraagtekens bij de validiteit ervan”, schrijft Cohen. “Onder onderzoekers gaan al langer stemmen op dat dergelijke rankings niet zozeer iets zeggen over wetenschappelijke kwaliteit maar veel meer te maken hebben met het bestendigen van de wetenschappelijke status quo ten koste van wetenschappelijke vernieuwing. Recent onderzoek laat zelfs zien dat ze bovendien een bedreiging kunnen vormen voor de inclusiviteit en integriteit van onderzoek.”
Daarnaast leiden de door ranking-bureaus gehanteerde indicatoren ertoe dat wetenschappers gestimuleerd worden zich vooral bezig te houden publiceren en minder met de maatschappelijke en ecologische wereld buiten de academie, benadrukt Cohen. “Of onderzoekers nou worden afgerekend op hoeveel hun directe peers hun werk citeren of op de maatschappelijke relevantie en mate van betrokkenheid van verschillende stakeholders in onderzoek, heeft direct effect op de vraag of kennisproductie ten dienste staat van de samenleving en ecologie.”
Erkennen en Waarderen is niet alleen een Nederlands feestje
De eerdergenoemde zorg dat Nederland op de troepen vooruitloopt zonder te weten of deze zullen volgen is volgens Cohen onterecht. “Juist op internationaal niveau is er heel veel beweging, ook echt wel verder dan het immer genoemde DORA”, schrijft hij. Daarbij noemt hij een oproep van de veertienduizend leden tellende Marie Carie Alumni Association, een werkgroep van Eurodoc, en het RoRI-collectief dat beoordelingen verantwoordelijker wil maken.
Misschien moeten we maar gewoon af van die lijstjes.
“En het is echt niet beperkt tot de randen van de wetenschap. Kijk maar naar de recent door de Europese Commissie ingezette consultatie en het bijkomende proces rondom changing research assessment. Of hoe de European University Association vorige maand nog in een position paper heeft opgeroepen om research assessment te verbeteren in relatie tot Open Science. Kortom, genoeg internationale beweging. Nu is het zaak dat de discussie ook in Nederland naar een hoger plan wordt getild”, aldus Cohen.
Misschien moeten we maar gewoon af van die lijstjes
Ook Pytrik Schafraad, docent Corporate Communication bij de Universiteit van Amsterdam, zet grote vraagtekens bij de rankings. “Ik weet dat er in de sociale wetenschappen veel behoefte is aan het Erkennen en Waarderen-programma, omdat rankings die zijn gebaseerd op publicaties en impactscores een heel beperkte manier van het meten van kwaliteit zijn.”
Het Erkennen en Waarderen-programma inventariseert juist welke andere aspecten moeten worden meegewogen om wél een goed beeld van kwaliteit te krijgen, legt Schafraad uit. “Als we ons dan uiteindelijk minder richten op de criteria van die rankings en daardoor een beetje (of wat meer) zakken, is dat prima, want we krijgen dan wel betere, inclusievere wetenschap die meer geïntegreerd zal zijn in ons onderwijs en meer valorisatie zal kennen.”
De wetenschap zou echter beter af zijn zonder rankings die georganiseerd zijn zoals de ranking van Times Higher Education. “Die rankings beperken de mogelijkheid om echte kwaliteit te ontwikkelen. Kwaliteit is meer dan alleen wat die rankings verdisconteren”, aldus Schafraad. “Misschien moeten we maar gewoon af van die lijstjes.”
