Zullen we dan maar niet meer evalueren?
Het is een interessante gedachte evaluaties van wetenschappers los te laten, maar is het ook een goede?
De afgelopen jaren heb ik met mijn onderzoekgroep bestudeerd welke rol evaluaties spelen in het dagelijkse werk van onderzoekers en andere betrokkenen. Zeker sinds de publicatie van het Leiden Manifesto Het Leiden Manifesto for Research Metrics beschrijft 10 principes voor het verantwoord gebruik van indicatoren in evaluaties. Het manifest verscheen in Nature op 23 april 2015. Auteurs: Diana Hicks, Paul Wouters, Ludo Waltman, Sarah de Rijcke en Ismael Rafols. ben ik regelmatig onderweg om te spreken of adviseren over verantwoorde onderzoeksbeoordeling. Het onderwerp roept op z’n zachtst gezegd veel reacties op. Kunnen we niet gewoon ophouden met al dat meten en evalueren? We hebben de jaren ‘60 toch ver achter ons gelaten, waarin iedereen ‘maar wat deed’? Het systeem is toch totaal doorgeschoten?
Evaluaties worden vaak gezien als een noodzakelijk kwaad waar we liefst niet al te veel tijd en geld aan kwijt zijn. Ik kom regelmatig tegen dat evaluaties vooral worden belegd bij goedbedoelende beleidsmedewerkers, en er zijn afdelingen waar structureel geen jaargesprekken worden gevoerd. Onderzoekers moeten worden ontlast, is het idee.
Dat is een misvatting. Evaluaties kunnen juist nuttig en leerzaam zijn, maar dat vergt wel aandacht van alle betrokkenen. We moeten niet vooral ongevoelige indicatoren het zware werk laten doen. Dat heeft allerlei ongewenste effecten.
Een voortrekkersrol voor Nederland
Op 18 april j.l. ondertekenden ZonMw, NWO en de KNAW de San Francisco Declaration on Research Assessment, DORA DORA is een wereldwijd initiatief om bij de beoordeling van onderzoek en onderzoekers minder af te gaan op indicatoren als publicaties en citaties en meer op andere criteria. . De ondertekening past in een bredere Europese trend van de afgelopen vijf tot tien jaar, waarin de Europese Unie zich wereldwijd manifesteert als trekker op een aantal cruciale thema’s – denk aan open science en open data, maar ook aan het met wetenschap helpen oplossen van maatschappelijke problemen (denk aan healthy ageing of klimaatafbraak).
“”Als we echt effect willen zien, dan is het ondertekenen van DORA niet genoeg.””
Europa wil nu ook overschakelen op verantwoorder evaluatiesystemen. Effectief breekt met het mainstream worden van de kritiek op indicator-gedreven evaluaties een nieuwe fase aan. En daar kan Nederland een voortrekkersrol in spelen. Maar dan moet er nog wel een en ander gebeuren.
Als we echt effect willen zien, dan is het ondertekenen van DORA niet genoeg. Personeelsbeleid en indicatorgebruik zijn daarvoor te intiem met elkaar verweven geraakt in sterk gebureaucratiseerde en verder (nog) niet ter discussie staande evaluatieprocedures.
Bovendien spelen wetenschappers zelf een belangrijke rol spelen het in stand houden van bepaalde gewoonten. Tekenend zijn de gesprekken bij de koffieautomaat waarin makkelijker wordt gepraat over de hoogte van de Impact Factor van een tijdschrift dan over de inhoud van het artikel. We zijn experts geworden op het gebied van het ‘denken met indicatoren’.
“”Indicatoren zijn zo diepgeworteld geraakt, juist omdat ze vruchtbare grond raakten in de wetenschap.””
Dit heeft allerlei oorzaken, maar we kunnen zeker niet alleen ‘omhoog’ wijzen naar de systemen en de bestuurders. Indicator-denken is wereldwijd in veel labs en studeerkamers onlosmakelijk verbonden geraakt met het nadenken over de volgende onderzoeksvraag, over de beste samenwerkingspartner, en inderdaad ook over het beste tijdschrift om in te publiceren.
Ten slotte zijn indicatoren deels zo diep geworteld geraakt juist omdat ze in vruchtbare grond aantroffen in wetenschap. De bekende rankings en indicatoren sloten namelijk goed aan bij al veel langer bestaande manieren van werken, geld verdelen, communiceren, publiceren en het verkrijgen van reputatie. Dat maakt het overschakelen op verantwoorder onderzoeksevaluatie een ingewikkelde klus. We hebben het dan namelijk over een vrij fundamentele hervorming van de manier waarop wetenschappelijke kennis tot stand komt.
Controle op macht, geld en reputatie
Het is een interessante gedachte om dan maar niet te evalueren. Maar is het ook een goede gedachte? Waarschijnlijk niet, al was het alleen al vanwege de grote belangen die met wetenschap zijn gemoeid (politiek, financieel, economisch). Juist in tijden waarin de discussie over ‘gekleurde’ wetenschap zo opspeelt, hebben we transparante structuren nodig om beslissingen te nemen over inhoud, geld, macht, reputatie. Maar deze structuren moeten het geld en de macht wel eerlijker verdelen, bijvoorbeeld om ongewenste Mattheüs-effecten te voorkomen, en ook de gewoon goede onderzoekers serieus te nemen als ruggengraat van het wetenschapsbedrijf. En daar lenen evaluaties zich juist goed voor. Maar hoe?
Ik heb een paar suggesties, die voortbouwen op waar we nu staan. Bij waar we nu staan denk ik bijvoorbeeld aan beleid om naast wetenschappelijke profielen ook andere loopbaantrajecten (voor onderwijs, impact, etc.) te introduceren aan universiteiten. Of aan het opnemen van open science in het Standaard Evaluatie Protocol (SEP). Deze maatregelen zijn heel waardevol en er is bestuurlijk draagvlak voor. Met verschillende loopbaanpaden komt er meer waardering voor verschillende typen werk. En met een SEP waarin ook open science wordt beoordeeld, kan er ook echt op worden gestuurd.
Toch denk ik dat we zelfs nog iets ambitieuzer moeten willen zijn. Een groep (excellente?) docenten plaatsen naast een groep (excellente?) onderzoekers is niet voldoende om de fundamentele cultuurverandering teweeg te brengen die ik hierboven beschreef. We kunnen meer bereiken met portfolio’s dan met alleen verschillende loopbaanpaden. Een portfolio-benadering daagt de betrokkenen uit een missie op te stellen voor onderzoek, onderwijs en/of relevantie, zoals nu gebeurt aan de Universiteit van Gent.
Wat ga je doen, hoe past dat werk in de groep of het instituut, wie zijn (potentiële) publieken en de begunstigden van het werk? Een goede portfolio-benadering is verder vooral op inhoud en feiten gebaseerd, en houdt rekening met het doel van de evaluatie (selectie, voortgang, bevordering). Het neemt ook de condities mee waaronder het werk tot stand komt (aanwezigheid infrastructuur, subsidies, mogelijkheden voor open access publiceren), en stelt de beoordelingscriteria vast in samenhang met het type werk.
Het traject is niet zuiver gericht op omhoog gaan, maar vooral ook gericht op inhoudelijke diepte. Hiermee bedienen we niet alleen ‘supersterren’ die het sowieso wel redden, maar geven we ook ruimte aan de inhoudelijke ontplooiing van andere medewerkers – in trajecten die niet van tevoren vast liggen. En omdat er ook harde afspraken worden gemaakt, is deze benadering prima geschikt voor beslissingen over aanstellingen, geld en loopbanen.
Collectief besluiten over de toekomst
Bij het CWTS ontwikkelen we sinds kort een methode met een vergelijkbare insteek voor SEP-geleide evaluaties. Het is een mixed-method benadering die goed aansluit bij de ontwikkeling die het SEP zelf doormaakt – van een instrument voor verantwoording richting een strategisch instrument. We maken gebruik van het feit dat evaluaties goed beschouwd zelf ook een vorm van onderzoek zijn.
“”We moeten evaluaties meer gaan zien als een oefening om collectief een pad voor de toekomst uit te zetten.””
Dat klinkt misschien wat gek. Toch hebben alle evaluaties een vraagstelling en een afgesproken methodiek. Er worden meestal experts ingeschakeld om gegevens te verzamelen. En dit alles leidt tot bepaalde resultaten waarover wordt gerapporteerd, met een bepaald publiek in gedachten. Met onze methode richten we ons niet meer alleen op outputmeting, maar veel meer op het (kwalitatief, kwantitatief) in kaart brengen van onderzoeksprocessen.
De kwaliteit van de communicatievormen en interacties staat centraal, niet de kwantiteit. Hoe komt onderzoek tot stand, werken onderzoekers volgens FAIR principes? Hoe vindt kennisuitwisseling plaats tussen onderzoekers onderling en met de buitenwacht? Waar landt deze kennis (in artikelen, beleid, industrie)? En passen deze bijdragen bij de missie(s) waaraan de groep of het instituut wil (blijven) werken?
We moeten evaluaties meer gaan zien als een ‘exercise in collective future making‘, en niet blijven hangen in pogingen zo hoog mogelijk te scoren op een reeks indicatoren die min of meer relevant zijn voor het werk. Evaluaties weerspiegelen wat voor ideeën er heersen over onderzoekskwaliteit, toepasbaarheid, en goed bestuur. De huidige systemen en indicatoren zijn een beetje als het licht uit een straatlantaarn: ze belichten slechts een beperkt deel van hun omgeving. En dat is jammer.
We moeten indicatoren los durven laten die vernieuwing en differentiatie tegenhouden. We kunnen evaluaties meer benutten voor inhoudelijk geïnformeerde strategievorming. En we kunnen evaluaties meer als educatief middel inzetten. We dragen er namelijk impliciet en expliciet kennis mee over op nieuwe generaties – kennis over wat we eigenlijk verstaan onder goed en verantwoord onderzoek. Nederland kan in Europa een voortrekkersrol pakken op het gebied van erkennen en waarderen van onderzoek. En daar teken ik voor.
Vanmiddag om 16:00 uur spreekt Sarah de Rijcke haar oratie ‘Wetenschap, op waarde geschat’ uit aan de Universiteit Leiden.
