Evaluatie van onderzoek krijgt nieuwe invalshoek

Analyse | de redactie
17 maart 2020 | Het nieuwe erkennen en waarderen krijgt een vertaalslag in onderzoeksevaluaties. VSNU, KNAW en NWO presenteren hun nieuwe Strategische Evaluatie Protocol (SEP).

Niet meer tellen, maar lezen. Dat lijkt het credo van de nieuwe evaluatiemethodiek voor onderzoek van VSNU, KNAW en NWO. Het was al anderhalf jaar in de maak, maar nu ligt het er, gevat in een nieuw SEP dat ingaat per 2021. En waar dat voorheen nog stond voor Standaard Evaluatie Protocol, is de ‘S’ in de nieuwe variant synoniem aan Strategisch: waarom dit onderzoek, wat doe je en waarom op deze manier?

Narratief en geen lijstjes

Elke zes jaar worden onderzoekseenheden (een afdeling, onderzoeksschool of anderszins) doorgelicht. Dit gebeurt aan de hand van het SEP. Commissies met (internationale) panelleden uit het veld beoordelen dan hoe een onderzoekseenheid ervoor staat en wat er verbeterd moet worden. Een vorm van vreemde ogen die dwingen.

Dat de SEP oude stijl niet door iedereen, zowel commissie als de eenheid, als ideaal werd ervaren is een publiek geheim. Want alhoewel bondigheid altijd al het streven was, waren paginalange opsommingen van prestaties en vuistdikke literatuurlijsten geen uitzondering, met zelfevaluaties van soms honderden pagina’s. Ook verzuchtten velen zich over de schijnobjectiviteit van de exercitie in hokjes afvinken en getallen invullen. Met die praktijk wordt nu resoluut gebroken, zo lijkt het. Niet alleen komt er een harde bovengrens voor de lengte van de zelfevaluatie, dat wordt nu “een samenhangend betoog van maximaal 20 pagina’s.”

Ook de opzet van de zelfevaluatie gaat op de schop, zo moet deze voortaan een narratieve opbouw hebben, waarin wordt ingegaan op “resultaten van de afgelopen zes jaar en op ambities voor de komende jaren toegespitst op de drie criteria: kwaliteit van het onderzoek; maatschappelijke relevantie van het onderzoek en de toekomstbestendigheid van de eenheid.” Deze mogen ondersteund worden met kwantitatieve gegevens, maar “alleen waar dat gepast is.”

Niet vergelijken met Harvard

Dit alles moet ervoor zorgen dat evaluatie en beoordeling voortaan niet hoofdzakelijk meer draaien om ‘metrics’. “Dit protocol volgt expliciet de richtlijnen van de San Francisco Declaration On Research Assessment ( DORA De San Francisco Declaration on Research Assesment (DORA) beoogt een halt toe te roepen aan het gebruik van de impactfactor van wetenschappelijke artikelen voor het gebruik van het beoordelen van waarde van het individuele werk van onderzoekers. De VSNU tekende DORA in 2014. De KNAW, NWO en ZonMw deden dat in 2019. ),” zo valt te lezen. Hetgeen niet in de laatste plaats terugkomt in de verhelderende appendices waar in plaats van de (schijn)objectiviteit van indexen of scores gevraagd wordt om een (inter)subjectief oordeel over de prestaties van de afdeling. Hierbij wordt expliciet de ruimte gelaten voor de indicatoren die voor het vakgebied zelf relevant zijn.

Mogelijk nog belangrijker dan de reflectie op de prestaties is dat onderzoekseenheden in hun evaluatie ook vooruitkijken op de aankomende zes jaar. Dit moet gebeuren aan de hand van een SWOT-analyse SWOT staat voor Strengths, Weaknesses, Opportunities en Threats. en met als uitgangspunten: “de positie in het veld, het anticiperen op relevante wetenschappelijke, maatschappelijke en institutionele ontwikkelingen.” Het lijkt dus vooral de vraag te stellen of er ook iets mist in de huidige strategie.

Met klem wordt benadrukt dat midterm reviews “niet verplicht zijn en alleen in uitzonderlijke omstandigheden gehouden dienen te worden.” De boodschap is juist dat onderzoekseenheden op reguliere basis – jaarlijks – met hun bestuur reflecteren op de bevindingen van de review. Een aanbeveling dus om niet eens in de drie/zes jaar koortsachtig zelfevaluaties te schrijven, maar voor een cultuur van regelmatige reflectie.

Opvallend is ook de aandacht die uitgaat naar de beoordelingscommissie. Niet alleen is het SEP heel duidelijk over de samenstelling die vanzelfsprekend “onpartijdig is en vertrouwelijk te werk gaat”, ook moet er minstens een promovendus en een jonge wetenschapper in elke commissie plaatsnemen. Ook zullen er speciale trainingen komen voor de leden van beoordelingscommissies om met het nieuwe protocol om te gaan.

Erkennen en waarderen

Onder de aspecten die aan bod moeten komen in de zelfevaluatie en beoordeling worden in het nieuwe SEP er vier bij naam genoemd. Het gaat om open science, promovendibeleid, academische cultuur (waaronder integriteit en sociale veiligheid) en talentbeleid & diversiteit. Het zijn thema’s die (deels) al wel voorkwamen in het vorige SEP, maar niet eerder kregen deze een dergelijk prominente positie.

Alhoewel deze thema’s niet een op een overeenkomen met die van de position paper over erkennen en waarderen ademt het nieuwe SEP een vergelijkbare sfeer. Ook volgt uit de tekst dat het in dit hele proces zaak is om veel meer medewerkers van een onderzoekseenheid te betrekken dan voorheen het geval was. Immers, het evalueren en aanscherpen van promovendibeleid gaat alleen in overleg met de promovendi in kwestie.

Erkennen en waarderen in de wetenschap gaan drastisch veranderen

Al met al laten de partijen in dit nieuwe Strategisch Evaluatie Protocol aanzienlijk meer ruimte voor de invulling van wat een onderzoekseenheid ziet als juiste strategie. “Het wordt sterk aanbevolen gebruik te maken van deze flexibiliteit, om zo de opbrengsten van de evaluatie te verhogen, en de hoeveelheid werk te verminderen.” Zo maakt algemeen excellentiebeleid plaats voor een eigen succesverhaal.


«
Schrijf je in voor onze nieuwsbrief
ScienceGuide is bij wet verplicht je toestemming te vragen voor het gebruik van cookies.
Lees hier over ons cookiebeleid en klik op OK om akkoord te gaan
OK