Universitaire rankings werken slecht beleid in de hand

Gisteren verscheen de jaarlijkse Times Higher Education Ranking. Nederland doet het voor het vierde jaar op rij iets slechter, maar groot is het verschil niet. Maar, hoe klein de verschillen ook zijn blijven rankings als deze buitengewoon belangrijk voor universiteiten en in steeds hogere mate ook voor hogescholen. Vaak worden rankings ingezet om studenten en onderzoekers aan te trekken.

Het te letterlijk nemen van deze rankings is gevaarlijk stelt beleidsmedewerker en onderzoeker Cathelijn Waaijer. Omdat volstrekt niet transparant is hoe data voor de rankings verzameld worden. Bovendien ‘spelen’ universiteiten ook met de data om zo gunstig mogelijk voor de dag te De term die Waaijer bezigt is ‘gamificatie’ wat inhoudt dat speltechnieken en –tactieken worden toegepast op het optimaliseren van resultaten bij processen die expliciet geen spel zijn. In deze context impliceert deze aanpak onder andere het zo gunstig mogelijk aanleveren van informatie om zo de positie in de ranking te beïnvloeden. . Waaijer bepleit daarom volledige transparantie, van zowel universiteiten als ook de rankings, want zoals het nu gaat worden er slecht gemotiveerde beleidsbeslissingen genomen, louter op basis van niet heldere en ondoorzichtige rankings.

Rankings hebben effect op beleid van universiteiten

Eerder deze maand was er een meerdaags congres op de het CWTS aan de Universiteit Leiden. Voor dit congres presenteerde Cathelijn Waaijer van de Universiteit Leiden een onderzoekspaper over het effect van die rankings op het beleid van universiteiten.

Daarin stelt zij dat de toename van het aantal rankings invloed heeft gehad op het beleid dat universiteiten de afgelopen vijftien jaar hebben gevoerd. Verschillende functies binnen de universiteit hebben tegenwoordig te maken met deze rankings, en er zijn ook nieuwe functies bijgekomen.

Niet alleen instellingsbesturen maar ook beleidsmedewerkers en afdelingen marketing en communicatie houden zich specifiek bezig met deze rankings. Er zijn de afgelopen jaren speciale medewerkers aangesteld om de data aan te leveren voor de verschillende rankings. Deze medewerkers analyseren vervolgens ook de uitkomsten. Cathelijn Waaijer is zelf onderzoeker aan het Centre for Science and Technology Studies (CWTS) van de Universiteit Leiden en beleidsmedewerker aan het bestuursbureau van de Leidse universiteit.

Data is ontoegankelijk

Volgens Waaijer is het een zorgelijke ontwikkeling dat instellingen op basis van rankings beleidswijzigingen doorvoeren. Aangezien de data die worden gebruikt om deze rankings op te stellen vaak ontoegankelijk zijn, is de betrouwbaarheid van de ranking niet goed te verifiëren. Het is dan eigenlijk ook onverstandig om ze te gebruiken voor beleidsvorming op universiteiten, stelt Waaijer. Hoewel universiteiten rankings vaak publiek negeren als de resultaten tegenvallen, hebben ze wel een belangrijke functie binnen het beleid van universiteiten.

Waaijer geeft aan dat de rankings voor universiteiten steeds belangrijker worden voor de marketing van een universiteit. Een hoge positie in de ranking helpt om studenten aan te trekken en het merk als universiteit te promoten. Ook kan het gebruikt worden als argument om meer overheidsfinanciering binnen te halen, een strategie die ook binnen de Nederlandse kennissector wordt toegepast. Een goed voorbeeld is reactie van de VSNU op de bekendmaking van de Time Higher Education ranking deze week: “we staan nu nog hoog, maar voor hoe lang nog?”

Doelstelling is kwantificeren

De doelstellingen van de rankings verschillen, maar wat ze gemeen hebben is dat ze benchmarken. Ze proberen de prestaties van universiteiten te kwantificeren en operationaliseren in indicatoren. Er is veel kritiek op de rankings. Zo zouden indicatoren te beperkt zijn en weinig zeggen over de werkelijke staat van universiteiten.

Anderzijds is het voor een universiteit waardevol om te weten hoe goed er in verschillende opzichten gepresteerd wordt ten opzichte van andere universiteiten. Wat is de kwaliteit van het onderwijs van de universiteit, en biedt de universiteit studenten de juiste kennis en vaardigheden die ze nodig hebben op de arbeidsmarkt, en hoeveel inkomsten genereert de universiteit?

 We mogen Elsevier open science niet laten toe eigenen

Op het gebied van onderwijs is er volgens de Leidse onderzoeker een schat aan informatie beschikbaar over welke factoren de prestaties van studenten beïnvloeden. Zo kan het bijvoorbeeld zijn dat een universiteit die veel studenten trekt met een sociaaleconomische zwakke achtergrond, dat die universiteit betere onderwijsprestaties zou kunnen hebben als zij ook meer studenten zouden aantrekken met hogere sociaaleconomische status.

Een dergelijke interventie om rijkere studenten aan te trekken zou echter niet kunnen passen in de opgave van de instelling, stelt Waaijer. Omdat het juist een doelstelling is om zwakkere economische groepen aan te trekken. Hetzelfde gaat op voor onderzoeksprestaties. Door te benchmarken met een brede reeks aan factoren die helpen uit te leggen wat nu precies de onderzoeksprestaties zijn, zouden instellingen ook betere prestaties kunnen leveren zo is de aanname.

Alleen de notering is transparant

Universitaire ranglijsten zijn nu de belangrijkste uitingen van de prestaties van universiteiten op het gebied van onderzoek. Veel van deze rankings worden gepresenteerd alsof zij de realiteit weerspiegelen. Rankings zijn daarmee interessant voor universitaire bestuurders, omdat ze aangeven hoe goed hun universiteiten presteren in vergelijking met andere universiteiten – en kunnen worden gebruikt voor benchmarking doeleinden. In vergelijking met een wereld waarin dergelijke informatie niet beschikbaar is is dit wel een verbetering.

Dit zou natuurlijk ook het geval zijn wanneer de gepubliceerde gegevens ook echt transparant zouden zijn, maar dat is niet het geval. Het enige wat nu transparant is voor de buitenwereld is de uiteindelijke notering op de ranking.

Het probleem dat hier optreedt is dat de belangrijkste uitkomst van veel universitaire rankings een samengestelde score is. De score van de ranking is niet transparant en externe partijen hebben geen toegang tot de ruwe data. Dan gaat het om de citatiescores, de data van de survey die afgenomen wordt onder onderzoekers voor de reputatiesco. Daarnaast is niet bekend hoeveel en wat voor waarde precies wordt toegekend aan de verschillende indicatoren. Dit maakt het ook moeilijk om iets zinvols te kunnen zeggen over de verschillen tussen universiteiten.

Door rankings worden onderzoeksafdelingen afgestoten

De praktijk wijst uit dat rankings wel degelijk grote invloed hebben op het beleid van universiteiten. Het heeft invloed op beslissingen over welke afdelingen worden afgestoten en welke juist vergroot. In sommige gevallen functioneren de rankings als aanjager van dit soort beslissingen, maar in veel gevallen zijn de rankings ook leidend om beslissingen te nemen in het onderzoeks- en opleidingsaanbod van universiteiten. Het beroemdste voorbeeld is de King Abdulaziz University in Saoedi-Arabië. Die klom honderden plaatsen op de ARWU-ranking, omdat zij torenhoge arbeidscontracten aanboden aan toonaangevende wetenschappers.

Universiteiten kunnen bovendien zelf hun gegevens die zij aanleveren op een dusdanige manier aanpassen dat ze zorgen voor een optimale plaatsing in de rankings. Rankings die afhankelijk zijn van zelfbeoordelingen en interne rapporten zijn uitermate geschikt voor manipulatie – gamification.

In mindere mate speelt dit probleem ook bij rankings die werken met zogenaamde reputatie-enquêtes onder wetenschappers. Hierbij worden wetenschappers gevraagd om hun mening over een instelling, een voorbeeld hiervan is de QS-ranking. Universiteiten kunnen marketing inzetten om zichzelf in de kijker te spelen bij externe onderzoekers, of zoals bij de QS-ranking, contactgegevens gebruiken van eventuele respondenten.

Willen universiteiten echt open data gebruiken?

In het slot van haar paper komt Waaijers dan ook tot een redelijke droge en simpele keuze: Als universiteiten echt data van rankings willen gebruiken voor hun bestuur en beleid dan zouden er strengere eisen nodig zijn voor de data. Het liefst moeten die eisen ook opgesteld worden door de universiteiten zelf. Ook zou het goed zijn dan die data alleen beschikbaar zou zijn voor de gebruikers van deze data. Maar in dat geval zouden de rankings in zichzelf snel aan waarde verliezen, omdat ze niet meer ingezet kunnen worden als marketingstrategie.

De andere vraag is of universiteiten ook daadwerkelijk middelen willen besteden aan een dergelijke ranking op basis van open data. Want als er geen open data beschikbaar is voor deze rankings dan verliezen ze ook aan waarde voor de universiteit.