Rankings creëren een verdraaid beeld van kwaliteit

Bij het bureau Policy en Rankings hield Groen zich als student-assistent twee jaar lang bezig met het verzamelen en aanleveren van data voor rankings. Wat er precies aangeleverd werd, kon per ranking verschillen. “Sommige rankings vragen naar studentenaantallen of allerlei karakteristieken van de studentpopulatie, maar soms moesten we ook specifieke diploma’s categoriseren. Sommige studies zijn namelijk heel interdisciplinair, terwijl de rankings juist uitgaan van categorieën zoals ‘geesteswetenschappen’ of ‘sociale wetenschappen’. Als je die data over bijvoorbeeld diploma’s moet aanleveren, is dat dus best moeilijk.” 

In haar scriptie heeft Groen vooral gekeken naar commerciële rankings zoals die van Times Higher Education en de QS Ranking. “Daar verdwijnt de data die universiteiten aanleveren in een black box. Daar wordt een bepaalde waarde aan de data gehangen, en vervolgens wordt alles in de vorm van een ranking gepubliceerd. Wat er precies met die data gebeurd is en welke andere waarde data heeft gekregen, dat weten universiteiten echter niet helemaal.” 

Omdat ze niet precies weten hoe hun data wordt gewogen, weten universiteiten van tevoren vaak niet goed wat de uitkomst van een ranking gaat zijn. Toch staan ze daarin niet geheel met hun voeten en handen gebonden; universiteiten hebben namelijk invloed op de categorisering en bestempeling van de data die ze aanleveren, vertelt Groen. Daarnaast kunnen ze bij Times Higher Education software kopen waarmee ze de uitkomst van rankings kunnen simuleren. “Zo kun je van tevoren al zien wat het verschil is wanneer je een grote, interdisciplinaire studie als ‘geesteswetenschappen’ of ‘sociale wetenschappen’ bestempeld.” 

Rankings meten kwaliteit niet

De aandacht die universiteiten voor hun plaats in de rankings hebben, zorgt bij universiteiten voor een verandering in het begrip van ‘kwaliteit’, schetst Groen. “Wanneer negentig procent van de studenten van een opleiding aangeeft die opleiding aan te bevelen, wendt de universiteit dat gegeven vaak aan als marketingslogan. ‘Negentig procent van de studenten beveelt deze master aan’ moet dan de kwaliteit van de opleiding aantonen; maar zo werken rankings niet.” 

Een hoge ranking zegt namelijk niets over de kwaliteit van de opleiding, legt Groen uit. “Het zegt iets over de vergelijking van de opleiding met andere opleidingen. Wát kwaliteit is, komt in zo’n ranking niet aan bod. Daarom vind ik het raar dat een ranking, wat een slecht instrument is om kwaliteit te meten, door universiteiten toch wordt gebruikt om de kwaliteit van een opleiding te beargumenteren.” 

Een ranking creërt een bepaald beeld van een universiteit

Dat er bij het bepalen van de studiekeuze van voornamelijk internationale studenten behoefte is aan rankings, begrijpt Groen. Ze benadrukt dan ook dat rankings waardevol kunnen zijn, maar dat ze niet moeten worden gebruikt als meetinstrument van kwaliteit. “Als een universiteit daalt in de ranking, betekent dat niet meteen dat die universiteit het slechter is gaan doen. Het kan ook zo zijn dat andere universiteiten zich hebben verbeterd op bepaalde factoren, of dat de data van de gedaalde universiteit niet op een slimme manier is gecategoriseerd.” 

Meld u hier aan de ScienceGuide Nieuwsbrief

Daarbij is het belangrijk om te beseffen dat een universiteit die stijgt in de rankings het vooral beter doet op de indicatoren die voor de specifieke ranking belangrijk zijn. “Dat ze ‘beter’ zijn geworden, betekent dat ze beter zijn gaan voldoen aan bepaalde indicatoren”, vertelt Groen. Toch kan de stijging in de ranking door de buitenwereld worden begrepen als een toename van de kwaliteit van het onderzoek en onderwijs bij een universiteit, en dat is problematisch, vindt Groen. Het kan er namelijk niet alleen toe leiden dat een hoge ranking ten onrechte als kwaliteit wordt gezien, het kan ook een herdefiniëring van kwaliteit veroorzaken. 

“Een ranking creëert een bepaald beeld van een universiteit, en de universiteit die daaraan het best voldoet, eindigt het hoogst in die ranking“, legt Groen uit. “De universiteit die op de hoogste plaats in de ranking staat, wordt vervolgens al snel als de beste universiteit gezien – wat zij doen, dát is kwalitatief goed onderzoek en onderwijs. Een universiteit die hoger in die ranking wil komen, zal zich daarom moeten spiegelen aan de hoogstgeplaatste universiteit en op basis daarvan moeten veranderen. Het is echter helemaal niet zeker of de kwaliteit van onderwijs en onderzoek daarmee ook toeneemt. Als je met die rankings hebt gewerkt, werpt dat een ander licht op opleidingen en universiteiten die hoog in de rankings staan.” 

Zelf kiezen hoe data wordt aangeleverd

Eén van de hoofdvragen van haar scriptie betrof de beleidsinterventies waarmee universiteitsbesturen reageren op rankings, vertelt Groen. Vooral wanneer een universiteit gedaald is, wordt er om uitleg gevraagd, maar het doel is altijd hetzelfde. “Het doel is altijd stijgen. Wanneer een universiteit gedaald is, schrijft men vanuit een beleidsbureau een advies aan het College van Bestuur waarin wordt uitgelegd wat de reden van een daling kan zijn en hoe dat kan worden ondervangen door de data op een andere manier te categoriseren.” 

Zo kan universiteitsbesturen de mogelijkheid worden voorgehouden om de benamingen van functies zodanig te veranderen dat ze gunstiger zijn voor de rankings. Ook maakt het verschil of doctoraatstudenten worden gecategoriseerd als studenten of als medewerkers; een hogere student-staff ratio is namelijk minder gunstig in rankings, vertelt Groen. “Dat zijn vrijheden die universiteiten hebben wat betreft het aanleveren van de data, en als je eenmaal weet wat goed werkt, kun je daarvan gebruikmaken. Toen in 2005 of 2006 vanuit de VSNU aan Times Higher Education werd gevraagd hoe men moest omgaan met die rankings, was het antwoord zelfs: ‘Kies maar wat voor jullie het beste is.’” 

Universiteiten kunnen niet anders

Hoewel de manier waarop de rankings worden opgesteld een perverterend effect kan hebben op de manier waarop men over onderzoeks- en onderwijskwaliteit denkt, ziet Groen voor universiteiten weinig andere mogelijkheden dan eraan mee te doen. “Internationale studenten zijn heel belangrijk voor universiteiten, en als je die wilt aantrekken, zul je op bepaalde onderscheidende gebieden hoog in de rankings moeten staan. Je móet de competitie aangaan om studenten aan te trekken, personeel en onderzoeksgeld binnen te halen – en wie dat het beste lukt, heeft ook in de toekomst meer kans van slagen.” 

Universiteiten die niet voldoen aan het ideaalbeeld waardoor een ranking onderlegd is, staan dus vanzelf op achterstand, terwijl universiteiten die het vanaf het begin goed doen in rankings, dat voordeel makkelijker kunnen uitbouwen. Zodoende is er sprake van het Matheus-effect, ziet Groen, die het samenvat onder de term ‘academisch kapitalisme’. “De rankings weerspiegelen de economische ongelijkheid in de academische wereld. Wie meer geld heeft, kan meer middelen inzetten om zich te spiegelen aan wat de rankingsorganisaties ‘excellent’ noemen – bijvoorbeeld meer onderzoek doen en meer publiceren.” 

Het feit dat ook de academie door geld wordt geregeerd, zou volgens Groen beter moeten worden duidelijk gemaakt aan studenten. Hen wordt de academie in de regel namelijk gepresenteerd als een plaats waar men met diepgang en zorg streeft naar waarheidsvinding – “maar wie dat echt zou doen, zou binnen de academische wereld nooit competitief genoeg zijn. Het zou eerlijker zijn wanneer studenten wordt verteld dat ook de academische wereld een wereld is waarin geld een grote en beslissende rol speelt, dat de beschikbaarheid van geld bepaalt welke onderzoeken worden gedaan, hoe snel dat wordt gedaan, door wie het wordt gedaan, en wiens naam als eerste vermeld wordt in de literatuurlijst. Wie een wetenschappelijke carrière ambieert, weet dan ook meteen waar ze aan toe is.” 

Rankings op gespannen voet met Erkennen en Waarderen

Dat veel van de praktijken rondom rankings op gespannen voet staan met het Erkennen en Waarderen-programma, beseft Groen terdege. “De zaken waardoor je het snelst stijgt in de rankings, zijn de zaken die het meest worden veroordeeld in het Erkennen en Waarderen-programma. Indicatoren zoals het inkomen van universiteiten, citaties en reputaties – die in rankings erg belangrijk zijn – dat zijn juist zaken waaraan men minder belang zou moeten hechten wanneer het om de onderzoekspraktijk gaat.”