UvA in top 50, maar…..

Nieuws | de redactie

15 november 2007 |

De UvA maakte met gepaste trots melding dat zij nu tot de 50 beste universiteiten ter wereld behoort. Voor het eerst zelfs een Nederlandse universiteit in dit select gezelschap. Rector magnificus Dymph van den Boom noemde de sprong van de UvA op de THES-QS lijst een geweldig compliment. ”De internationalisering van de UvA krijgt nu duidelijk vorm.” Maar de kwaliteit van deze ranking is zo discutabel dat deze elders in de wereld al slachtoffers maakte onder HO- bestuurders.
Voor ScienceGuide heeft expert op dit gebied, Eric Beerkens van de universiteit van Sydney, de achtergronden van de methodieken en feilen van deze rankingsaanpak geanalyseerd. “Ten eerste moet hier worden opgemerkt dat deze in 2006 gebaseerd waren op een respons van 0.8% (!) en dat hierin een geografische bias zat (een onevenredig grote respons van Commonwealth en Aziatische universiteiten).” En: “Eigenlijk is er in de THES ranking maar één criterium dat volkomen objectief is en direct gerelateerd is aan kwaliteit: de citaties per academische staf.”

U leest Beerkens analyse hier.

---

In november 2004 was de toenmalige Vice Chancellor van de Universiti Malaya in Kuala Lumpur druk in de weer met het bestellen van banners, spandoeken en vlaggen. Alles werd in het werk gesteld om Maleisië en de wereld the laten weten dat de universiteit behoorde tot de top 100 van de wereld. Op weg naar ‘world class’. Een jaar later, in november 2005, was men druk bezig om alle spandoeken en banners te verwijderen. De universiteit duikelde in de Times Higher Education Supplement (THES) ranking van de 89e naar de 169e plek. In mei 2006 werd een nieuwe Vice Chancellor aangesteld…

Mondiale rankings hebben impact, zo ook de THES ranking. De THES ranking was opgesteld door Quacquarelli Symonds (QS), een consultancy firm gevestigd in London. Maar in hun ranking van 2004 was een foutje geslopen. In het multiculturele Maleisië had men de Maleise Chinezen en Maleise Indiërs als buitenlandse studenten meegeteld, één van de criteria waarop de score gebaseerd was. In de volgende jaargangen kwamen nog andere fouten aan het licht die van grote invloed waren op de rangorden. In 2005 en 2006 waren de student/docent ratios geindexeerd op die van Duke University (die het beste scoorde op dit criterium), maar later bleek die score te zijn gebaseerd op incorrecte informatie (geen fout van Duke, maar van QS). Sindsdien zijn er steeds meer onzorgvuldigheden aan het licht gekomen.

Het bleef overigens niet bij de THES rankings. Ook bij de MBA rankings van QS werden serieuze fouten gemaakt. Zo was de prestigieuze Kenan-Flagler Business School van de University of North Carolina in Chapel Hill abusievelijk verwisseld met de Business School van de North Carolina State University, met als gevolg dat Kenan-Flagler niet voorkwam in de ranking. Zoiets kan met name in de competitieve wereld van business schools uiterst nadelig zijn. Voor het blad Fortune die de ranking publiceerde was het in elk geval voldoende reden om de ranking van zijn website te halen. QS verklaarde dat het een fout was van een onervaren junior onderzoeker van het bedrijf.

De grootste kritiek op de THES ranking echter is gerelateerd aan hun gebruik van peer surveys die 40% van het uitendelijke resultaat bepalen. Ten eerste moet hier worden opgemerkt dat deze in 2006 gebaseerd waren op een respons van 0.8% (!) en dat hierin een geographische bias zat (een onevenredig grote respons van Commonwealth en Aziatische universiteiten). Inmiddels is de methodologie enigszins aangepast, zo kunnen bijvoorbeeld de respondenten niet langer hun eigen universiteit opnemen in het lijstje van beste universiteiten. Dit werd door QS aangemerkt als één van de redenen waarom de Maleise universiteiten dit jaar volledig zijn verdwenen uit de top 200. Deze verklaring kan ook voor India gelden, eveneens verdwenen uit de top 200. Ten tweede kan er kritiek geuit worden op het gebruik van rankings en surveys in het algemeen vanwege hun ‘self-fulfilling prophecy’ tendensen: door middel van surveys meten rankings niet allen de huidige situatie, ze definiëren deze ook door gedragsverandering te veroorzaken.

Een ander punt van kritiek richt zich op het criterium van internationale studenten. Hierbij zijn opnieuw de Angelsaksische universiteiten in het voordeel, en met name die uit het Verenigd Koninkrijk en Australië en stadsstaten als Singapore en Hong Kong. Ik ben ervan overuigd dat een diverse en internationale samenstelling van de studentenpopulatie een positieve impact heeft op de kwaliteit van het onderwijs. Wat in de ranking echter niet meegenomen wordt is dat er een bepaalde ‘absorptiecapaciteit’ is voor universiteiten en dat de ene internationale student de andere niet is.

In Australië is de werving van buitenlandse studenten zover doorgeschoten dat het disputabel is of het nog bijdraagt aan de kwaliteit, althans in sommige universiteiten. Zo hebben de twee laagst geplaatste Australische universiteiten (University of Wollongong op 199 en RMIT op 200) op het criterium van buitenlandse studenten een score van 99, waar 100 het maximum is. Met internationale studentenaantallen van respectievelijk 40% en 42% mag je de vraag stellen of hier nog steeds sprake is van een positief effect op het onderwijs, met name in een land waar de internationale studentenmarkt een zaak van financiële noodzaak is geworden. Ik heb de neiging om de score van 100 op dit criterium bij de selectieve London School of Economics geheel anders te interpreteren dan de 99 van Wollongong of RMIT.

Eigenlijk is er in de THES ranking maar één criterium dat volkomen objectief is en direct gerelateerd is aan kwaliteit: de citaties per academische staf. Dit criterium maakt 20% uit van de algehele score en is uiteraard alleen een maat van onderzoekskwaliteit. Een nadere analyse van dit criterium levert echter een zeer interessant beeld op. Word de top van de algehele ranking gedomineerd door universiteiten uit de VK en de VS, de citatieranking wordt gedomineerd door de VS en enkele continentaal Europese universiteiten, met Leiden op een gedeelde 11e plek. Meest verbazingwekkend is dat de eerste Engelse universiteit – Cambridge – pas te vinden is op 66e plek! Slechts vijf Engelse universiteiten halen de top 100.

Maar goed…rankings zijn er nu eenmaal en zijn niet meer weg te denken uit het huidige mondiale hoger onderwijs landschap. En ondanks de Angelsaksische bias, doet Nederland het zo slecht nog niet. Nederland heeft maar liefst 11 universiteiten in de ranglijst. Alleen Australië (12), de VK (32) en de VS (57) hebben er meer, terwijl Japan, Canada en Duitsland op hetzelfde aantal blijven steken. Toegegeven…de Nederlandse universiteiten scoren niet bijzonder hoog, en slechts één universiteit – de Universiteit van Amsterdam – haalt de top 50. Maar ook als een wegingsfactor wordt toegekend voor de positie in de ranglijst (een factor van 200 voor nummer 1; een score van 1 voor nummer 200, etc.) scoort Nederland nog een respectabele zesde plaats achter de VS, VK, Australie, Canada en Japan. Gezien de bovenstaande gebreken is dat geen slechte score. Ook als gecorrigeerd word voor de grote van de bevolking of nationaal inkomen presteert Nederland nog redelijk goed met een zevende plek, veel beter bijvoorbeeld dan de Verenigde Staten.

Uiteraard betekent dit ook dat er nog voldoende ruimte is voor verbetering. Met uitzondering van de criteria voor student/docent verhoudingen en de citatie scores biedt de THES ranking echter weining handvaten voor verbetering. Uiteraard kan er veel geld gestoken worden in marketing om zo de survey resultaten te verbeteren, of kunnen de deuren wagenwijd worden opengezet om buitenlandse studenten en docenten binnen te halen, maar dat zal de kwaliteit niet noodzakelijk verbeteren en misschien juist verslechteren. Betere student/docent ratios en een hogere impact van het Nederlandse onderzoek zijn natuurlijk nastrevenswaardige doelen. Maar niet de enige. Elk hoger onderwijs systeem en elke universiteit heeft zijn eigen missies en doelstellingen, en deze hebben soms, maar zeker niet altijd, een mondiaal karakter en zijn ook niet altijd te vatten in eenvoudig meetbare en mondiaal toepasbare criteria.

Nergens in de wereld was voor mij de impact van rankings meer evident dan in Maleisië. Discussies over de ranking drongen zelfs door tot in het parlement. Ik heb de verontwaardiging vorig jaar zelf mee mogen maken tijdens een bezoek aan de Universiti Malaya dat samenviel met de publicatie van de THES ranking (waarbij de universiteit verder zakte van plaats 169 naar 192). Gedurende dit bezoek stond ik tegelijkertijd verbaasd over de vooruitgang die Maleise universiteiten hebben geboekt, met name in vergelijking met die in de Zuidoost Aziatische buurlanden.

Maleise universiteiten hebben sindsdien van alles geprobeerd om te stijgen in de THES rankings. Van het recruteren van buitenlandse studenten en docenten (terwijl – informeel – voor binnenlandse studenten nog altijd ethnische quota gelden) tot een complete vernieuwing van hun websites. Het heeft niet mogen baten. De laatst overgebleven universiteiten zijn inmiddels verdwenen uit de ranglijst. Een nationale schande aldus één van de oppositie partijen…

Binnen drie jaar van ‘close to world class’ naar ‘a national shame’. Kan kwaliteit zo veranderlijk zijn? Of is de THES ranking zo grillig? Waarschijnlijk zal rector magnificus Dymph van den Boom van de UvA het niet in haar hoofd halen om heel Amsterdam op te sieren met vreugde uitingen over het debuut in de THES top 50. Dat is maar goed ook, want het tij kan snel keren…