Rankings tussen eenvoud en nuance

9 november 2009 - Rankings beantwoorden aan de behoefte van studenten en ouders aan eenvoudige overzichten, zo stelde Eric Beerkens (Nuffic) op een DAIR-congres. Maar tegelijkertijd bieden ze nu weinig ruimte voor nuance. "Toekomstige rankings zouden daarom het beste van beide moeten combineren: de mogelijkheid geven om een onderbouwde keuze te maken op basis van een veelheid aan criteria."

Massificatie

De massificatie van het hoger onderwijs heeft op mondiaal niveau zijn top namelijk nog lang niet bereikt. Wereldwijd is het aantal hoger onderwijs studenten gedurende de 20e eeuw gegroeid van enkele miljoenen in 1900 tot zo'n 100 miljoen in 2000 (zie onder andere: Schofer & Meyer, 2005). Natuurlijk is in deze periode de omvang van de bevolking ook sterk gegroeid, maar toch is het relatieve aantal studenten ook sterk gestegen: van enkelen per 10.000 inwoners naar bijna 170. Prognoses voor de toekomst laten zien dat de groei door zal zetten en zich zelfs zal versterken. In een studie van het Duitse CHE wordt een verdere groei voorspeld naar 250 miljoen studenten wereldwijd in 2025. Azië, en met name China en India, zal daarvan een groot deel voor haar rekening nemen.

Waar gaan al die studenten naartoe?

De vraag is dan natuurlijk: waar gaan al die studenten naar toe? De capaciteit in veel ontwikkelingslanden wordt de laatste decennia sterk uitgebreid. In emerging economies zoals China zie je de laatste tien jaar een enorme stijging van het aantal hoger onderwijs instellingen en het aantal studenten daarin. Voorlopig blijft het echter moeilijk om de enorme groei op te vangen binnen deze landen, vooral als men dat wil doen met behoud van kwaliteit. Voor een groot deel van de studenten geeft het internationale hoger onderwijs de beste mogelijkheid op een kwalitatief hoogwaardige opleiding. We zien dan ook dat het aantal internationale studenten de laatste jaren sterk gegroeid is: van 0,6 miljoen in 1975 tot meer dan 3 miljoen in 2007. Voorspellingen voor de toekomst lopen op tot bijna een verdubbeling van dit aantal in 2020.

Deze miljoenen studenten hebben allemaal voor een moeilijke en complexe keuze gestaan of komen daar nog voor te staan: waar ga ik mijn opleiding volgen? Deze keuze wordt natuurlijk beperkt door vele factoren. Omdat hoger onderwijs in de mondiale context toch vooral een privaat goed is, zal de keuze sterk beperkt worden door financiële factoren. Collegegelden en kosten voor levensonderhoud maken het voor de meeste studenten onmogelijk om een studie in het buitenland te volgen en voor het deel dat wel de financiële middelen heeft zijn die middelen niet onbegrensd. Door visa-restricties en strenge selectiecriteria wordt het zoekgebied nog verder verkleind. Maar dan nog blijft er voldoende over.

Uiteindelijk moeten vele internationale studenten een keuze maken tussen tienduizenden verschillende programma's in duizenden verschillende instellingen die opereren in tientallen verschillende hoger onderwijssystemen. Geen gemakkelijke taak. De overvloed aan keuze die ons in het dagelijkse leven in de greep houdt, bestaat nu ook in het internationale hoger onderwijs.

Waardoor laten studenten zich leiden?

De vraag is dan: waardoor laten studenten zich leiden? Welke keuzes maken zij en waarop zijn die gebaseerd? Over het algemeen lijkt het keuzeproces zich af te spelen in drie opeenvolgende fasen: het besluit om in het buitenland te studeren, de keuze voor een bepaald land, en de selectie van een bepaalde instelling. Hierbij wordt ervan uitgegaan dat de keuze voor een bepaalde studie al is gemaakt. De eerste keuze is vanzelfsprekend veelal een familiebesluit, vooral wanneer de student afhankelijk is van de financiële middelen van de ouders om naar het buitenland te gaan.

Over de keuze van studenten in welk land zij dan gaan studeren is ook het een en ander bekend. Belangrijke aspecten die in het keuzeproces worden meegenomen zijn bijvoorbeeld Mazzarol & Soutar, 2002):

  1. Bekendheid met het gastland en haar onderwijskwaliteit.
  2. Erkenning van de buitenlandse diploma's, in de mondiale context en in het thuisland.
  3. Beschikbaarheid van informatie
  4. Gepercipieerde reputatie door mond-op-mond reclame
  5. Collegegelden en kosten voor levensonderhoud
  6. Klimaat
  7. Mogelijkheden om te werken

Veel van deze aspecten worden ook bevestigd door de Student Pulse surveys die jaarlijks door I-Graduate worden uitgevoerd. Ook hier worden kosten, reputatie en erkenning als belangrijke aspecten opgegeven bij de landenkeuze. Beide resultaten zijn echter sterk beïnvloed door Aziatische aspirant studenten die in veel van de studies de meerderheid van de onderzochte doelgroep vormen.

Wanneer vervolgens de keuze voor de instelling wordt gemaakt letten deze studenten - volgens Australisch onderzoek - vooral op de kwaliteit van het onderwijs en de staf van de instelling en naar de waarschijnlijkheid dat hun eerdere diploma's worden erkend (zodat ze ook daadwerkelijk worden toegelaten). Ook in Canadese en Britse studies scoren zaken als kwaliteit en reputatie, betaalbaarheid, toegankelijkheid en veiligheid hoog als het gaat om belangrijke keuzefactoren.

Een Britse survey geeft een vergelijkbaar beeld en geeft ook aan dat ongeveer de helft van de studenten  in het Verenigd Koninkrijk zich bij de keuze voor de universiteit heeft laten leiden door kwaliteit en prestige. Een kwart laat zich leiden door programmarankings en een kwart door instellingsrankings. Andere onderzoeken bevestigen deze niet allesoverheersende, maar toch substantiële rol van de rankings in het keuzeproces. McDonough et al. (1998) gaven 10 jaar geleden al aan dat 11% van de Amerikaanse studenten league tables belangrijk vindt en 30% redelijk belangrijk.

McManus (2002) laat in haar promotieonderzoek zien dat het belang van rankings sindsdien is toegenomen: 57% vond ze belangrijk of enigszins belangrijk. Daarnaast moet echter ook nog de vraag gesteld worden hoezeer rankings indirect van belang zijn, bijvoorbeeld door hun effect op 'word-of-mouth' verspreiding en het effect van de rankings of de gepercipieerde kwaliteit en prestige (in de perceptie van de student en die van de ouders). Het uiteindelijke effect van rankings zou dus wel eens meer substantieel kunnen zijn dan weergegeven.

De studies laten ook zien dat de belangrijkste gebruikers als volgt omschreven kunnen worden. Het zijn veelal graduate studenten, vaak zijn ze van Aziatische afkomst, vaker mannen dan vrouwen, ze komen uit de hogere inkomensklassen, zijn vaak tweedegeneratiestudenten en presteren bovengemiddeld.

Overigens moet opgemerkt worden dat dit niet betekent dat rankings zondermeer doorslaggevend zijn bij het keuzeproces. Over het algemeen worden rankings en league tables gebruikt als bevestiging van eerder gemaakte keuzes. Het zijn geen doorslaggevende instrumenten maar 'confirmatory devices'.

Belangrijke hulpmiddelen

Tijd voor een tussentijdse conclusie. Internationale studenten moeten een keuze maken tussen een enorme hoeveelheid programma's in een enorme hoeveelheid hogeronderwijsinstellingen. We kunnen concluderen dat rankings belangrijke hulpmiddelen zijn in dit keuzeproces, vooral voor bepaalde groepen. Afgaande op de verwachte groei in de internationale studentenmarkt kunnen we ervan uitgaan dat rankings steeds belangrijker zullen worden als hulpmiddel in de studie en instellingskeuze.

De million dollar question is nu natuurlijk of de rankings ook toereikend zijn om internationale studenten te ondersteunen in hun keuzeproces. Het zal u niet verbazen: dat zijn ze niet! Of toch wel? Natuurlijk zou je er cynisch vanuit kunnen gaan dat een student slechts op zoek is naar reputatie omdat dit hem of haar een prestigieus entreeticket voor de arbeidsmarkt oplevert. In mijn ogen is zo'n benadering alleen op korte termijn houdbaar. Reputatie moet je tenslotte verdienen en er moet veel gedaan worden om de verworven reputatie op lange termijn te behouden. En dan gaat het om meer dan branding en marketing.

Laten we ervan uitgaan dat internationale studenten naast een goed en erkend ticket voor de arbeidsmarkt ook op zoek zijn naar kwalitatief goed en uitdagend onderwijs. Zijn de rankings dan toereikend? Nee dat zijn ze niet! Enerzijds omdat zij tekort schieten in het beoordelen van onderwijskwaliteit. Anderzijds door de perverse effecten die zij met zich mee brengen.

Ze schieten tekort in het ondersteunen van studenten omdat ze over het algemeen weinig zeggen over de onderwijskwaliteit. Ten eerste gaat het in de meeste rankings om onderzoekskwaliteit, simpelweg omdat het makkelijker meetbaar is, of eigenlijk moet ik zeggen: omdat het makkelijker meetbaar lijkt. Draait het om het meten wat van belang is of vinden we alleen dat van belang wat toevallig meetbaar is?

Daarnaast kunnen we concluderen dat de verschillen in de rankings over het algemeen sterke uitvergrotingen van de werkelijkheid zijn. De aardverschuivingen die in sommige rankings te zien zijn worden veelal veroorzaakt door insignificante verschuivingen in de werkelijkheid.

Verder moet bij systemen waar selectie aan de poort gewoon is ook worden geconstateerd dat de prestaties op de rankings misschien meer te maken hebben met het selectieproces dan met het onderwijsproces. In redelijk egalitaire stelsels als het Nederlandse zal dat minder het geval zijn.

Een volgende tekortkoming gaat met name op voor rankings die gebruikt maken van surveys, zoals bijvoorbeeld de THES rankings, de US News and World Report rankings in de VS of de Financial Times MBA rankings. De informatie over collega instellingen is veelal verre van toereikend om op basis daarvan die instelling te beoordelen. Een geïnterviewde in een Amerikaans onderzoek verwoordt dit als volgt:

"Well, hell, I get the rankings and I get 184 schools to rank. I know about [this school], something about [that school], I know about [my school] obviously, and I've got some buddies here and there so I feel like I know something more about some of those schools. But beyond that, guess what, I'm basing these decisions on the rankings; it's a self-fulfilling prophecy. If partners [at a law firm] do anything to prepare themselves for this [reputational survey], they probably go out and get a copy of past USN reports and fill it out from that." (Uit: Espeland en Sauder, 2007)

We mogen ervan uitgaan dat dit effect nog versterkt wordt wanneer peer surveys worden gebruikt voor internationale rankings. Wat weten we nu eigenlijk van die honderden collega universiteiten die in de rankings voorkomen?

Perverse effecten

Een laatste tekortkoming heeft niet direct te maken met rankings als hulpmiddel in het keuzeproces, maar heeft meer betrekking op de consequenties van rankings, of beter gezegd, de perverse effecten van (sommige) rankings. Zowel Amerikaans als Brits onderzoek wijst uit dat rankings in staat zijn een bepaalde werkelijkheid te creëren die veelal niet overeenkomt met de initiële missie van de instellingen.

De volgende - vrij vertaalde - quotes illustreren dit effect:

Rankings kunnen in conflict komen met andere prioriteiten. Er is een spanning waargenomen tussen de prestaties in de rankings en het instellings- of overheidsbeleid (bijvoorbeeld met betrekking tot kwaliteit,  participatie, regionale inbedding) (Hefce, 2008)

Rankings stimuleren instellingen om te worden wat de rankings meten,  wat op zijn beurt de validiteit van de criteria verder versterkt. (…) Zij leggen universele definities op van hoe een instelling er uit zou moeten zien of wat zij zouden moeten doen. Als gevolg hiervan kunnen instellingen zich onder druk gezet voelen om hun initiële missies - die niet in de ranking wordt gemeten - te verlaten. ( Espeland en Sauder, 2007)

Dit ideaalbeeld van de universiteit wordt ook wel aangeduid met de term World Class University (een term met inmiddels bijna een miljoen zoekresultaten op Google!). Dit ideaalbeeld zorgt er indirect ook voor dat er voor vele typen instellingen geen plaats is in de rankings. University Colleges en Hogescholen zullen we in de huidige internationale rankings bijvoorbeeld niet tegenkomen. We hebben het dan over instellingen die hoger onderwijs aanbieden aan ruim tweederde van de Nederlandse studentenbevolking!

Schijnwerkelijkheid?

Als we al deze tekortkomingen overzien, kunnen we ons terecht afvragen of de rankings geen schijnwerkelijkheid bieden. Vanuit het perspectief van de internationale student, en hun gebruik van rankings als hulpmiddel in het keuzeproces, is dit zeker het geval. De meeste rankings of league tables, zoals we die kennen, bieden geen solide steun bij het keuzeproces. Zowel in Nederland als in Duitsland zijn inmiddels initiatieven gestart om ook buitenlandse studenten beter te ondersteunen in hun studie- en instellingskeuze. Over het algemeen komen dit type interactieve studiekeuze-instrumenten pas van pas wanneer er al gekozen is voor een bepaald land. Daarnaast gaan deze instrumenten er ook van uit dat de student een duidelijk beeld heeft van waar hij of zij naar op zoek is.

Dit geeft ook direct aan wat het sterke punt is van de huidige internationale rankings, althans vanuit het perspectief van de zoekende internationale student: EENVOUD. Niets is eenvoudiger leesbaar dan een top 10 of een top 100 waarin de instellingen keurig in volgorde van kwaliteit staan…

Een groot deel van de studenten blijft op zoek naar 'cognitieve shortcuts'. Zij willen daarom nog steeds een simpele eendimensionale ranglijst die hun helpt bij die belangrijke keuze. Toekomstige rankings zouden daarom het beste van beide werelden moeten combineren: het moet de mogelijkheid geven om een onderbouwde keuze te maken op basis van een veelheid aan criteria, terwijl het tegelijkertijd een ranglijst kan laten zien die de bovengenoemde tekortkomingen zoveel mogelijk opheft.

Ik heb tot nu toe vooral naar rankings gekeken vanuit het perspectief van de internationale student. Aangezien de deelnemers hier grotendeels de individuele instellingen vertegenwoordigen wil ik tot slot nog kort stilstaan bij de consequenties voor de Nederlandse instellingen. Hoe moeten zij zich positioneren en wat is het belang van rankings daarbij?

Ik denk dat het van belang is om in herinnering te nemen dat internationaal mobiele studenten veelal eerst het land kiezen en daarna pas de instelling. In veel opzichten geld daarom binnen Nederland het adagium: cooperating to compete. Eerst moet het imago als onderwijsbestemming verder opgepoetst worden. Pas daarbinnen moeten Nederlandse instellingen met elkaar concurreren.

Landenrankings

Helaas bestaan er vooralsnog geen landenrankings in het hoger onderwijs, maar als je in de breedte kijkt naar de THES en de Sjanghai rankings doet Nederland het vrij goed. Ook als we kijken naar publicaties en impactscores komt Nederland goed uit de verf, vooral op gebieden als nanotechnologie, natuurkunde en de milieu- en levenswetenschappen. In de recent uitgekomen CHE excellence rankings staan meer dan de helft van de Nederlandse universiteiten in de top van Europa op het gebied van de psychologie en economie…

Het lijkt er dus op dat de kwaliteit er wel is in het Nederlandse hoger onderwijs, maar dat die nogal verspreid is over de vele instellingen die Nederland rijk is. In een onlangs verschenen rapport van KPMG over de Nederlandse universiteiten en hun positionering in de rankings, werd de aanbeveling gedaan om te komen tot een ruilverkaveling in het Nederlandse hoger onderwijs. Ik vraag me ernstig af of dat nou de respons moet zijn op de opkomst van instellingsranglijsten.

Ik zie op zich niet zoveel problemen met het feit dat Utrecht goed is in de natuurkunde, Delft in de lucht- en ruimtevaarttechniek, Rotterdam in bedrijfskunde en Tilburg in economie. Hadden deze vier faculteiten in één universiteit gezeten dan zou die universiteit misschien hoog scoren, maar dat zou de kwaliteit van het onderwijs niet noodzakelijk verhogen.

Ik zou in dat geval liever zien dat rankings gebaseerd worden op disciplines of vakgebieden, inclusief de professionele, beroepsgerichte gebieden van het HBO. Natuurlijk niet alleen  omdat zo het Nederlandse hoger onderwijs beter uit de bus zou kunnen komen, maar vooral - en nu kom ik weer terug bij de studenten - omdat dit een betere informatiebron zou zijn voor de zoekende student.

Gelukkig zal toekomstige multidimensionale ranking (U-Multirank) informatie gaan verschaffen op zowel het niveau van het programma als op het niveau van de instelling. Laten we hopen dat deze ranking leidt tot het einde van de huidige schijnwerkelijkheid en tot aanzienlijk meer transparantie in het werkelijke mondiale hoger onderwijs.

Eric Beerkens
Hoofd onderzoek
Directie Kennis en Innovatie
Nuffic