Rankings tussen eenvoud en nuance

Nieuws | de redactie
9 november 2009 | Rankings beantwoorden aan de behoefte van studenten en ouders aan eenvoudige overzichten, zo stelde Eric Beerkens (Nuffic) op een DAIR-congres. Maar tegelijkertijd bieden ze nu weinig ruimte voor nuance. "Toekomstige rankings zouden daarom het beste van beide moeten combineren: de mogelijkheid geven om een onderbouwde keuze te maken op basis van een veelheid aan criteria."

Massificatie

De massificatie van het hoger onderwijs heeft op mondiaalniveau zijn top namelijk nog lang niet bereikt. Wereldwijd is hetaantal hoger onderwijs studenten gedurende de 20e eeuwgegroeid van enkele miljoenen in 1900 tot zo’n 100 miljoen in 2000(zie onder andere: Schofer & Meyer, 2005). Natuurlijk is in deze periode deomvang van de bevolking ook sterk gegroeid, maar toch is hetrelatieve aantal studenten ook sterk gestegen: van enkelen per10.000 inwoners naar bijna 170. Prognoses voor de toekomst latenzien dat de groei door zal zetten en zich zelfs zal versterken. Ineen studie van het Duitse CHE wordt een verdere groei voorspeldnaar 250 miljoen studenten wereldwijd in 2025. Azië, en met nameChina en India, zal daarvan een groot deel voor haar rekeningnemen.

Waar gaan al die studenten naartoe?

De vraag is dan natuurlijk: waar gaan al diestudenten naar toe? De capaciteit in veel ontwikkelingslanden wordtde laatste decennia sterk uitgebreid. In emergingeconomies zoals China zie je de laatste tien jaar een enormestijging van het aantal hoger onderwijs instellingen en het aantalstudenten daarin. Voorlopig blijft het echter moeilijk om de enormegroei op te vangen binnen deze landen, vooral als men dat wil doenmet behoud van kwaliteit. Voor een groot deel van de studentengeeft het internationale hoger onderwijs de beste mogelijkheid opeen kwalitatief hoogwaardige opleiding. We zien dan ook dat hetaantal internationale studenten de laatste jaren sterk gegroeid is:van 0,6 miljoen in 1975 tot meer dan 3 miljoen in2007. Voorspellingen voor de toekomst lopen op tot bijna een verdubbeling van dit aantal in 2020.

Deze miljoenen studenten hebbenallemaal voor een moeilijke en complexe keuze gestaan of komen daarnog voor te staan: waar ga ik mijn opleiding volgen? Deze keuzewordt natuurlijk beperkt door vele factoren. Omdat hoger onderwijsin de mondiale context toch vooral een privaat goed is, zal dekeuze sterk beperkt worden door financiële factoren. Collegegeldenen kosten voor levensonderhoud maken het voor de meeste studentenonmogelijk om een studie in het buitenland te volgen en voor hetdeel dat wel de financiële middelen heeft zijn die middelen nietonbegrensd. Door visa-restricties en strenge selectiecriteria wordthet zoekgebied nog verder verkleind. Maar dan nog blijft ervoldoende over.

Uiteindelijk moeten vele internationalestudenten een keuze maken tussen tienduizenden verschillendeprogramma’s in duizenden verschillende instellingen die opereren intientallen verschillende hoger onderwijssystemen. Geen gemakkelijketaak. De overvloed aan keuze die ons in het dagelijkse leven in degreep houdt, bestaat nu ook in het internationale hogeronderwijs.

Waardoor laten studenten zich leiden?

De vraag is dan: waardoor laten studenten zich leiden?Welke keuzes maken zij en waarop zijn die gebaseerd? Over hetalgemeen lijkt het keuzeproces zich af te spelen in drieopeenvolgende fasen: het besluit om in het buitenland te studeren,de keuze voor een bepaald land, en de selectie van een bepaaldeinstelling. Hierbij wordt ervan uitgegaan dat de keuze voor eenbepaalde studie al is gemaakt. De eerste keuze is vanzelfsprekendveelal een familiebesluit, vooral wanneer de student afhankelijk isvan de financiële middelen van de ouders om naar het buitenland tegaan.

Over de keuze van studenten in welkland zij dan gaan studeren is ook het een en ander bekend.Belangrijke aspecten die in het keuzeproces worden meegenomen zijnbijvoorbeeld Mazzarol & Soutar, 2002):

  1. Bekendheid met het gastland en haar onderwijskwaliteit.
  2. Erkenning van de buitenlandse diploma’s, in de mondiale contexten in het thuisland.
  3. Beschikbaarheid van informatie
  4. Gepercipieerde reputatie door mond-op-mond reclame
  5. Collegegelden en kosten voor levensonderhoud
  6. Klimaat
  7. Mogelijkheden om te werken

Veel van deze aspecten worden ookbevestigd door de StudentPulse surveys die jaarlijks door I-Graduate worden uitgevoerd.Ook hier worden kosten, reputatie en erkenning als belangrijkeaspecten opgegeven bij de landenkeuze. Beide resultaten zijn echtersterk beïnvloed door Aziatische aspirant studenten die in veel vande studies de meerderheid van de onderzochte doelgroep vormen.

Wanneer vervolgens de keuze voor deinstelling wordt gemaakt letten deze studenten – volgens Australisch onderzoek – vooral op de kwaliteit van hetonderwijs en de staf van de instelling en naar dewaarschijnlijkheid dat hun eerdere diploma’s worden erkend (zodatze ook daadwerkelijk worden toegelaten). Ook in Canadeseen Britse studies scoren zaken als kwaliteit en reputatie,betaalbaarheid, toegankelijkheid en veiligheid hoog als het gaat ombelangrijke keuzefactoren.

Een Britsesurvey geeft een vergelijkbaar beeld en geeft ook aan datongeveer de helft van de studenten  in het Verenigd Koninkrijkzich bij de keuze voor de universiteit heeft laten leiden doorkwaliteit en prestige. Een kwart laat zich leiden doorprogrammarankings en een kwart door instellingsrankings. Andereonderzoeken bevestigen deze niet allesoverheersende, maar tochsubstantiële rol van de rankings in het keuzeproces. McDonoughet al. (1998) gaven 10 jaar geleden al aan dat 11% van deAmerikaanse studenten league tables belangrijk vindt en30% redelijk belangrijk.

McManus (2002)laat in haar promotieonderzoek zien dat het belang van rankingssindsdien is toegenomen: 57% vond ze belangrijk of enigszinsbelangrijk. Daarnaast moet echter ook nog de vraag gesteld wordenhoezeer rankings indirect van belang zijn, bijvoorbeeld door huneffect op ‘word-of-mouth’ verspreiding en het effect van derankings of de gepercipieerde kwaliteit en prestige (in deperceptie van de student en die van de ouders). Hetuiteindelijke effect van rankings zou dus wel eens meersubstantieel kunnen zijn dan weergegeven.

De studies laten ook zien dat debelangrijkste gebruikers als volgt omschreven kunnen worden. Hetzijn veelal graduate studenten, vaak zijn ze vanAziatische afkomst, vaker mannen dan vrouwen, ze komen uit dehogere inkomensklassen, zijn vaak tweedegeneratiestudenten enpresteren bovengemiddeld.

Overigens moet opgemerkt worden dat ditniet betekent dat rankings zondermeer doorslaggevend zijn bij hetkeuzeproces. Over het algemeen worden rankings en league tablesgebruikt als bevestiging van eerder gemaakte keuzes. Het zijn geendoorslaggevende instrumenten maar ‘confirmatorydevices‘.

Belangrijke hulpmiddelen

Tijd voor een tussentijdse conclusie. Internationalestudenten moeten een keuze maken tussen een enorme hoeveelheidprogramma’s in een enorme hoeveelheid hogeronderwijsinstellingen.We kunnen concluderen dat rankings belangrijke hulpmiddelen zijn indit keuzeproces, vooral voor bepaalde groepen. Afgaande op deverwachte groei in de internationale studentenmarkt kunnen we ervanuitgaan dat rankings steeds belangrijker zullen worden alshulpmiddel in de studie en instellingskeuze.

De million dollar question isnu natuurlijk of de rankings ook toereikend zijn om internationalestudenten te ondersteunen in hun keuzeproces. Het zal u nietverbazen: dat zijn ze niet! Of toch wel? Natuurlijk zou je ercynisch vanuit kunnen gaan dat een student slechts op zoek is naarreputatie omdat dit hem of haar een prestigieus entreeticket voorde arbeidsmarkt oplevert. In mijn ogen is zo’n benadering alleen opkorte termijn houdbaar. Reputatie moet je tenslotte verdienen en ermoet veel gedaan worden om de verworven reputatie op lange termijnte behouden. En dan gaat het om meer dan branding en marketing.

Laten we ervan uitgaan datinternationale studenten naast een goed en erkend ticket voor dearbeidsmarkt ook op zoek zijn naar kwalitatief goed en uitdagendonderwijs. Zijn de rankings dan toereikend? Nee dat zijn ze niet!Enerzijds omdat zij tekort schieten in het beoordelen vanonderwijskwaliteit. Anderzijds door de perverse effecten die zijmet zich mee brengen.

Ze schieten tekort in het ondersteunenvan studenten omdat ze over het algemeen weinig zeggen over deonderwijskwaliteit. Ten eerste gaat het in de meeste rankings omonderzoekskwaliteit, simpelweg omdat het makkelijker meetbaar is,of eigenlijk moet ik zeggen: omdat het makkelijker meetbaar lijkt.Draait het om het meten wat van belang is of vinden we alleen datvan belang wat toevallig meetbaar is?

Daarnaast kunnen we concluderen dat deverschillen in de rankings over het algemeen sterke uitvergrotingenvan de werkelijkheid zijn. De aardverschuivingen die in sommigerankings te zien zijn worden veelal veroorzaakt door insignificanteverschuivingen in de werkelijkheid.

Verder moet bij systemen waar selectieaan de poort gewoon is ook worden geconstateerd dat de prestatiesop de rankings misschien meer te maken hebben met hetselectieproces dan met het onderwijsproces. In redelijk egalitairestelsels als het Nederlandse zal dat minder het geval zijn.

Een volgende tekortkoming gaat met nameop voor rankings die gebruikt maken van surveys, zoals bijvoorbeeldde THES rankings, de US News and World Report rankings in de VS ofde Financial Times MBA rankings. De informatie over collegainstellingen is veelal verre van toereikend om op basis daarvan dieinstelling te beoordelen. Een geïnterviewde in een Amerikaansonderzoek verwoordt dit als volgt:

“Well, hell, I get the rankings andI get 184 schools to rank. I know about [this school],something about [that school], I know about [my school] obviously,and I’ve got some buddies here and there so I feel like I knowsomething more about some of those schools. But beyond that, guesswhat, I’m basing these decisions on the rankings; it’s aself-fulfilling prophecy. If partners [at a law firm] do anythingto prepare themselves for this [reputational survey], they probablygo out and get a copy of past USN reports and fill it out fromthat.” (Uit: Espeland en Sauder, 2007)

We mogen ervan uitgaan dat dit effectnog versterkt wordt wanneer peer surveys worden gebruiktvoor internationale rankings. Wat weten we nu eigenlijk van diehonderden collega universiteiten die in de rankingsvoorkomen?

Perverse effecten

Een laatste tekortkoming heeft niet direct te maken metrankings als hulpmiddel in het keuzeproces, maar heeft meerbetrekking op de consequenties van rankings, of beter gezegd, deperverse effecten van (sommige) rankings. Zowel Amerikaans alsBrits onderzoek wijst uit dat rankings in staat zijn een bepaaldewerkelijkheid te creëren die veelal niet overeenkomt met deinitiële missie van de instellingen.

De volgende – vrij vertaalde – quotesillustreren dit effect:

Rankings kunnen in conflict komenmet andere prioriteiten. Er is een spanning waargenomen tussen deprestaties in de rankings en het instellings- of overheidsbeleid(bijvoorbeeld met betrekking tot kwaliteit,  participatie,regionale inbedding) (Hefce,2008)

Rankings stimuleren instellingen omte worden wat de rankings meten,  wat op zijn beurt devaliditeit van de criteria verder versterkt. (…) Zij leggenuniversele definities op van hoe een instelling er uit zou moetenzien of wat zij zouden moeten doen. Als gevolg hiervan kunneninstellingen zich onder druk gezet voelen om hun initiële missies -die niet in de ranking wordt gemeten – te verlaten. ( Espeland en Sauder, 2007)

Dit ideaalbeeld van de universiteitwordt ook wel aangeduid met de term World Class University (eenterm met inmiddels bijna een miljoen zoekresultaten op Google!). Dit ideaalbeeld zorgt erindirect ook voor dat er voor vele typen instellingen geen plaatsis in de rankings. University Colleges en Hogescholen zullen we inde huidige internationale rankings bijvoorbeeld niet tegenkomen. Wehebben het dan over instellingen die hoger onderwijs aanbieden aanruim tweederde van de Nederlandse studentenbevolking!

Schijnwerkelijkheid?

Als we al deze tekortkomingen overzien, kunnen we onsterecht afvragen of de rankings geen schijnwerkelijkheid bieden.Vanuit het perspectief van de internationale student, en hungebruik van rankings als hulpmiddel in het keuzeproces, is ditzeker het geval. De meeste rankings of league tables, zoals we diekennen, bieden geen solide steun bij het keuzeproces. Zowel in Nederlandals in Duitslandzijn inmiddels initiatieven gestart om ook buitenlandse studentenbeter te ondersteunen in hun studie- en instellingskeuze. Over hetalgemeen komen dit type interactieve studiekeuze-instrumenten pasvan pas wanneer er al gekozen is voor een bepaald land. Daarnaastgaan deze instrumenten er ook van uit dat de student een duidelijkbeeld heeft van waar hij of zij naar op zoek is.

Dit geeft ook direct aan wat het sterkepunt is van de huidige internationale rankings, althans vanuit hetperspectief van de zoekende internationale student: EENVOUD. Nietsis eenvoudiger leesbaar dan een top 10 of een top 100 waarin deinstellingen keurig in volgorde van kwaliteit staan…

Een groot deel van de studenten blijftop zoek naar ‘cognitieve shortcuts’. Zij willen daarom nog steedseen simpele eendimensionale ranglijst die hun helpt bij diebelangrijke keuze. Toekomstige rankings zouden daarom het beste vanbeide werelden moeten combineren: het moet de mogelijkheid geven omeen onderbouwde keuze te maken op basis van een veelheid aancriteria, terwijl het tegelijkertijd een ranglijst kan laten ziendie de bovengenoemde tekortkomingen zoveel mogelijk opheft.

Ik heb tot nu toe vooral naar rankingsgekeken vanuit het perspectief van de internationale student.Aangezien de deelnemers hier grotendeels de individueleinstellingen vertegenwoordigen wil ik tot slot nog kort stilstaanbij de consequenties voor de Nederlandse instellingen. Hoe moetenzij zich positioneren en wat is het belang van rankingsdaarbij?

Ik denk dat het van belang is om inherinnering te nemen dat internationaal mobiele studenten veelaleerst het land kiezen en daarna pas de instelling. In veelopzichten geld daarom binnen Nederland het adagium: cooperatingto compete. Eerst moet het imago als onderwijsbestemmingverder opgepoetst worden. Pas daarbinnen moeten Nederlandseinstellingen met elkaar concurreren.

Landenrankings

Helaas bestaan er vooralsnog geen landenrankings in hethoger onderwijs, maar als je in de breedte kijkt naar de THES en deSjanghai rankings doet Nederland het vrij goed. Ook als we kijkennaar publicaties en impactscores komt Nederland goed uit de verf,vooral op gebieden als nanotechnologie, natuurkunde en de milieu-en levenswetenschappen. In de recent uitgekomen CHE excellencerankings staan meer dan de helft van de Nederlandse universiteitenin de top van Europa op het gebied van de psychologie eneconomie…

Het lijkt er dus op dat de kwaliteit erwel is in het Nederlandse hoger onderwijs, maar dat die nogalverspreid is over de vele instellingen die Nederland rijk is. Ineen onlangs verschenen rapport van KPMG over de Nederlandseuniversiteiten en hun positionering in de rankings, werd deaanbeveling gedaan om te komen tot een ruilverkaveling in hetNederlandse hoger onderwijs. Ik vraag me ernstig af of dat nou derespons moet zijn op de opkomst van instellingsranglijsten.

Ik zie op zich niet zoveel problemenmet het feit dat Utrecht goed is in de natuurkunde, Delft in delucht- en ruimtevaarttechniek, Rotterdam in bedrijfskunde enTilburg in economie. Hadden deze vier faculteiten in éénuniversiteit gezeten dan zou die universiteit misschien hoogscoren, maar dat zou de kwaliteit van het onderwijs nietnoodzakelijk verhogen.

Ik zou in dat geval liever zien datrankings gebaseerd worden op disciplines of vakgebieden, inclusiefde professionele, beroepsgerichte gebieden van het HBO. Natuurlijkniet alleen  omdat zo het Nederlandse hoger onderwijs beteruit de bus zou kunnen komen, maar vooral – en nu kom ik weer terugbij de studenten – omdat dit een betere informatiebron zou zijnvoor de zoekende student.

Gelukkig zal toekomstigemultidimensionale ranking (U-Multirank) informatie gaan verschaffenop zowel het niveau van het programma als op het niveau van deinstelling. Laten we hopen dat deze ranking leidt tot het einde vande huidige schijnwerkelijkheid en tot aanzienlijk meertransparantie in het werkelijke mondiale hoger onderwijs.

Eric Beerkens
Hoofd onderzoek
Directie Kennis en Innovatie
Nuffic


Schrijf je in voor onze nieuwsbrief
«