Ranking of krenking?

Ranking is als regen, zo zei een Duitse professor ooit: iedereen klaagt erover, maar iedereen maakt er ook gebruik van.  Officieel zijn Nederlandse instellingen tegen rankings. HO-bestuurders worden niet moe te herhalen dat rankings geen accuraat beeld bieden van de kwaliteiten die hun instelling te bieden heeft.

Ook nemen politici en bestuurders op basis van rankings de gekste beslissingen. IMHE- voorzitter Marijk van der Wende vindt daarom dat we ons beter kunnen concentreren op het in beeld brengen van leeruitkomsten dan van rankings. De OECD is momenteel bezig met een groot project om Learning Outcomes op alle niveaus wereldwijd in beeld te brengen, zodat onder meer duidelijk wordt in hoeverre een bachelor economie van zeg de Vanderbilt University te vergelijken is met eenzelfde opleiding aan Saxion Hogescholen.

Tegelijkertijd beseffen HO-bestuurders ook wel dat rankings niet weggaan als je er tegen bent. “Rankings zijn een fact of life. Je kunt er dus maar beter rekening mee houden”, zo zei een nestor onder hen tegen ScienceGuide. Rankings spelen onder meer een cruciale rol in de werving van buitenlandse studenten. Veel Aziatische studenten houden bij de keuze van een westerse universiteit ter dege rekening met rankings.

Ook zijn HO-bestuurders niet te beroerd om in peptalks terug te grijpen op resultaten van rankings, om te vieren dat de eigen instelling hoog staat én om te stimuleren dat de eigen instelling nog hoger komt te staan. Toen de UU voor de 5e keer achtereen op de eerste plaats stond in de enquête van Elsevier, kregen alle medewerkers een gele roos van hun CvB.

Een echte Nederlandse ranking van het hoger onderwijs bestaat overigens niet. Je zou de ranglijsten van Elsevier en Choice als zodanig kunnen beschouwen. Maar echt gezag hebben die ranglijsten nooit gekregen, omdat ze daarvoor methodologisch te weinig robuust zijn.  Studiekeuze123, een website met informatie voor aankomende studenten, heeft bovendien nadrukkelijk de opdracht gekregen geen rankings te maken.


Internationaal

Nu zijn er wel internationale alternatieven. Zo is er de Shanghai Jiao Tong ranking. Oorspronkelijk was die slechts bedoeld voor intern Chinees gebruik, maar ze werd al gauw wereldberoemd. Deze ranking is sterk op onderzoek uit het verleden gericht. Maar goed onderzoek impliceert nog geen goed onderwijs. De beste leerboeken vanuit de VS worden niet op Ivy League universiteiten geproduceerd, maar op onderwijsgeoriënteerde colleges in de provincie.

Daarnaast is er de jaarlijkse ranking van Times Higher Education Supplement (THES). Maar tegen die ranking bestaan vrij ernstige methodologische bezwaren. Ook bij de THES is het succes wellicht groter geweest dan beoogd. Want het ging hierbij ooit om een journalistiek initiatief dat met een kwinkslag gelezen moet worden. De AD Oliebollentest was ook niet bedoeld om het werk van de Keuringsdienst van Waren te vervangen.

Meer gezaghebbend is de Hochschulranking van het Duitse Centrum für Hochschulentwicklung (CHE). Duitse studenten, docenten en ouders maken hier massaal gebruik van. Enige nadeel is vooralsnog dat het systeem zich beperkt tot de Duitse markt. CHE heeft overigens als wel een Engelstalige Excellence Ranking voor heel Europa in de markt gezet. In 2007 is de eerste editie daarvan uitgekomen, gericht op bètavakken. In 2009 komen een aantal sociale wetenschappen aan bod.


Pilot

Zou het daarom niet beter zijn om vanuit het Nederlandse hoger onderwijs met zijn allen in CHE te stappen? Die vraag stelde Ron Bormans in 2006. Ron Bormans zit namens de hogescholen in het bestuur van Studiekeuze123. Bormans beseft dat het studiekeuzeinformatie­systeem in Nederland niet puur Nederlands kan blijven. Zo is voor de HAN de helft van het wervingsgebied Duitstalig.

Bormans bleek niet de enige die daar oren naar had. Daarom is vorig seizoen een pilot uitgevoerd door CHE en Cheps onder 8 Nederlandse instellingen om na te gaan hoe een Hochschulranking op Duitse leest in Nederland zou uitpakken.

De resultaten waren teleurstellend. Vrijwel alle deelnemende opleidingen eindigden een stuk lager dan ze op grond van vergelijkbare onderzoeken zelf verwachtten. Psychologie in Maastricht was een van de weinige opleidingen die er gunstig uitsprong.

Wat de oorzaak is van deze tegenvallende resultaten? Onderzoeker Don Westerheijden (Cheps) somde in een presentatie voor IMHE-OECD verschillende mogelijke oorzaken op. De slechte resultaten betekenen waarschijnlijk niet dat Nederlandse opleidingen het slechter doen dan Duitse, maar eerder dat Nederlandse studenten enquêtes kritischer invullen dan Duitse studenten. Het is echter heel moeilijk om daarop te corrigeren, want hoe kun je een soort culturele correctie op de toon van de kritiek verantwoord doorvoeren? Hoe verder na deze eerste poging was al met al onduidelijk.


Studiekeuze123

Naast internationale rankings en binnenlandse ranglijstjes hebben we hier te lande ook Studiekeuze123, een website met studiekeuzeinformatie die wordt bestuurd door de gezamenlijke onderwijskoepels. Eerdere initiatieven om hiertoe te komen waren jarenlang geblokkeerd door de instellingen. De meeste zaten niet te wachten op al te veel transparantie.

Nadat staatssecretaris Rutte in 2005 had gedreigd een verplichting tot openbaarmaking van studiekeuzeinformatie in de wet vast te leggen, gingen de instellingen mokkend akkoord met de opzet van een nieuwe studiekeuzewebsite. Deze moesten zij dan wel zelf managen. Ze doen dat met tegenzin. De site ademt nog de geest van de Keuzegids van Choice. In de database staan alleen opleidingen uit Nederland. De vergelijkingen zijn daardoor introspectief. Studenten die breder willen vergelijken, ook buitenlandse belangstellenden dus, worden niet bediend. Bezoekersaantallen vallen tegen.


Patstelling

Een rondvraag van ScienceGuide leert dat HO-bestuurders met deze kwestie in hun maag zitten. De CHE-pilot wordt als mislukt beschouwd. Er wordt gezegd dat de pilot slecht gemanaged is. Afgezien daarvan lijkt het voor instellingen ook veel gevraagd om deel te nemen aan rankings die een matige uitkomst voor de eigen instelling opleveren. Zijn dit de grenzen van het poldermodel? Dit zijn geen dingen meer die je nationaal kunt doen.

Frans van Vught ziet wel mogelijkheden om dit Europees aan te pakken. Hij ziet een goede basis daarvoor in de classificatiemethode die hij voor de Europese Commissie schreef. Bij de verschijning van zijn rapport hierover zei hij tegen ScienceGuide: “The classification indeed offers the possibility to create better rankings, simply because it allow to compare comparable institutions. Also in the Bologna process the classification is being discussed now. The Flemish minister Vandenbroucke has indicated that he sees it as an important tool to discuss transparency of diversity in European higher education. It would be good if, after the first phase of structural convergence in the Bologna process, we now could focus on the strength of diversity of European higher education and the need to make this diversity transparent, during the next phase of this process.”