Lukken rijkere HO-rankings?

Nieuws | de redactie

20 juni 2011 | De suprematie van de Shanghai en Times Higher rankings loopt op haar einde. De Europese universiteiten en de Commissie in Brussel willen beide veel minder eendimensionale en “oversimplified” analyses van HO-kwaliteit. Zij willen bredere, gelaagde vergelijking en andere soorten ranking. De eerste haalbaarheidsstudie daarvan is nu onthuld.

Met financiële steun van de Europese Commissie heeft hetCherpa network -een consortium van organisaties op het gebiedvan HO-vergelijkingen- een nieuwe, geavanceerde meetmethodeontwikkeld. UMultirank biedt de gebruiker een palet aan ‘lijstjes’,zich telkens schikkend naar een andere vraagstelling. Dat gebeurtmultidimensionaal, zoals het Europa past. De visuele weergave vande tool doet nog het meeste denken aan een ster in de voorruit.

Patronen in twee miljoen publicaties

In een beperkt gezelschap presenteerden Adam Tyson (EuropeseCommissie), Frans van Vught (Cheps) en Frank Ziegele (CHE) deeerste resultaten van een haalbaarheidsstudie dieonder 159 opleidingen op het gebied van Business studiesen Engineering was gehouden. Bij deze steekproef was ookaan Chinese en Amerikaanse instellingen om input gevraagd, maar hunreactie bleek nogal lauw.  Frans van Vught is er niettemin vanovertuigd dat China en Amerika, bij gebleken succes van UMultirank, graag aan zullen haken.

Robert Tijssen (Centre for Science and Technology Studies,Leiden) was zeer te spreken met de presentatie van de UMultirank-tool. Hij is verantwoordelijk voor twee van de nieuweindicatoren die in het instrument gebruikt worden. “We hebben eenindicator ontwikkeld die betrekking heeft op samenwerkingspatronenvan instellingen.” In een database van circa twee miljoenpublicaties zoekt Tijssen naar samenwerkingspatronen:  werkteen universiteit met andere instellingen samen? En zo ja met welke?Een tweede indicator geeft aan in hoeverre hogeronderwijsinstellingen met partijen uit de industrie samenwerken.”Niemand uit de VS doet dit nog”, zegt Tijssen met enige trotstegen ScienceGuide.

Verloren diversiteit

Waarom konden we niet meer vooruit met de bestaanderankings? Op welke punten schieten de ‘Shanghai’s’ tekort?Frans van Vught wijst op meerdere aspecten. “U Multirank geeftantwoord op de kritiek dat de huidige rankingsééndimensionaal zijn. Ze kijken alleen naar de onderzoeksprestatiesvan instellingen en meten die bij voorkeur door naar publicaties tekijken. Het probleem hierbij is dat de hoger onderwijsinstellingensteeds meer op elkaar gaan lijken. De diversiteit gaat verloren.”Dit heeft vervolgens weer negatieve effecten: op de arbeidsmarkt;op de sociale mobiliteit; op de innovatiedynamiek.

Straks ligt er dus een instrument dat de verschillende vormenvan excellentie kan meten en dan zal blijken dat de eneuniversiteit beter presteert op samenwerking met industriëlepartners, en de andere hogeschool vooral op onderwijsvlak hoge ogengooit. Frank Ziegele grapt dat hij onlangs nog eens drie dagenheeft gedelibereerd over de vraag ‘wat excellentie nu eigenlijkbetekent’. Ziegele: “De reputation race gaat binnenkorteen ander gezicht krijgen; het zal duidelijk worden dat erverschillende vormen van excellentie zijn.”

Beperkte blik

De EUA, de WO-koepel in Europa, kwam tegelijkertijd met een zeerkritische studie over de ontwikkeling van de rankings tot nu toe. “Thereport does not aim to ‘rank the different university rankingsthemselves’ but analyses the methodologies used and also refers toa number of other ongoing projects seeking to measure universityperformance. It is clear that despite their shortcomings, rankingsare here to stay. Predicting a rise in the number of rankings inthe future, the report argues that it is vital for universities anddifferent stakeholders to be aware of the degree to which rankingsare transparent, and from a user’s perspective, of the relationshipbetween what it is stated is being measured and what is in factbeing measured, how the scores are calculated and, even moreimportantly what they mean.”

Bovendien zijn de huidige rankings zo beperkt van scope, dat zijslechts enkele procenten van het relevante hoger onderwijsbetreffen en in de beoordeling meenemen. “The present rankingsfavour large research intensive institutions. Therefore, this isespecially important for those institutions that focus more onserving their region or providing higher education to’non-traditional’ students. Including more universities could beseen as a way of recognizing the important contribution of thosewell-functioning institutions that suffer from the ‘unwantedconsequences’ of rankings,” aldus de EUA-studie.

2013 online?

Voorlopig zal de uitdaging van het U Multirank project vooral inde financiering ervan liggen. De betrokkenen verwachten wel dat deEuropese Commissie opnieuw een tender zal gaan uitschrijven, maarvoordat die procedure rond is, zijn zij een dik jaar verder. Ziegele: “Ik zal blij zijn als de U Multirank tool in 2013online kan worden gezet.”

Van Vught benadrukt dat het instrument te allen tijdeonafhankelijk dient te blijven. Of de financiering nu vanuit deEuropese Commissie of vanuit private ondernemingen komt, er mogennooit inhoudelijke voorwaarden aan die financiering gesteld worden.Allen zijn het erover eens dat de hoger onderwijsinstellingen nietzélf voor deelname aan U Multirank moeten gaan betalen. “Dan krijgje de situatie, wilt u deze stapel data aanleveren en, o ja, wilt ualstublieft ook de rekening betalen. Dat wordt niets”, aldus Fransvan Vught.

Jet Bussemaker: Top 5 ambitie moet je welmeten

Gasthoofdredacteur Jet Bussemaker moedigt Van Vught n de andereEuropese ranking-ontwerpers aan: “Ik vind het nuttig dat er nu veeldiversere prestatie-indicatoren aan de orde komen. Dat is voor hetHBO als deel van het hoger onderwijs in Europa ook nodig. Als deindicatoren zich beperken tot zaken als de hoeveelheid publicatiesin traditionele wetenschappelijke bladen, dan mis je heel veelkwalitatieve aspecten van het hoger onderwijs.”

“Bovendien moeten rankings rekening houden met de groteverschillen tussen disciplines. Publiceren en citeren inbèta-onderzoek heeft echt andere elementen dan bijvoorbeeld bijsociale wetenschapen en die verschillen weer zeer van watpraktijkgericht HBO-onderzoek doet en hoe daarover gepubliceerdwordt.”

De kritische opmerkingen vanuit de EUA op de rankings kanBussemaker zich wel voorstellen. U Multirank wordt daardoor in elkgeval uitgedaagd. Tegelijk zegt zij er dit bij: “Je zult toch welmoeten willen meten wat je als land en als instelling presteert.Wij hebben de ambitie in de top 5 van de kennisnaties tekomen en dat zul je dan wel kritisch moeten volgen, feitelijkmeten. Lukt het bijvoorbeeld in de 9 topgebieden van het beleid vanEL&I inderdaad veel meer valorisatiesucces te boeken? Datmoeten we met oog op die ambitie dan wel meten. Rankings zijndaarvoor noodzakelijk.”

 Voor documentatie van de conferentie over U Multirank:klik hier.