Britse HO-ranking deugde van geen kant

Nieuws | de redactie
16 maart 2010 | Na jarenlange kritiek heeft de hoofdredacteur van de ranking van Times Higher Education toegegeven dat de methodologie de afgelopen zes jaar onder de maat was en daarom vervangen wordt. Deze bekentenis komt 2 maanden nadat de EU heeft aangekondigd met het U-Map project van Frans van Vught in een alternatief te gaan voorzien. Voor de UvA is de onthulling pijnlijk, omdat die nog altijd haar 49e plek in de ranking roemt.

“I have a confession. The rankings of the world’s topuniversities that my magazine has been publishing for the past sixyears, and which have attracted enormous global attention, are notgood enough.” De methode achter de ranking van Times HigherEducation werd ook het magazine te stuitend en gaat nu flinkop de schop.

Sinds 2004 publiceert het magazine Times Higher Education(voorheen The Times Higher Education Supplement, ofwel THES) elkjaar een ranking van de beste universiteiten ter wereld. De methodeen data die de ranglijsten bepalen zijn altijd veelbesprokengeweest.

De THE ranking was voor de helft gebaseerd op onderwijs- enonderzoekindicatoren en voor de helft op reputatie, zonder dat inde methodologische verantwoording voldoende helder werd gemaakt hoedie reputatiemeting precies werd uitgevoerd. Phil Baty, waarnemendhoofdredacteur van de ranking, biechtte tegen InsideHigher ED op dat het systeem niet deugde.

In zijn bekentenis verklaart Baty dat vooral de aanval vantopeconoom Andrew Oswald de ranking blijvende schade heeftaangebracht en de redactie aan het denken bracht. Oswald maakt in2007 de ranglijst belachelijk toen deze de Universiteiten vanOxford en Cambridge op een gedeelde tweede plaats zette, terwijlStanford University slechts op de 19e plek werdgeplaatst, “despite having garnered three times as many NobelPrizes over the past two decades as the Universities of Oxford andCambridge did combined”.

Wat ging er fout? 

Wat deugde er dan niet aan de onderzoeken van THES? De grootsteproblemen lagen bij de reputatiemetingen, vertelt Baty. “Of mostconcern was the so-called ‘peer review’ score. Some 40 percent of auniversity’s overall ranking score was based on the results of a’peer review’ exercise – in fact a simple opinion survey ofacademics, asking them which institutions they rated mosthighly.”

En daar ontstonden de problemen. Het aantal respondenten was met3500 te laag en lang niet altijd representatief. Ook bleekbijvoorbeeld een deel van de respondenten andere universiteiten uitkinnesinne systematisch lager te waarderen dan de eigenuniversiteit.

THE belooft nieuwe start

De herstart werd onlangs al zichtbaar toen QS, het bureauverantwoordelijk voor het verkrijgen van de data, aan de kant werdgeschoven en werd vervangen door Thomson Reuters. Niet alleenalleen moet Thomson Reuters meer data zien te verkrijgen, hetbureau moet ook slimmere vragen stellen, zo stelt Baty.

“We are not just looking to increase volume alone for its ownsake. We are seeking to achieve greater volume combined with a muchbetter targeted sample. So the key is a wider spread of people,more accurately reflecting real global higher educationdemographics. The questions have been carefully prepared to elicitmeaningful responses and to make clear what is being judged.Instead of a simple, generic, “who’s best,” we will ask moredetailed questions designed to elicit more informed and consistentanswers. We will ask people to judge quality in their field, intheir region and also globally.”

Concurrentie

De aankondiging van Times komt 2 maanden nadat de EUbekend maakte zelf een wereldwijde ranking op te zullen zetten,inde vorm van een nieuwe opzet van classificatie vaninstellingen.

In de eerste helft van 2010 wordt de Europese ranglijst getestop 150 hoger onderwijsinstellingen wereldwijd, met een focus opbouwkunde en bedrijfskunde. De geplande implementatie van dit U-Map project staatvoor begin 2011 op de agenda. Het U-Map project wordt getrokkendoor consortium CHERPA dat onder leiding staat van Frans vanVught.


«
Schrijf je in voor onze nieuwsbrief
ScienceGuide is bij wet verplicht je toestemming te vragen voor het gebruik van cookies.
Lees hier over ons cookiebeleid en klik op OK om akkoord te gaan
OK