Britse HO-ranking deugde van geen kant
“I have a confession. The rankings of the world’s topuniversities that my magazine has been publishing for the past sixyears, and which have attracted enormous global attention, are notgood enough.” De methode achter de ranking van Times HigherEducation werd ook het magazine te stuitend en gaat nu flinkop de schop.
Sinds 2004 publiceert het magazine Times Higher Education(voorheen The Times Higher Education Supplement, ofwel THES) elkjaar een ranking van de beste universiteiten ter wereld. De methodeen data die de ranglijsten bepalen zijn altijd veelbesprokengeweest.
De THE ranking was voor de helft gebaseerd op onderwijs- enonderzoekindicatoren en voor de helft op reputatie, zonder dat inde methodologische verantwoording voldoende helder werd gemaakt hoedie reputatiemeting precies werd uitgevoerd. Phil Baty, waarnemendhoofdredacteur van de ranking, biechtte tegen
In zijn bekentenis verklaart Baty dat vooral de aanval vantopeconoom Andrew Oswald de ranking blijvende schade heeftaangebracht en de redactie aan het denken bracht. Oswald maakt in2007 de ranglijst belachelijk toen deze de Universiteiten vanOxford en Cambridge op een gedeelde tweede plaats zette, terwijlStanford University slechts op de 19e plek werdgeplaatst, “despite having garnered three times as many NobelPrizes over the past two decades as the Universities of Oxford andCambridge did combined”.
Wat ging er fout?
Wat deugde er dan niet aan de onderzoeken van THES? De grootsteproblemen lagen bij de reputatiemetingen, vertelt Baty. “Of mostconcern was the so-called ‘peer review’ score. Some 40 percent of auniversity’s overall ranking score was based on the results of a’peer review’ exercise – in fact a simple opinion survey ofacademics, asking them which institutions they rated mosthighly.”
En daar ontstonden de problemen. Het aantal respondenten was met3500 te laag en lang niet altijd representatief. Ook bleekbijvoorbeeld een deel van de respondenten andere universiteiten uitkinnesinne systematisch lager te waarderen dan de eigenuniversiteit.
THE belooft nieuwe start
De herstart werd onlangs al zichtbaar toen QS, het bureauverantwoordelijk voor het verkrijgen van de data, aan de kant werdgeschoven en werd vervangen door Thomson Reuters. Niet alleenalleen moet Thomson Reuters meer data zien te verkrijgen, hetbureau moet ook slimmere vragen stellen, zo stelt Baty.
“We are not just looking to increase volume alone for its ownsake. We are seeking to achieve greater volume combined with a muchbetter targeted sample. So the key is a wider spread of people,more accurately reflecting real global higher educationdemographics. The questions have been carefully prepared to elicitmeaningful responses and to make clear what is being judged.Instead of a simple, generic, “who’s best,” we will ask moredetailed questions designed to elicit more informed and consistentanswers. We will ask people to judge quality in their field, intheir region and also globally.”
Concurrentie
De aankondiging van Times komt 2 maanden nadat de EUbekend maakte zelf een wereldwijde ranking op te zullen zetten,inde vorm van een nieuwe opzet van classificatie vaninstellingen.
In de eerste helft van 2010 wordt de Europese ranglijst getestop 150 hoger onderwijsinstellingen wereldwijd, met een focus opbouwkunde en bedrijfskunde. De geplande implementatie van dit
