7 misvattingen over rankings: CHE legt uit

Mit dem CHE Ranking gibt es in Deutschland und den Nachbarländern einen Ansatz, der sich über 12 Jahre hinweg etabliert und in dieser Zeit permanent methodisch weiterentwickelt hat. Das CHE ist daran interessiert, dass einerseits Rankings in Diskussionen kritisch hinterfragt und dadurch Impulse für die Weiterentwicklung gesetzt werden, dass andererseits aber diese Diskussionen auf Basis von Fakten geführt werden. In der aktuellen Debatte sind allerdings anstelle von Fakten verschiedene Irrtümer anzutreffen, die im Folgenden aufgeklärt werden sollen.

1.  Irrtum: Das CHE steht als „wirtschaftsnahe“ Einrichtung mit dem Ranking für eine zunehmende Kommerzialisierung/Ökonomisierung der Hochschulen. Tatsache ist, dass das CHE keine kommerziellen Interessen verfolgt und das Ranking auf die Interessen der Studieninteressenten und Studierenden ausgerichtet ist.

Abgesehen davon, dass „wirtschaftsnah“ nicht per se schon diskreditierend ist, ist das CHE eine unabhängige, gemeinnützige Einrichtung, die mit dem Ranking keine wirtschaftlichen Interessen verfolgt. Das CHE wird gemeinsam von der Bertelsmann Stiftung und der Hochschulrektorenkonferenz als gleichberechtigten Gesellschaftern getragen. Diese Anbindung an die Hochschulen ist dem CHE seit Gründung wichtig.

Häufig wird auch dem Ranking vorgeworfen, zu einer Kommerzialisierung bzw. Ökonomisierung der Hochschulen bei zu tragen, ohne dass der Vorwurf aber konkretisiert würde. Das Ranking zeigt in der Tat Unterschiede zwischen den Hochschulen auf, in der Forschungsaktivität ebenso wie z.B.in der Studienorganisation und der Ausstattung – diese existieren aber und sind für Studieninteressenten ein wichtiges Kriterium bei der Wahl der Hochschule.

Welche Kriterien und Indikatoren wichtiger sind als andere, das überlässt das CHE Ranking aber den Nutzern (z.B. durch das personalisierte Ranking im Internet). Die Indikatoren des CHE Rankings vergleichen zu einem wichtigen Teil ja die Bewertung der Studienbedingungen und Lernerfahrungen durch die Studierenden selbst und nehmen daher die Sichtweise der Studierenden sehr ernst. Warum sollten Kriterien wie die Einschätzung der Betreuung durch die Studierenden zu einer Ökonomisierung führen.

Ein wichtiges gesellschaftliches Ziel ist es, mehr Studierenden – gerade auch aus bildungsfernen Schichten – ein Hochschulstudium zu ermöglichen. Das CHE Ranking ist dazu ein wichtiges Hilfsmittel, denn es führt Studieninteressenten an die zunächst noch fremde akademische Welt heran und vermittelt eine Vielzahl von Informationen.

2.  Irrtum: „Die österreichischen und Schweizer Universitäten sind wegen Qualitätsmängeln des Rankings ausgestiegen“ Tatsache ist: Österreichische und schweizerische Hochschulen nehmen weiter am CHE Ranking teil.

Für das Ranking 2010 (Ingenieur- und Geisteswissenschaften, Psychologie und Erziehungswissenschaften) haben bislang vier (von sechs) Universitäten in der deutschsprachigen Schweiz und fünf Universitäten in Österreich ihre Beteiligung zugesagt. Hinzu kommen noch acht österreichische Fachhochschulen (sowie alle niederländischen Universitäten). Die Beteiligung der Hochschulen ist in diesen Ländern genauso wie in Deutschland freiwillig.

Eine Änderung gegenüber den ersten beiden Jahren ergab sich insofern, als in diesen Jahren Beschlüsse der beiden nationalen Rektorenkonferenzen der Universitäten zugrunde lagen und in beiden Ländern jeweils ein Partner für die Datenerhebung verantwortlich war. Da sich dieses Modell einer engen operativen Einbindung nationaler hochschulpolitischer Akteure in das Ranking aus CHE-Sicht nicht bewährt hat, hat das CHE im Jahr 2007 von sich aus die Kooperation mit der Österreichischen Qualitätssicherungsagentur (AQA) beendet. Seitdem praktizieren wir in diesen Ländern das gleiche Verfahren wie in Deutschland und schreiben die Hochschulen direkt an.

In der Schweiz galt die Diskussion über das Ranking v.a. der Frage, ob die französischsprachigen Universitäten aufgrund anderer Kultur und Strukturen hinreichend vergleichbar sind. Diese Frage ist tatsächlich noch nicht beantwortet und wird vom CHE gerade in einem EU-Projekt zur Entwicklung eines weltweiten Rankings untersucht.

3.  Irrtum: „Die Methoden des CHE-Rankings sind intransparent und werden „geheim“ gehalten“. Tatsache ist: Auf der CHE Ranking-Webseite (www.che-ranking.de) kann ein umfassender Methodenbericht heruntergeladen werden.

Der Methodenbericht beschreibt detailliert die Vorgehensweise, Datenquellen bzw. Teilerhebungen und Indikatoren des Rankings. Zudem sind im Internet auch die den Erhebungen zugrundeliegenden Fragebögen frei zugänglich. Das CHE präsentiert und diskutiert methodische Fragen regelmäßig auch mit Fachgesellschaften, Fachbereichs- und Fakultätentagen. Die Ergebnisse des Rankings sowie Sonderauswertungen werden den Beteiligten zur Verfügung gestellt. Einzig aus Gründes des Vertrauensschutzes werden Rohdaten der Studierendenbefragung nicht weitergegeben.

4.  Irrtum: „Die Methodik des CHE Rankings entspricht nicht wissenschaftlichen Standards.“ Tatsache ist, dass das CHE Ranking den allgemeinen Standards empirischer Sozialforschung und speziellen Standards für Rankings genügt. Dafür findet es weltweit Anerkennung.

Welche die wissenschaftlichen Standards für Ranking sind, wurde bislang noch von niemandem erläutert, der diesen Vorwurf gegenüber dem CHE Ranking erhoben hat. Das CHE Ranking entspricht in seinen Teilerhebungen den üblichen Standards empirischer Sozialforschung, was Fragebogengestaltung, Stichprobenziehung und Datenauswertung angeht. Die methodischen Grundprinzipien des CHE Rankings: Fachbezogenheit, Multi-Dimenisonalität und Ranggruppenbildung, wurden in mehreren internationalen Vergleichsstudien über Hochschulrankings, beispielsweise von der European University Association (EUA) und der OECD als beispielhaft gewürdigt.

Darüber hinaus genügt es den Standards für „gute“ Rankings, die derzeit international von der von der UNESCO initiierten International Ranking Expert Group (IREG) diskutiert werden.

5.Irrtum: „Die Indikatoren werden willkürlich ausgewählt und gewichtet.“

Tatsache ist, dass die Indikatoren des CHE Rankings sowohl mit Blick auf das Informationsbedürfnis der Zielgruppe des Rankings als auch in Absprache mit Fachvertretern entwickelt wurden. Eine Gewichtung der Indikatoren findet nicht statt, da das CHE Ranking aus gutem Grund auf die Berechnung eines Gesamtwertes aus gewichteten Einzelindikatoren verzichtet.

Das CHE hat die Indikatoren des Rankings in einem Entscheidungsmodell in neun Bausteine gruppiert, die von einigen Informationen über die Hochschule als Ganzes über die Bereiche Studium & Lehre, Ausstattung und Forschung bis hin zu Aspekten des Arbeitsmarktes reichen. Die Auswahl der einzelnen Indikatoren erfolgt fachspezifisch in Absprache mit einem Fachbeirat des CHERankings, in dem Fakultäten- und Fachbereichstage und auch Fachgesellschaften vertreten sind. Darüber hinaus zeigen unabhängige Befragungen von Studienanfängern (z.B. von HIS), dass die Indikatoren des CHE Rankings dem Informationsbedürfnis von Abiturienten bzw. Studieninteressierten weitgehend entsprechen.

Der Vorwurf der willkürlichen Gewichtung beruht überwiegend auf mangelnder Kenntnis des Rankings. Im CHE Ranking gibt es keine Gewichtung der Einzelindikatoren. Das Ranking verzichtet aus methodischen Gründen auf die Berechnung eines Gesamtwertes, in den die Einzelindikatoren mit festen Gewichten eingehen. Statt dessen ist das CHE Ranking multi-dimensional und lässt die einzelnen Indikatoren nebeneinander stehen. Für eine Gewichtung von Indikatoren gibt es in der Tat weder eine theoretische noch eine empirische Grundlage. Gerade auch weil ein Gesamtwert die Profile der Hochschulen einebnen würde, verzichtet das CHE darauf. Die Entscheidung über die Bedeutung der Indikatoren bleibt einzig den Nutzern überlassen, die sich online ein persönliches Ranking aufgrund ihrer eigenen Prioriäten und Entscheidungspräferenzen erstellen können.

6.  Irrtum: „Die Profile der Fachbereiche, ihre Stärken und Schwächen werden nicht ausreichend abgebildet“. Tatsache ist, dass die Vielfalt von Indikatoren und Sachinformationen eine Abbildung von Profilen zulässt wie kein anderes existierendes Ranking.

Das Ranking enthält zwei Arten von Informationen, vergleichende („gerankte“) Indikatoren und beschreibende Informationen. Die beschreibenden Informationen werden ausschließlich von den Fachbereichen bereitgestellt, es liegt in ihrer Verantwortung, die gebotenen Informationsmöglichkeiten auch umfassend zu nutzen. Dies kann dezidiert auch dazu genutzt werden, das Profil und Besonderheiten von Fachbereichen und Studiengängen herauszustellen. Alle Informationen werden im Internet veröffentlicht, so dass sich ein komplexes, facettenreiches Bild der untersuchten Fachbereiche und Studiengänge zeigt.

Aber auch bei den gerankten quantitativen Indikatoren ist das persönliche Ranking ein nützliches Instrument, um unterschiedliche Profile der Fachbereiche sichtbar zu machen. Nur eine sehr oberflächliche Betrachtungsweise reduziert das Ranking auf fünf vergleichende Merkmale.

7.  Irrtum: „Die Beantwortung der Fragebögen ist für die Hochschulen mit einem unverhältnismäßig hohen Aufwand verbunden. Tatsache ist, dass durchaus Aufwand verursacht wird, er aber in sinnvollem Verhältnis zum Nutzen steht und das CHE alles tut, um ihn zu minimieren.

Alle Daten, die das CHE für die Fachbereiche ausweist, beruhen auf eigenen Erhebungen, es werden bewusst keine Sekundärstatistiken zugrunde gelegt. Diese Vorgehensweise, die auf breiter Basis auf Zustimmung in den Hochschulen stößt, weil Fächerzuschnitt und -Abgrenzungen individuell berücksichtigt werden können, ist zugegebenermaßen auch aufwändig. Der Aufwand beträgt pro Fachbereich erfahrungsgemäß ca. 2-3 Tage, und dies aber nur alle drei Jahre. Als Ergebnis werden Studieninteressierten im Internet (mit 1 Mio. Seitenzugriffen pro Monat) aber profilbeschreibende und vergleichende Informationen zur Verfügung gestellt, die in dieser gleichermaßen komprimierten und detaillierten Aufbereitung an anderer Stelle nicht zu finden sind. Insbesondere Studieninteressierte aus bildungsferneren Elternhäusern, die bei der Studien- und Hochschulwahl nicht auf familiäre Unterstützung und Ressourcen zurück greifen können, sind auf diese Informationen angewiesen. Daher scheint uns der Aufwand angesichts des Nutzens für Studieninteressenten durchaus vertretbarer zu sein. Darüber hinaus erhalten die Hochschulen als unentgeltlichen Service eine Detailauswertung der Befragung ihrer Studierenden und auch Absolventen und können dadurch Rankingergebnisse zur Unterstützung interner Planungen und Entscheidungen heranziehen.

Wenn das CHE Ansatzpunkte findet, den Aufwand für die Hochschulen zu senken, werden diese genutzt, z.B. indem Daten aus vorhergehenden Erhebungen in aktuelle Befragungen eingespielt werden oder die technische Möglichkeit geschaffen wurde, einzelne Fragen direkt von den fachlichen Experten in der Hochschulverwaltung beantworten zu lassen.