Tevredenheid met ‘kwaliteit’ verward

Verschillen in oordelen

In een bijdrage op economieopinie.nl geven de hoogleraar Management Science en directeur van het Econometrisch Instituut en de bijzonder hoogleraar Econometrie & Marketing aan waarom de gegevens en analyses die door ResearchNed voor de Elsevier Faculty Rating worden gemaakt de nodige twijfels oproepen. Daarbij presenteren zij ook rekenmodellen, die onderbouwen waarom een en ander zo kwetsbaar is. “De aanpak die gevolgd wordt, is dat men zowel studenten als hoogleraren en hoofddocenten ondervraagt. Studenten beoordelen hun eigen opleiding door voor allerlei aspecten rapportcijfers te geven. Vervolgens worden de opleidingen gerangschikt op basis van gemiddelde cijfers en hieruit zou dan bijvoorbeeld volgen welke universiteit de beste economieopleiding aanbiedt.

Wie hierover wat langer nadenkt, zal echter wel wat haken en ogen zien. Ten eerste wordt op deze manier niet zozeer de kwaliteit van opleidingen gemeten maar de mate van tevredenheid van studenten. Iedereen die in het onderwijs werkt, zal beamen dat die begrippen niet verward moeten worden.

Een tweede bezwaar is dat studenten alleen hun eigen opleiding beoordelen en dat de resultaten daarom niet zomaar mogen worden gebruikt om opleidingen te vergelijken, laat staan te rangschikken. Verschillen in oordelen ten aanzien van bepaalde aspecten zouden namelijk weleens te verklaren kunnen zijn uit verschillen in de samenstelling van de studentenpopulatie (denk bijvoorbeeld aan het percentage studenten van allochtone afkomst). Het zou zelfs zo kunnen zijn dat opleidingen die veel nadruk leggen op het aanbrengen van een kritische attitude alleen al daardoor lagere cijfers krijgen van hun studenten dan opleidingen waarin dit aspect nauwelijks aan bod komt.”

Geen goed zicht

De EUR-economen geven aan dat zij uit de stukken kunnen opmaken dat “ook Elsevier [zich] realiseert dat studenten geen vergelijking kunnen maken met opleidingen aan andere universiteiten. Daarom worden naast de studentenoordelen ook de zogenaamde hooglerarenoordelen (oordelen van zowel hoogleraren als universitair hoofddocenten) gepubliceerd, want “hoogleraren … kunnen universiteiten op hun eigen vakgebied wel vergelijken, zeker als het gaat om het wetenschappelijk niveau van de staf. Dat is waar hoogleraren het eerst op letten.”

Tot zover wat ons betreft geen probleem. Inderdaad zijn de wetenschappelijke prestaties van collega’s uit binnen- en buitenland goed zichtbaar. Hun artikelen verschijnen in wetenschappelijke tijdschriften die we allemaal lezen en we komen ze tegen op allerlei congressen. Dit betreft echter hun onderzoeksactiviteiten. Kijken we naar de vragenlijst van de Elsevier Faculty Rating dan is de kwaliteit van de wetenschappelijke publicaties slechts één van de vier aspecten die beoordeeld moeten worden.

De andere drie aspecten hebben betrekking op onderwijs, te weten de samenstelling van het bachelorprogramma, het aanbod van de masteropleidingen en de kwaliteit van de docenten. Van deelnemende hoogleraren en uhd’s wordt gevraagd de Nederlandse opleidingen in hun vakgebied te beoordelen door voor elk van de vier aspecten aan te geven welke universiteit naar hun oordeel het beste presteert. De enige beperking is dat niet op de eigen universiteit gestemd mag worden.

Wij durven te stellen dat de meeste hoogleraren en uhd’s niet in staat zijn om een gefundeerd oordeel te geven over de genoemde onderwijsaspecten. De reden hiervoor is simpelweg dat ze geen goed zicht hebben op hoe de programma’s en opleidingen van andere universiteiten ingericht zijn en hoe docenten aan andere universiteiten presteren. Om een goed oordeel te vormen over de bachelorprogramma’s en masteropleidingen moeten deze (allemaal!) in detail bestudeerd worden. Zelfs als deze informatie voor een buitenstander gemakkelijk toegankelijk is (wat vaak al niet het geval is), vergt dit een aanzienlijke inspanning.”

Onwaarschijnlijke opzet

Over de wijze waarop de kwaliteit van docenten wordt gemeten zijn de auteurs niet mals: “Wie denkt dat de kwaliteit van docenten direct kan worden afgeleid uit de wijze waarop ze wetenschappelijke lezingen geven tijdens seminars en congressen moeten we helaas teleurstellen: het gaat hier om twee activiteiten met verschillende doelgroepen die op een geheel andere wijze benaderd, bespeeld en begeleid moeten worden. Daarom zal het voor de beoordeling van doceerprestaties op andere universiteiten toch tenminste nodig zijn dat onderwijsactiviteiten zoals colleges worden bijgewoond. Het is zeer onwaarschijnlijk dat hiervoor tijd wordt vrijgemaakt. Wij hebben tot nu toe in ieder geval geen hoogleraren van zusterfaculteiten in onze collegebanken mogen begroeten.

Toch deden dit jaar weer ongeveer 2.400 hoogleraren en uhd’s mee aan de Elsevier Faculty Rating. Blijkbaar achten die zichzelf wel in staat om de gevraagde oordelen te geven. En wie zijn wij dan om daar aan te twijfelen? Laten we daarom deze oordelen eens als gegeven beschouwen. Dan hebben we er toch nog steeds moeite mee dat op basis van de oordelen van de respondenten een rangschikking wordt gemaakt en er weer “beste” opleidingen en universiteiten worden aangewezen.

De methode die hierbij wordt gehanteerd is de volgende: voor bijvoorbeeld de economieopleiding van de ESE wordt geteld hoe vaak deze door de respondenten is genoemd als beste bij één van de vier aspecten. Vervolgens wordt dit aantal gedeeld door het maximaal aantal te ontvangen stemmen, dat berekend wordt door het totaal aantal uitgebrachte stemmen (d.w.z. voor alle economieopleidingen) te verminderen met het aantal uitgebrachte stemmen door hoogleraren en uhd’s van de ESE (men mag immers niet op de eigen opleiding stemmen). De deling van de twee grootheden geeft de score van de economieopleiding van de ESE en deze kan vergeleken worden met de analoog berekende scores van andere economieopleidingen. De opleiding met de hoogste score wordt uitgeroepen tot “de beste” in het hoogleraarsoordeel.”

U leest de complete analyse en cijfervoorbeelden hier: http://www.eur.nl/few/economieopinie/artikelen/oktober_ 2008/waarom_we_niet_meedoen_aan_de_elsevier_faculty_rating/