Een onderwijsevaluatie past niet in een vragenlijst

Van beoordeling naar verbetering van onderwijs

Opinie | door Menno van der Schoot

10 juni 2020 | Het evalueren van onderwijs aan de hand van door studenten ingevulde evaluatieformulieren is een ontoereikende methode. Bovendien leidt het tot zeer ongewenste effecten, zo betoogt Menno van der Schoot (Vrije Universiteit). "Een consumentistische benadering van onderwijs staat het gesprek over kwaliteit in de weg." Hij pleit voor een een benadering waarbij ook collega-docenten een belangrijke rol spelen.

Onderwijs moet meetbaar zijn. Pas dan kun je een verantwoorde uitspraak doen over onderwijskwaliteit en de vraag of er verandering nodig is. En alleen door te meten kun je erachter komen of die verandering ook een verbetering is. Dit is, in een notendop, de kern van het management- en meetbaarheidsdenken dat het hoger onderwijs al geruime tijd in zijn greep heeft. Waar de kwantificatiedrang in het hoger onderwijs toe kan leiden wordt treffend geïllustreerd door de (online) cursusevaluaties aan de hand waarvan veel universiteiten hun docenten en cursussen beoordelen.

Een scriptiebeoordeling past niet in een schema

Na afloop van een cursus scoren studenten hun docent(en), direct of indirect, op een groot aantal criteria. Deze zijn onderverdeeld in categorieën als inhoud, organisatie, hoorcolleges, werkgroepen, werkvormen, opdrachten, onderwijsmaterialen, tentamen, en, last-but-not-least, de didactische kwaliteiten van de docent(en). Per criterium worden de scores van een docent afgezet tegen die van zijn collega’s (lees: tegen het facultaire- en universitaire gemiddelde) of tegen een, vooraf bepaalde, absolute streefwaarde.

Dit levert, in ieder geval op sommige faculteiten, een rapport vol tabellen, grafieken en taartdiagrammen op dat aan de basis ligt van de evaluatie van de evaluatie-uitkomsten. Scoort de docent onvoldoende ten opzichte van de gestelde normen dan wordt hij op het matje geroepen en geacht met verbetermaatregelen ten aanzien van zijn onderwijs te komen. Zo simpel is het eigenlijk.

Maar welke en hoeveel waarde moet er eigenlijk worden gehecht aan dit soort cursusevaluaties? Dit is een legitieme vraag alleen al vanwege het feit dat een (reeks van) negatieve evaluatie(s) voor vooral beginnende docenten een negatieve invloed kan hebben op het vervolg van hun loopbaan. Het lijkt een objectieve beoordeling maar is het dat ook, en van wat?

Cursusevaluaties niet vrij van controverse

Kritiek op cursusevaluaties is niet nieuw. Diverse aspecten ervan zijn eerder aan de kaak gesteld, zoals hun anonieme karakter, het belang van een juiste vraagselectie en -formulering, en de onrechtvaardigheid die terecht wordt ervaren wanneer cursusevaluaties verworden tot een populariteitspoll Niemand zal betwisten dat de meer entertainende docenten dan in het voordeel zijn boven de gedegen-maar-op-het-eerste-gezicht-misschien-wat-saaie docenten, helemaal als de entertainers een sexy vak geven dat ze kunnen oppimpen met veel multimediale toeters en bellen. En dat is buitengewoon onrechtvaardig tegenover de docent statistiek, of welk ander droog-maar-belangrijk vak dan ook, die zich voor de zoveelste keer moet verantwoorden voor een ‘onvoldoende’ voor een goed doordachte, goed gestructureerde, state-of-the-art cursus over, ik noem maar wat, de principes en toepassingsmogelijkheden van itemresponsmodellen (zie bijvoorbeeld Feistauer & Richter, 2017). .

“”Welke en hoeveel waarde moet er eigenlijk worden gehecht aan cursusevaluaties?””

Maar vooral de betrouwbaarheid en validiteit van cursusevaluaties moe(s)ten het ontgelden (zie bijvoorbeeld Spooren et al., 2013). Het voornaamste kritiekpunt is dat niet kan worden uitgesloten dat de antwoorden van studenten afhangen van allerlei zaken die niet of slechts in geringe mate verband houden met de inhoudelijke of didactische aspecten van de cursus. Denk daarbij aan het moment van afname, de ervaren studielast, de persoonlijke affiniteit met het onderwerp en de werkvorm, de uitstraling van en klik met de docent, maar ook aan externe factoren zoals het weer.

Goed onderwijs is niet hetzelfde als leuk onderwijs

Maar zelfs als je aanneemt dat studenten zich bij hun oordeel niet laten leiden door subjectieve ruis, blijft de vraag gerechtvaardigd of zij wel de aangewezen personen zijn om een inhoudelijk kwaliteitsoordeel te vellen over het geboden onderwijs. Uit een recent overzichtsartikel blijkt dat studenten weliswaar waardevolle feedback kunnen geven over de randvoorwaarden van effectief onderwijs – denk aan de  benaderbaarheid van de docent en de leesbaarheid van zijn PowerPointpresentaties, maar minder goed zijn toegerust voor het vormen van oordelen die buiten de grenzen van hun eigen concrete ervaringen met een cursus strekken (Hornstein, 2017). Vooral eerstejaarsstudenten blijken nog weinig bedreven in het beoordelen van de onderwijscompetenties en vakkennis van hun docent.

Sommige onderzoekers gaan nog een stap verder door te stellen dat studenten hun oordelen vooral laten afhangen van of zij hun cursuservaringen ‘enjoyable’ vonden (zie bijvoorbeeld Braga et al., 2014). Mocht deze stelling kloppen, dan zou dat slecht nieuws zijn voor de belangrijkste aanname die aan cursusevaluaties ten grondslag ligt, namelijk dat ‘goed onderwijs’ onderwijs is dat door studenten goed wordt geëvalueerd. Deze aanname is immers moeilijk vol te houden wanneer zou blijken dat cursusevaluaties meer een measure of liking dan een measure of learning zijn. ‘Goed onderwijs’ is niet hetzelfde als ‘leuk onderwijs’.

Tel daarbij het onderzoek op dat suggereert dat studenten slechts matig van zichzelf kunnen inschatten of ze veel geleerd hebben van een cursus (zie bijvoorbeeld Tai et al., 2017), en je begrijpt de meest gestelde kritische vraag over studentevaluaties: zijn de studentscores behalve een bruikbare maat voor studenttevredenheid ook een betrouwbare afspiegeling van de kwaliteit en doelmatigheid van het gegeven onderwijs?

Het ligt niet (alleen) aan de student

Bovenstaande factoren verklaren mede waarom wetenschappers er maar niet in slagen om een hard verband aan te tonen tussen de uitkomsten van cursusevaluaties enerzijds en de kwaliteit van het geëvalueerde onderwijs en de gerealiseerde studieresultaten/leerrendementen anderzijds. Uit een recente overzichtsstudie van Canadese wetenschappers blijken deze verbanden bij grotere steekproeven zelfs geheel te verdampen (Uttl et al., 2017).

“”Geen docent zal met droge ogen kunnen beweren dat zijn studenten vooral geïnteresseerd zijn in ‘leuk onderwijs’.””

Toch wil dit niet zeggen dat de oorzaak hiervan altijd bij de studenten gezocht moet worden. Integendeel. Geen docent zal met droge ogen kunnen beweren dat zijn studenten vooral geïnteresseerd zijn in ‘leuk onderwijs’. Mijn ervaringen wijzen eerder op het tegendeel. Moeilijke en veeleisende onderwerpen/opdrachten zijn voor studenten eerder een uitdaging dan een ‘moetje’. Ik geloof er dan ook niets van dat studenten het aangeboden onderwijs beoordelen aan de hand van het criterium ‘leuk’. Studenten beseffen terdege dat het invullen van een evaluatieformulier een serieuze aangelegenheid is, en in de meeste gevallen kaarten zij dan ook reële problemen en knelpunten aan die in hun ogen meer aandacht behoeven.

Kwantiteit verdringt kwaliteit

Het lijkt, kortom, onwaarschijnlijk dat het ontbreken van een verband tussen evaluatie-uitkomsten en hardere, objectievere maten van onderwijskwaliteit hoofdzakelijk toe te schrijven is aan de (vermeende) gebreken in de studentoordelen. Er moet meer aan de hand zijn.

En dat is ook zo. In mijn ogen gaan cursusevaluaties gepaard met een ander, fundamenteler probleem. De wijze waarop veel cursusevaluaties in het hoger onderwijs worden opgezet en gebruikt kan leiden tot een te cijfermatige benadering van onderwijskwaliteit. Hierdoor dreigt de kwalitatieve waardering van input (lees: de ideeën achter de leerdoelen, inhoud, didactiek en toetsing van het gegeven onderwijs) onder te sneeuwen onder een kwantitatieve fixatie op output (lees: de getallen en de visuele weergave daarvan in een evaluatierapport).

Hieronder licht ik toe waarom ik mij juist over dit (sluipende) gevaar zorgen maak. Daarbij spreek ik uit ervaring en met hand in eigen boezem: een groot deel van het afgelopen decennium heb ik in het kader van borging en verbetering van onderwijs- en toetskwaliteit uitkomsten van cursusevaluaties beoordeeld, eerst als lid van de opleidingscommissie, nu als voorzitter van de examencommissie.

Signaalfunctie

Onderwijskwaliteit is een buitengewoon breed en abstract begrip, en discussies over de vraag wat ‘goed onderwijs’ is, zijn zo oud als het onderwijs zelf. Maar hoe je kwaliteit ook definieert (leeropbrengsten, studiesucces, studenttevredenheid, leer- en schoolklimaat, et cetera), en hoe (moeilijk) meetbaar de verschillende aspecten van deze definities ook zijn, één ding lijkt zeker. De invloeden van studentkenmerken Denk aan: studieprestaties in de vooropleiding, geslacht, intelligentie, motivatie, voorkennis, interesse, planningsvaardigheden en doorzettingsvermogen. , docentkenmerken en leeromgevingkenmerken, én alle interacties hiertussen, op onderwijs zijn dusdanig veelzijdig en complex dat kwaliteit zich niet zomaar laat vangen in een droge verzameling plussen en minnen die door studenten zijn toegekend aan een standaardlijst van vooraf vastgestelde beoordelingscriteria.

Je moet dus voorzichtig zijn met het toekennen van al te veel gewicht aan de rapportcijfers die door studenten zijn uitgedeeld, ook als je ervan uitgaat dat studenten hun oordelen ongekleurd hebben kunnen en willen geven. Cursusevaluaties zouden daarom vooral een signaalfunctie moeten hebben, in de zin dat het uiteindelijke gemiddelde scoreprofiel als een indicatie kan worden gezien dat er iets aan de hand is met de wijze waarop een docent zijn onderwijs heeft ingevuld en vormgegeven.

Een cursusevaluatie vormt, zo opgevat, een bron van informatie waar vooral de docenten zélf, daartoe al dan niet aangespoord en ondersteund door anderen, uit kunnen putten om hun onderwijs te verbeteren. Kortom, de cursusevaluatie als ontwikkelingsgericht feedbackinstrument.

Institutionalisering van onderwijsevaluatie

En dat is precies waar het mis is gegaan sinds de universiteiten ten prooi zijn gevallen aan de neoliberale denkwijze van het New Public Management, zoals de golf van op ‘bedrijfsmatige efficiency’ gerichte hervormingen in de (semi-)publieke sector sinds de jaren 90 wordt genoemd. Het vertrouwen in en de autonomie van professionals zijn vanaf dat moment steeds meer in de verdrukking geraakt door de opkomst van een managementcultuur waarin output-sturing, prestatiemeting, controle en vergelijkbaarheid centraal staan (zie ook van Heest, 2018).

Ook de zorg voor onderwijskwaliteit is geleidelijk aan verschoven van de docent naar het management. En zo kon het gebeuren dat cursusevaluaties gedurende de laatste twee decennia steeds meer in dienst zijn gesteld van controle, verantwoording, beoordeling en vergelijking (op opleidings- en facultair niveau), en steeds minder zijn gebruikt voor doeleinden van feedback, ontwikkeling en verbetering (op individueel niveau) (zie ook Scager et al., 2019). Deze institutionalisering van de evaluatie van onderwijskwaliteit heeft twee onwenselijke effecten met zich meegebracht.

“”De zorg voor onderwijskwaliteit is geleidelijk aan verschoven van de docent naar het management.””

Aangejaagd door de efficiency- en vergelijkingsdrift van het New Public Management worden evaluatieformulieren doorgaans uniform toegepast in álle vakken binnen een faculteit of zelfs universiteit. In de praktijk betekent dit dat docenten de criteria waarop studenten hun vak beoordelen weliswaar kunnen toesnijden op de onderwijs-, werk- en toetsvormen die zij hebben gebruikt, maar niet op het vak zélf, of slechts in beperkte mate (in het geval zij in de gelegenheid worden gesteld om vragen toe te voegen). Het gevolg is dat de kwalitatieve feedback die studenten willen geven op de specifieke, onderscheidende kenmerken van een vak — in elk geval deels — verloren gaat in de uniformiteit van de evaluatiecriteria.

Ja, studenten kunnen op de meeste (maar niet alle) universiteiten hun mening kwijt in de daartoe bestemde ruimte voor opmerkingen (een mogelijkheid waar slechts een deel van hen gebruik van maakt). Maar deze telt niet mee voor het kwantitatieve hart van de evaluatie, het deel dat uiteindelijk de basis vormt van de uitkomsten (d.w.z., hoe ‘goed’ is het vak beoordeeld?). De getallen, tabellen, grafieken en/of taartdiagrammen waarin die uitkomsten worden uitgedrukt ontnemen daardoor het zicht op de context van het geëvalueerde onderwijs en het eigen gezicht dat een docent daar, vanuit zijn vakmanschap, aan gegeven heeft.

Onderwijsverbetering en onderwijsbeoordeling

Maar er treedt nog een — potentieel gevaarlijker — mechanisme in werking wanneer cursusevaluaties primair worden gebruikt als een instrument om docenten (op basis van kwantitatieve gegevens) te beoordelen. Het onderwijsmanagement creëert in dat geval namelijk het even ongewenste als onvermijdelijke neveneffect van meten aan de outputkant van een systeem (in dit geval onderwijs), namelijk een omkering van de doel/middel-relatie tussen meting en gedrag. In de praktijk manifesteert die omkering zich in een kettingreactie van gedrag die, zoals ik hieronder zal betogen, uiteindelijk enkel verliezers oplevert.

Het begint ermee dat we cijfers plakken op het didactisch functioneren van docenten. Die cijfers leiden vervolgens, bij docenten én management, tot een begrijpelijke, want menselijke, drang om te ‘scoren’ (of angst om te ‘falen’) op onderwijs. En zo worden kwaliteitsindicatoren die ooit bedoeld waren als middel om primaire onderwijsprocessen beter te begrijpen en te verbeteren opeens een doel op zich. Met als gevolg dat (een deel van) de actoren in het systeem zich gaan richten op het behalen van bepaalde kwantitatieve streefwaarden die aan die doelen gekoppeld raken.

Zo worden ‘goede’ en ‘slechte’ scores die bijvoorbeeld boven en beneden het universitaire gemiddelde plus en min éénmaal de standaarddeviatie vallen door sommige faculteiten visueel geaccentueerd, bijvoorbeeld doordat ze, in een grafiek, létterlijk aan de goede of verkeerde kant van de streep zitten, of door ze een groene en rode kleur te geven.

“”Kwantitatieve prestatie-indicatoren meten niet alleen gedrag maar sturen het ook.””

De uitwerking van dit soort meet- en vergelijkingsdrang laat zich raden. Daartoe expliciet, maar vaker impliciet, aangemoedigd door hun examencommissie en opleidingsmanagement zullen sommige (dus zeker niet alle) docenten begrijpelijkerwijs proberen zoveel mogelijk ‘groene vinkjes’ op hun onderwijsrapport te krijgen. Aangenomen mag worden dat dit hen zal aanzetten tot een calculerende doceerstijl, in de zin dat zij de inhoud en vorm van hun onderwijs (deels) zullen afstemmen op de verwachte voorkeuren van studenten. Hoewel gunstig voor hun status als ‘goed scorende’ docenten, is het niet gewaagd te stellen dat zo’n strategische aanpak de kwaliteit en professionele eigenheid van, en differentiatie in, hun onderwijs niet zal bevorderen.

Het is de klassieke valkuil van het management- en meetbaarheidsdenken: kwantitatieve prestatie-indicatoren meten niet alleen gedrag maar sturen het ook (en lang niet altijd in de goede richting).

Daar komt bij dat het beschouwen van een ‘groen rapport’ als een ‘behaald afsluitend resultaat’ ondermijnend kan zijn voor de bereidheid (en wellicht het vermogen) tot een kritische reflectie op wat de afgelopen cursusperiode goed is gegaan en wat beter kan. En omgekeerd geldt ook dat de angst voor, en teleurstelling en frustraties na, een ‘rood rapport’ de vraag verdringen wat ‘onvoldoendes’ feitelijk zeggen over de onderwijswerkelijkheid en de eventuele verbetermogelijkheden daarvan.

Gebruik instrumenten die bedoeld zijn voor onderwijsverbetering dus niet, of slechts in beperkte mate, voor onderwijsbeoordeling. Je ontloopt dan immers het risico dat de kwantitatieve indicatoren ontkoppeld raken van de primaire processen die ze beoogden te meten en een ‘ding an sich’ worden.

Zichtbaar maken van kwaliteit

Dit alles roept de vraag op waarom er relatief weinig gebruik wordt gemaakt van alternatieve methoden om onderwijskwaliteit zichtbaar te maken en te verbeteren. Methoden die niet gebaseerd zijn op cijfermatig vergelijken maar op simpele kwalitatief-narratieve uitgangspunten. In de praktijk worden al verschillende vormen van onderwijsevaluatie toegepast waarbij studenten gewoonweg vertellen wat ze van het onderwijs vinden, en hoe het naar hun idee verbeterd zou kunnen worden. Denk aan de panelgesprekken die opleidingen voeren met jaarvertegenwoordigers, aan de adviserende en terugkoppelende rol van studentleden in opleidingscommissies, of aan de studentfeedback die wordt verzameld door tutoren die werkgroepen begeleiden.

Desalniettemin constateer ik dat vooral docenten/vakcoördinatoren zélf meer initiatief zouden kunnen nemen — maar ook: door het management meer aangemoedigd zouden kunnen worden — om, na afloop van, maar vooral ook tijdens hun vak, de dialoog met studenten te bevorderen. Lang niet alle docenten organiseren gespreksplatforms in de vorm van, bijvoorbeeld, studentenklankbordgroepen, focusgroepsgesprekken, collegeresponsgroepen of online feedback groups (in het corona-tijdperk) met als doel in te schatten of hun onderwijs het beoogde effect heeft (gehad), en of bijsturing gewenst is (nog binnen dezelfde cursusperiode of in de volgende jaargang).

De context van het oordeel

Door middel van dialoog en interactie kan betekenisvol inzicht worden verkregen in hoe studenten  de verschillende aspecten van het onderwijs (hebben) ervaren en beoordelen Hoe pakten de door de docent gekozen opdrachten, werkwijzen en begeleidingsvormen in de praktijk uit? Welke onderdelen van de lesstof vonden studenten interessant, welke (te) makkelijk of (te) moeilijk, en op welke onderdelen zouden ze meer uitleg of oefening willen? Is de samenhang tussen de onderwerpen duidelijk geworden? Welke onderwerpen hebben ze gemist? Welke aspecten van de onderwijsleeromgeving stimuleerde dan wel belemmerde het (actief) leren? Et cetera. . Betekenisvol, omdat deze manier van evaluatie ook zicht geeft op de achtergronden van de ervaringen alsmede de motiveringen van de oordelen.

“”Docenten en vakcoördinatoren zouden zélf meer initiatief kunnen nemen, maar daar ook toe aangemoedigd kunnen worden.””

En daarin schuilt het grote verschil met een kwantitatief georiënteerde (achteraf-)evaluatie. Aan een cijfermatig evaluatierapport kun je immers nauwelijks conclusies verbinden zonder ook de context te kennen waarbinnen de studentoordelen moeten worden geplaatst. Dat 73% van de studenten aankruiste dat het studiemateriaal ‘te moeilijk’ was, zegt op zichzelf niet zo veel. De vraag is waaróm. Omdat het in het Engels was? Vonden de studenten het materiaal te theoretisch? Te onsamenhangend? Was het aanbod te versnipperd? Werd het materiaal onvoldoende toegelicht in de hoorcolleges/werkgroepen? Hebben ze te weinig geleerd in voorgaande vakken?

De uitkomsten van een kwantitatieve evaluatie zijn alleen goed interpreteerbaar als je ook áchter de door de studenten toegekende cijfers kunt kijken. Maar zelfs dan geven zij geen zekerheid. Misschien heeft de docent het (voorkennis)niveau van de studenten wel verkeerd beoordeeld? En, ook niet onbelangrijk: wat zegt een lage score op ‘studiemateriaal’ eigenlijk over de leerzaamheid ervan?

De context van het beoordeelde

Wat geldt voor de context van het oordeel, geldt ook, en misschien nog meer, voor de context van het beoordeelde, het vak zelf. De getallen, en visuele weergave daarvan in tabellen en grafieken, in een evaluatierapport zeggen weinig wanneer je niet ook achter de schermen hebt gekeken (of hebt kunnen kijken) van het geëvalueerde onderwijs. Het (helpen) evalueren en verbeteren van de kwaliteit van een vak begint met het (leren) kénnen van het vak. En daartoe zul je verder moeten kijken dan papier.

Wat is de ontwikkelgeschiedenis van het vak en welke lessen heeft de docent getrokken uit eerdere ervaringen rondom de kwaliteitsverbetering ervan? Wat waren zijn ideeën achter de inhoudelijke en didactisch opzet van het vak? In hoeverre heeft hij gezocht naar synergie en complementariteit met de inhoud van het onderwijs van zijn collega-docenten? Maar denk ook aan vragen die meer algemene opvattingen van de docent over leren en onderwijzen in kaart brengen. Welke definitie van ‘goed onderwijs’ hanteert hij? Wat is zijn visie op 21ste-eeuws onderwijs in onze snel veranderende digitale kennissamenleving? Op welke wijze geeft hij deze visie in zijn onderwijs gestalte? In hoeverre en hoe neemt hij eigenaarschap over (de kwaliteit van) zijn onderwijs, en vult hij het in op een manier dat het er in zijn ogen toe doet? Wat doet hij om zijn onderwijs actueel en up-to-date te houden? Et cetera.

Om een antwoord op dit soort vragen te krijgen zal het opleidingsmanagement een doorlopend, ontwikkelingsgericht ‘goed gesprek’ moeten voeren met docenten. Daarbij zal het zich meer moeten richten op wat docenten ín hun vak stoppen, en minder op hoe ze er op ‘scoren’. Nu wordt door de fixatie op de óutputkant van onderwijs nog te vaak over het hoofd gezien hoe docenten het hebben íngevuld, en welke afwegingen zij daarbij, binnen hun vakmanschap, hebben gemaakt. En dat is jammer. Voor een effectieve kwaliteitszorg en -borging van onderwijs is het belangrijk dat het eigen gezicht dat docenten aan hun vak hebben gegeven niet verloren gaat in de uniformiteit en standaardisatie van de evaluatiemethode. Goed zicht op de input van onderwijs is een voorwaarde om haar output/opbrengsten op waarde te kunnen schatten.

De verleidelijkheid van data

Uit ervaring weet ik hoe moeilijk het is om voorbij de cijfers te kijken. De getallen, tabellen, grafieken en taartdiagrammen in een evaluatierapport wekken een schijn van objectiviteit en betrouwbaarheid. De verleiding om er in beleid op te sturen is dan ook groot, net als het gemak om je er achteraf, in de verantwoording, achter te verschuilen De uitdaging voor elke onderwijsmanager/-bestuurder op elk niveau is dus om niet ten prooi te vallen aan de zogenaamde fallacy of accountability, door Stefan Collini, hoogleraar intellectuele geschiedenis aan de Universiteit van Cambridge en vooraanstaand criticus van de neoliberalisering van het hoger onderwijs, ooit omschreven als ‘the belief that the process of reporting on an activity in the approved form provides some guarantee that something worthwhile has been properly done (What Are Universities For?, 2012, p.108). Waar deze redeneerfout toe kan leiden, is eerder treffend verwoord door Floris van der Burg, universitair docent filosofie aan het University College Utrecht: ‘Dit denken leidt ertoe dat diegenen in de universitaire hiërarchie die verantwoordelijk zijn voor de kwaliteit van het onderwijs zich tevreden kunnen stellen door zelf verantwoording af te leggen voor het erop toezien dat de regels van de cursusevaluaties worden nageleefd. Op deze manier kan het zo zijn dat er al heel lang niet meer wordt nagedacht over hoe we de kwaliteit van het onderwijs werkelijk kunnen verbeteren, maar slechts over hoe de nummertjes voldoen aan de eisen van de overheid. Zolang de kwaliteitscontrole-cyclus maar rond is, is er niets aan de hand.’ (Jij bent een slechte docent, want je hebt een lage cursusevaluatie, blog op de Docentencommunity van de Teaching Academy Utrecht University, 30 september 2016) .

Op basis van de in dit artikel gepresenteerde analyse meen ik dat sturen op evaluatie-uitkomsten alleen zinvol is als de beoordelende persoon of commissie korte lijntjes heeft met (de docent van) het geëvalueerde vak, en bovendien aan de rapportcijfers niet meer dan een, sterk contextgebonden, signaalfunctie toekent. Voor een persoon- of commissie-op-afstand kan toegeven aan de seductive allure of data vergaande gevolgen hebben gezien de beperkte scope en lastige interpreteerbaarheid van de evaluatie-uitkomsten en het daaruit voortvloeiende risico op verkeerde conclusies en aanbevelingen.

Verhalen vertellen meer dan cijfers

Alles overziend concludeer ik dat de getallen, tabellen en grafieken in een evaluatierapport een beperkte eigenstandige betekenis hebben zolang je deze niet verbindt aan het verhaal achter de cijfers. Wat de vraag oproept of je met het achterhalen van ‘het verhaal’ alléén niet al een heel eind komt in het bewaken en bevorderen van onderwijskwaliteit? Gewoon, door met elkaar te praten.

Bijkomend voordeel van een hoofdzakelijk dialogisch-narratieve benadering is dat het tegenwicht biedt aan een trend die hand in hand met het New Public Management is opgekomen en waarbij studenten steeds meer terecht zijn gekomen in de rol van ‘consument’ van het ‘product’ onderwijs (zie ook Scager et al., 2019). Maar deze positionering van de student doet het onderwijs ernstig tekort. Uit onderzoek weten we dat studentbetrokkenheid een belangrijke voorspeller is van studiesucces (zie bijvoorbeeld Ketonen et al., 2016). Onderwijs gedijt het beste bij studenten die zich verbonden voelen met hun onderwijsomgeving en in staat worden gesteld om (in het geval van tweedejaars en hoger) constructief mee te denken en praten.

“”Onderwijs gedijt het beste bij studenten die zich verbonden voelen met hun onderwijsomgeving en in staat worden gesteld om mee te denken en praten.””

Een consumentistische benadering van onderwijs staat dit doel in de weg. Sterker nog, deze draagt eerder bij aan een cultuur van afstand, klagen en op-de-man-spelen dan aan een cultuur van betrokkenheid, studieplezier en interactie. Voor het creëren van een continue dialoog tussen studenten en docenten over het verloop van een cursus is het daarom van belang dat studenten bovenal worden beschouwd als belanghebbend onderdeel van een onderwijssysteem, niet als afnemer ervan.

En dan helpt het niet als een cursusevaluatie wordt behandeld, ook al is het impliciet, als een kwantitatief ‘klanttevredenheidsonderzoek’ achteraf. Binnen een student als stakeholder-benadering daarentegen staan de evaluatie-uitkomsten in dienst van de dialoog (student/docent, management/docent) en worden zij ‘slechts’ ingezet als hulpmiddel bij het, op individueel docentniveau, signaleren van knelpunten, geven van feedback, en ontwikkelen en verbeteren van onderwijs.

Peer review op onderwijs

Behalve de narratieve feedback die docenten krijgen uit interacties met studenten en leidinggevenden zijn er meer bronnen van informatie aan te boren die kunnen helpen bij het in beeld brengen en verbeteren van de kwaliteit van onderwijs.

Zo kunnen docenten ook bij elkaars (al dan niet online) hoorcolleges en werkgroepen gaan zitten om die vervolgens aan de hand van een aantal – al dan niet vooraf geformuleerde – aandachtspunten na te bespreken (peer review/peer feedback). Dat hier behoefte aan is blijkt uit een onderzoek van VU-wetenschapper Christine Teelken. Zij ondervroeg docenten in het hoger onderwijs naar hun ervaringen met cursusevaluaties en concludeerde daaruit dat zij een voorkeur hebben voor een meer subjectieve perceptie en beoordeling van onderwijskwaliteit, in plaats van de huidige mechanistische, (schijn)objectieve aanpak (Teelken, 2018). Docenten gaven aan meer mondelinge feedback te willen op hun onderwijs, bijvoorbeeld in de vorm van een goed doordacht systeem van peer review/peer feedback.

Of je kiest voor het instrument van collegiale intervisie, waarbij docenten elkaar helpen en ondersteunen bij het systematisch analyseren en oplossen van problemen die ze vanuit hun eigen onderwijspraktijk inbrengen. Net als bij peer review/peer feedback is het hierbij waardevol om niet alleen in gesprek te gaan met de naaste collega’s, maar om ook over de muren van de eigen opleiding te kijken, en ervaringen en ideeën uit te wisselen met collega-docenten van andere opleidingen, faculteiten en universiteiten. Dit stimuleert het in vraag stellen (en waar nodig doorbreken) van de eigen onderwijskundige routines en conventies, en het verkennen van nieuwe didactische concepten en werkwijzen.

“”Docenten hebben behoefte aan een meer subjectieve beoordeling van onderwijskwaliteit.””

Naast of in aanvulling op peer review/peer feedback en collegiale intervisie kan ook worden gedacht aan een vorm van (mentor)coaching waarbij een senior docent gedurende een bepaalde onderwijsperiode wordt gekoppeld aan een junior docent. Beiden kunnen van elkaar leren. De junior docent wordt behoed voor de typische valkuilen bij het geven van hoorcolleges/werkgroepen/practica en profiteert van de ervaring van de senior docent, die op zijn beurt profiteert van de kritische vragen die de junior docent inbrengt. Juist omdát de junior docent nog niet precies weet hoe de dingen gaan, kan hij er met een frisse blik naar kijken. Dit kan verrassende, nieuwe inzichten opleveren die de senior docent vervolgens zouden kunnen aanzetten tot een heroverweging van de inrichting van bestaand onderwijs.

Instrumenten als peer review/peer feedback, collegiale intervisie en (mentor)coaching zouden wat mij betreft een structureler onderdeel moeten worden van onze onderwijskwaliteitszorg, ongeacht of we deze nu inzetten als aanvulling op, in integratie met, of in de plaats van cursusevaluaties Ik hoor u al denken: dit kunnen docenten er niet ook nog bij hebben, in deze tijd van (al dan niet corona-gerelateerde) werkdruk en burn-outs. En ik geef u groot gelijk. Des te meer reden om een begin te maken met het – verantwoord – afbouwen van de controle-industrie die de laatste twee decennia rond onderwijs (en onderzoek) is opgetuigd, met alle daarmee gepaard gaande regel- en administratiedruk van dien. De tijd die daarmee vrijkomt, kan vervolgens worden ingezet bij het daadwerkelijk, met elkaar, verbeteren van primaire onderwijsprocessen. .

Er lijkt faculteiten/universiteiten in elk geval weinig in de weg te staan om de kwaliteit van onderwijsprocessen te evalueren en verbeteren zonder te vervallen in allerlei heilloze, op louter student-input gebaseerde, cijfermatige exercities. De dagelijkse onderwijspraktijk is te complex, veelzijdig en weerbarstig om op een smalle basis van vraaggemiddeldentabellen en taartdiagrammen op kwaliteit te beoordelen.

Corona-disclaimer: Dat universiteiten in deze tijd van corona zijn overgeschakeld op online onderwijs doet in principe weinig af aan de strekking van dit artikel. Voor de beantwoording van de vraag hoe studenten het beste feedback kunnen geven op de aangeboden onderwijs- en werkvormen, is het van ondergeschikte betekenis of de leeractiviteiten online of fysiek (in de klas) zijn uitgevoerd. Tegelijkertijd realiseer ik mij dat de behoefte en nood aan debat over (digitale) onderwijsontwikkeling voorlopig groter zal zijn dan die aan debat over onderwijsevaluatie.

Menno van der Schoot :  Universitair hoofddocent

Menno van der Schoot is als universitair hoofddocent verbonden aan de afdeling Pedagogische- en Onderwijswetenschappen aan de Faculteit der Gedrags- en Bewegingswetenschappen van de Vrije Universiteit Amsterdam. Zijn onderzoek richt zich op het in kaart brengen en bevorderen van leerprocessen op het domein van begrijpend lezen en rekenen.