Een duwtje in de rug van leraar helpt leerling aan diploma

Jaarlijks slagen 1400 leerlingen voor hun herexamen dankzij een gunstige beoordeling van de eigen leraar

Nieuws | door Sicco de Knecht
21 januari 2019 | Onderzoekers van de Vrije Universiteit deden onderzoek naar de vraag of de beoordelingsruimte die de eigen leraar heeft ook daadwerkelijk benut wordt om leerlingen te laten slagen. Dat blijkt het geval te zijn, maar alleen bij het herexamen.

Nabij de kritieke cijfergrenzen maken leraren gebruik van de beoordelingsruimte om leerlingen te laten slagen voor hun herexamen. Ze doen dat wanneer ze weten wat de normering is, en als de leerling dat zetje nodig heeft om te slagen. Dat blijkt uit onderzoek van Ilja Cornelisz, Martijn Meeter en Chris van Klaveren (Vrije Universiteit) dat zij in opdracht van het ministerie van OCW hebben uitgevoerd.

Uit een analyse van de herexamencijfers tussen 2007 en 2012 van alle leerlingen die een herkansing nodig hadden om alsnog te slagen blijkt dat jaarlijks ongeveer 1400 van de 12.000 geslaagde herkansers dit te danken hebben aan de ruimhartige beoordeling van de leraar. Minister Arie Slob wil nu van Cito en het College voor Toetsen en Examens (CvTE) advies over hoe het verschil in de informatiepositie van de leraar tussen het examen en het herexamen geminimaliseerd kan worden.

Van een 5,4 naar een 5,5

Zo lang het centraal eindexamen bestaat, is er discussie over de betrouwbaarheid. Verwonderlijk is dat niet voor een nationaal meetmoment dat bijna elke Nederlander een keer meemaakt. Naast de jaarlijkse berichten over de kwaliteit van de vragen is er nog die andere discussie die steeds de kop opsteekt: is de beoordelaar wel te vertrouwen? In 2012 leidde onderzoek van Cito naar de beoordelingspraktijk nog tot Kamervragen en maatregelen van staatssecretaris Sander Dekker.

Want alhoewel Cito zich ten doel stelt om valide examens te maken, geldt dat als leraren subjectief beoordelen de examenresultaten niet valide hoeven te zijn. Uiteindelijk zijn het de duizenden leraren die jaarlijks het centraal schriftelijk eindexamen moeten beoordelen. “Die leraren hebben een zekere ruimte waarbinnen ze kunnen oordelen of een antwoord goed is en hoeveel punten ze eraan toekennen,” licht onderzoeker Ilja Cornelisz toe. “Daarmee is de beoordeling per definitie al niet meer puur ‘objectief’.”

“”Leraren hebben de ruimte om te beoordelen of een antwoord goed is. Daarmee is het per definitie niet objectief.””

Ilja Cornelisz

De relevante vraag is echter tot in hoeverre deze ‘beoordelingsruimte’ ook daadwerkelijk wordt benut om herkansers alsnog te laten slagen, bijvoorbeeld om een leerling van een 5,4 naar een 5,5 te helpen. “Naar die vraag is in Nederland nog geen gedegen onderzoek gedaan,” vertelt Van Klaveren “In ieder geval niet op basis van de examencijfers zelf.”

Hoe werkt het ook alweer?

In eerste instantie worden alle examens en herexamens door de eigen (vak)leraar van de kandidaat nagekeken: de eerste corrector. Deze stelt het puntenaantal vast en upload de gegevens in een elektronisch systeem van het CvTE. Vervolgens is er een tweede corrector, een onbekende, die controleert of het examen goed is nagekeken. Bij een herkansing is de opzet in principe hetzelfde.

Het Cito doet er alles aan om het examen en het herexamen in opzet zo veel mogelijk op elkaar te laten lijken. “De vragen zijn natuurlijk wel anders,” vertelt Cornelisz “maar het aantal te behalen punten en de verhouding open en gesloten vraag is hetzelfde.” Er is echter een belangrijk verschil. “Ten tijden van het herexamen is de normering van dat jaar voor een specifiek vak inmiddels bekend.” Dit in tegenstelling tot de examens in het eerste tijdvak. Om uit te zoeken of deze informatiepositie De kennis over het exact benodigd aantal punten voor een bepaald cijfer, ofwel de normering (N-term). van invloed is op de beoordeling analyseerden ze de examen- en herexamencijfers van alle leerlingen die tussen 2007-2012 eindexamen deden.

Daarbij vergeleken ze de verdeling van de cijfers van de examen en herexamen. Waar de cijfers voor het examen nagenoeg normaal verdeeld is, is er bij het herexamen een ‘discontinuïteit’ – een knik – te zien in de verdeling. “Deze observatie trok in eerste instantie ook zeker onze aandacht,” vertelt Cornelisz. “Maar je kunt dan nog niet simpelweg stellen dat dit door de beoordeling van de leraar komt.”

De cijferverdeling van alle herkansers tussen 2007 en 2012. In blauw de cijfers die gehaald werden in de eerste termijn (examen) en in rood de cijfers uit de tweede termijn (herexamen). De 5,5 is de kritieke grens voor een voldoende.

Van Klaveren legt uit dat er drie mogelijke redenen zijn waarom de verdeling rondom de ‘kritieke grenzen’ onregelmatigheden vertoont. “Ten eerste kun je bij een herexamen nooit lager halen dan bij het examen. Dat zijn nu eenmaal de regels en dat zie je uiteraard terug in de verdeling.”

“Ten tweede ligt het voor de hand dat leerlingen bij een tweede poging hun beste beentje voorzetten.” Het valt volgens Van Klaveren dus te verwachten dat de verdeling bij het herexamen anders is dan bij het examen. “Het ligt voor de hand dat er onder de herkansers leerlingen zaten die bij de eerste poging ‘hun dag niet hadden’ en de tweede keer beter presteerden.”

Het antwoord zit in de vragen verscholen

Het (positief) benutten van de beoordelingsruimte kan natuurlijk wel degelijk van invloed zijn op de cijfers. De vraag is echter in welke mate? Cornelisz: “De data biedt ons in dit geval de mogelijkheid om die vraag ook te beantwoorden.” Om de beoordelingsruimte te benutten moet de leraar daar namelijk wel letterlijk ‘de ruimte’ voor hebben: een mogelijkheid die optreedt bij open vragen.

“We weten dat sommige leerlingen een herexamen maken dat relatief veel open vragen bevat, terwijl andere leerlingen een herexamen maken met veel gesloten vragen,” vertelt Cornelisz. “Als je op basis van die maat de cijfers van de herexamens vergelijkt, dan zie je dat de discontinuïteit aanzienlijk groter wordt als het aandeel open vragen stijgt.”

De cijferverdeling voor herexamens met relatief veel gesloten vragen (<20% openness) en relatief veel open vragen (>80% openness) vertonen grote verschillen. Let op: dit zijn dus bij lange na niet alle herexamens.

Die invloed is significant en komt alleen voor bij herexamens. Van Klaveren heeft ook een verklaring waarom een dergelijk effect bij de examens in de eerste termijn niet optreedt. “Leraren benutten de beoordelingsruimte alleen als ze zowel weten wat de normering is en zeker weten dat het leidt tot slagen.” In het eerste tijdvak is de normering nog niet bekend en bovendien is niet duidelijk welk belang het individuele examen heeft voor de slagingskans van de leerling – hangt het diploma hier vanaf.

Samen leveren deze inzichten een concreet getal op, namelijk hoeveel leerlingen er jaarlijks slagen dankzij de benutting van de beoordelingsruimte. Cornelisz: “Wij hebben weten te herleiden dat van de 12.000 leerlingen die per jaar slagen door een herexamen te doen, 1400 het niet zouden halen zonder de benutting van de beoordelingsruimte.”

Heeft het ook gevolgen?

Van Klaveren en Cornelisz zijn blij dat ze met hun analyse een antwoord hebben kunnen formuleren op de vraag of de beoordelingsruimte van de leraar een rol speelt bij de het toekennen van het diploma. Van Klaveren: “Er zijn subjectieve elementen in de beoordeling, en ze spelen een rol. Dat hebben we denk ik overtuigend laten zien. Nu is het van belang dat we ook een beeld krijgen van de gevolgen die dit heeft voor een leerling op de langere termijn.”

““Er zijn subjectieve elementen in de beoordeling van herexamens, en ze spelen een rol.””

Chris van Klaveren

Die laatste vraag klinkt wellicht wat abstract maar volgens Cornelisz is een concrete vraag bijvoorbeeld of leerlingen die op deze manier zijn geslaagd ook anders presteren in het hoger onderwijs. “Dat hoeft helemaal niet zo te zijn. We gaan daarvan uit omdat we zoveel waarde hechten aan het diploma, maar dat weten we eigenlijk niet.”

Is subjectiviteit ‘ongewenst’?

“Het zijn de belangrijke pijlers van het onderwijsstelsel waar dit resultaat op aanhaakt, waaronder doorstroom en kansengelijkheid,” zegt Cornelisz, maar het is volgens hem geen kwestie die zo zwart-wit is als de vraag of leerlingen nu terecht of onterecht het diploma halen. Wat Van Klaveren betreft zijn beide opties evengoed mogelijk. “Misschien zouden wel veel meer leerlingen het examen moeten halen dan nu het geval is en maken leraren juist terecht gebruik van de beoordelingsruimte.”

“Waar het uiteindelijk om gaat is dat je van ongewenste subjectiviteit in de beoordeling af raakt.” Daarbij is dus de vraag of het slagen in deze gevallen ongewenst is en dat is al heel snel een politieke vraag. Van Klaveren: “het is vervolgens ook nog eens niet zo gemakkelijk om die subjectiviteit weg te nemen. Als je bijvoorbeeld de normering niet bekend zou maken, dan blijf je zitten met het feit dat het herexamen altijd moet lijken op het examen, want anders vinden we dat ook niet eerlijk.”

In zijn brief aan de Kamer laat minister Arie Slob (OCW) weten het onderzoek bestudeerd te hebben en de bevindingen serieus te nemen. “Naar aanleiding van deze resultaten wil ik laten onderzoeken of en in hoeverre het verschil in de informatiepositie van docenten tussen het eerste en tweede tijdvak geminimaliseerd kan worden.” Cito en het CvTE zijn daarom gevraagd om de mogelijkheden te onderzoeken voor een eigenstandige normering van het tweede tijdvak – de herkansing. Ze moeten hier in het najaar van 2019 over rapporteren.

Literatuurverwijzingen

Teacher discretion in high stakes grading: the case of Dutch secondary education

Cornelisz, I., Meeter, M. & Van Klaveren, C. (2018) “ Educational Equity and Teacher Discretion Effect in High Stakes Exams“. ACLA Working Paper Series #2[embed]https://acla.amsterdam/workingpapers-wp20182/[/embed]


«
Schrijf je in voor onze nieuwsbrief
ScienceGuide is bij wet verplicht je toestemming te vragen voor het gebruik van cookies.
Lees hier over ons cookiebeleid en klik op OK om akkoord te gaan
OK