De leergroeiparadox; hogere leergroei garandeert geen betere prestaties
Om zicht te krijgen op hoeveel leerachterstand leerlingen hebben opgelopen gedurende de schoolsluitingen tijdens de COVID-crisis deed het Cito onderzoek naar vaardigheidsscores van leerlingen in het leerlingvolgsysteem (LVS). Onderzoekers concludeerden dat tijdens de schoolsluiting in 2020 leerlingen minder leergroei hebben doorgemaakt dan in eerdere jaren. In 2021 was de leergroei van leerlingen echter even hoog of zelfs hoger dan in de jaren voor de COVID-crisis. Hierdoor hadden de betere leerlingen bij begrijpend lezen in 2021 hun vertraging uit 2020 al ingelopen en dat was bij rekenen voor alle leerlingen zo. Het Nederlands Cohort Onderwijsonderzoek (NCO) kwam tot andere conclusies. Zij stellen na 1,5 jaar COVID nog steeds leervertraging vast.
In dit stuk wil ik niet zozeer ingaan op hoeveel leervertraging leerlingen de afgelopen twee jaar hebben opgelopen, dan wel weer hebben ingehaald, maar op wat er zo bijzonder is aan de indicator leergroei waarmee dit deze jaren onderzocht werd.
Wat is leergroei?
Voor alle basisscholen is een leerlingvolgsysteem verplicht. De scores die leerlingen op LVS-toetsen behalen, worden omgezet op een doorlopende schaal van vaardigheidsscores. De leergroei geeft vervolgens de toename van de vaardigheidsscore tussen verschillende leerjaren of semesters weer.
Gek patroon
In de recente analyses die gemaakt zijn van de leergroei viel mij een gek patroon op. Uit iedere vergelijking van groepen leerlingen komt namelijk telkens naar voren dat hoe hoger de leergroei is, des te lager de prestaties. Bijvoorbeeld, meisjes scoren hoger op talige onderdelen, maar jongens hebben daar de hogere leergroei. En jongens zijn beter in het onderdeel rekenen-wiskunde maar daar laten meisjes dan weer de hogere leergroei zien. Leerlingen van ouders met een lage sociaal economische status (SES) hebben een hogere leergroei dan leerlingen van ouders met een hoge SES, maar de achterstand van leerlingen met ouders met een lage SES op die met ouders met een hoge SES blijft min of meer constant door het gehele LVS. Leerlingen met de laagste 20% vaardigheidsscores hebben in het jaar daarop zelfs een leergroei die twee tot vijf keer hoger uitvalt dan van leerlingen die het jaar daarvoor een vaardigheidsscore hadden bij de beste 20% (zie Cito, mei 2020).
Paradoxale leergroei
Hier zat voor mij iets paradoxaals in. Hoe kan een groep nu jaarlijks een hogere leergroei hebben en toch nooit de achterstand inlopen? Het doet een denken aan de paradox van Zeno over Achilles en de schildpad. In het leerlingvolgsysteem haalt de groep die achterligt de groep die voorligt, maar wel slomer vooruitgaat, ook nooit in.
Rara, hoe kan dat nu? Om hier meer grip op te krijgen heb ik met verschillende modellen naar het verloop van leergroei gekeken. Hieruit volgt net als bij de paradox van Zeno dat het opdelen van een probleem in losse deelproblemen niet altijd leidt tot een beschrijving die overeenkomt met wat ons gezonde verstand zegt en wat we denken waar te nemen.
Leergroei als een stroming
Net als een vloeistof of gasstroming door een rivier, de lucht, de oceaan of een pijpleiding, kunnen we de voortgang van leerlingen in het LVS ook als een stroming voorstellen. Een stroming kun je altijd onderverdelen in stroomlagen. In het LVS zijn de stroomlagen onderverdeeld in de niveaus I t/m V (of A t/m E), waarbij I de 20% hoogst scorende leerlingen weergeeft en V de 20% laagste. Bij iedere stroming kan er meer of minder menging tussen de stroomlagen plaatsvinden. Tussen de LVS-stroomlagen ontstaat menging omdat niet bij iedere toets dezelfde leerlingen de hoogste, gemiddelde of laagste scores halen. Net als bij fysische stromingen kunnen we bij de stroming door het LVS praten over het laminaire of turbulente karakter van de stroming. Bij een laminaire stroming blijven de leerlingen op hetzelfde niveau doorstromen. Een turbulente stroming is juist een wervelende stroming waarbij de leerlingen wel van niveau wisselen.
Ik stel me voor dat leerlingen het LVS instromen met een bepaald (fictief) uitgangsniveau. Dat uitgangsniveau wordt bepaald door bijvoorbeeld, hoe een kind eerder gestimuleerd is, intelligentie, en taalbeheersing.
Bij laminaire leergroei (Fig. 1A) is de leergroei van iedere leerling gelijk. Hierdoor is er geen menging van leerlingen tussen niveaus[1]. In een wervelende turbulente stroming (Fig. 1B) hangen de vaardigheidsscores op de volgende toets juist niet af van de scores op de vorige toets, of het startniveau. Hierdoor stromen individuele leerlingen dus juist veel op en af tussen niveaus, en dat gebeurt ieder jaar weer opnieuw. De leergroei van individuele leerlingen is zo dus ieder jaar anders, maar voor de hele groep (of willekeurig gekozen selectie uit de groep) is het ieder jaar gemiddeld hetzelfde. Wel zal ieder jaar de leergroei na een hogere vaardigheidsscore lager zijn dan na een lagere vaardigheidsscore[2], want de turbulentie geeft regressie naar het gemiddelde. Maar ook dat effect middelt over meerdere leerjaren uit, zodat alle leerlingen ongeveer dezelfde leergroei hebben per jaar.
In de praktijk kennen leergroei-stromingen natuurlijk altijd een turbulente en laminaire component (Fig. 1C). Zo kan de vaardigheidsscore op de volgende toets bijvoorbeeld voor 70% worden voorspeld door de vaardigheidsscore op de vorige toets (laminair) en voor 30% niet (turbulent). Leerlingen bouwen dus wel voort op hun vorige vaardigheidsscore, maar kunnen zich nog wel ten opzichte van de groep verbeteren of verslechteren. Dit geeft ieder jaar een beetje menging tussen niveaus, maar na meerdere leerjaren vlakken zo de initiële niveauverschillen tussen groepen leerlingen alsnog helemaal uit. Dit model beschrijft de realiteit dus ook nog niet, want dan zou er niet zoiets als kansenongelijkheid kunnen blijven bestaan.
De gemiddelde vaardigheidsscores op de fictieve toetsen T1 t/m T5 is 200, 300, 400, 500 en 600 met een spreiding (standaarddeviatie) van 50 vaardigheidspunten. De pijlen geven de gemiddelde leergroei weer van leerlingen die 50 punten boven- en 50 punten onder het gemiddelde fictieve startniveau van 200 beginnen.
Minder turbulentie bij hogere prestaties
In deze modellen ontbreekt iets wat iedere docent wel herkent in de praktijk: de resultaten van leerlingen die goed zijn op school zijn ook vaak stabiel. Dit kunnen we meenemen in een leergroeimodel door het aandeel laminaire leergroei te schalen op de vaardigheidsscore van de vorige toets. Hierdoor daalt met hogere vaardigheidsscores het turbulentieniveau en blijven leerlingen na een hogere vaardigheidsscores vaker doorgroeien op hetzelfde niveau. Nu kunnen we de paradoxale effecten die uit de leergroei-analyses naar voren kwamen wel duiden.
De veelal lagere leergroei bij hogere prestaties kunnen we begrijpen als we kijken naar het effect vande resterende turbulentie. Het turbulentieniveau wordt dan misschien wel minder bij hogere vaardigheidsscores, de temperende uitwerking op de leergroei wordt juist sterker wanneer je verder boven het gemiddelde uitkomt. Voor hogere vaardigheidsscores spelen dus twee effecten op de leergroei een rol, waarbij de temperende uitwerking in de praktijk blijkbaar de overhand heeft.
Maar hoe kunnen we nu begrijpen dat een groep leerlingen met hogere vaardigheidsscores haar voorsprong behoudt ondanks de lagere leergroei? Hiervoor moeten we nog iets verder doordenken.
In een model waarin het turbulentieniveau voor alle leerlingen gelijk is, zal voor ieder prestatiesegment de instroming van leerlingen vanuit hogereniveaus gelijk zijn aan de uitstroming van leerlingen naar hogereniveaus. Dit geldt natuurlijk ook voor de in- en uitstroming vanuit en naar lagere niveaus. Hierdoor blijft er na verloop van tijd niks over van de initiële niveauverschillen tussen de groepen leerlingen. Maar als de turbulentie telkens lager wordt voor hogere niveaus, dan zal voor ieder gekozen niveausegment gelden dat de uitstroming naar hogere niveaus iets groter is dan de instroming vanuit hogere niveaus. Want voor leerlingen die hogere vaardigheidsscores halen is er minder turbulentie, waardoor er dus minder op- en afgestroomd wordt dan bij lagere vaardigheidsscores. Bij de groep die voorligt zijn er dus altijd (iets) minder leerlingen die in niveau achteruitgaan dan dat er leerlingen in de achterliggende groep in niveau vooruitgaan. En zo wordt het gemiddelde van een initieel achterliggende groep dus nooit hoger dan dat van de groep die voorligt. Dit effect komt sterker naar voren wanneer er minder turbulentie is, dus voor de initieel betere leerlingen (Fig 2A).
Voor individuele leerlingen is dat natuurlijk een heel ander verhaal. Na een aantal leerjaren zitten bij de hoogst/laagst scorende leerlingen ook leerlingen die met een lager/hoger dan gemiddeld fictief startniveau zijn begonnen (Fig. 2A). In de relatie tussen vaardigheidsscores op de laatste twee toetsen, T4 en T5, zien we eveneens dat een hogere vaardigheidsscore op T4 een versterkte kans geeft voor het behalen van een hoger prestatieniveau op T5 (Fig. 2B). De gemiddelde leergroei is juist lager bij hogere vaardigheidsscores op T4 (Fig. 2C) [3].
Moeten we nu naar hoge of lage leergroei streven?
Een hogere leergroei blijkt in beginsel geassocieerd met lagere prestaties van leerlingen. De ontwikkeling van een hogere naar een lagere leergroei op een school (met name in de hogere leerjaren) kan juist betekenen dat leerlingen daar goed blijvend kunnen opstromen in niveau. Dit gaat tegen onze intuïtie in, maar als een school (uiteindelijk) een lagere leergroei weet te bereiken met een minder kansrijke populatie dan doet ze misschien dus wel iets heel goeds.
Een kortdurende hogere leergroei op een school kan betekenen dat in een jaar leerachterstanden efficiënt zijn weggewerkt. Daarentegen kan langdurige hogere leergroei dus juist duiden op dat geleerde vaardigheden niet beklijven waardoor de leerlingen niet blijvend groeien in niveau. Op een goede school zou je namelijk niet alleen beter moeten worden, maar ook moeten blijven.
Leergroei tussen groepen vergelijken is dus knap ingewikkeld. Net als bij vloeistofstroming is het altijd wel eenvoudig te meten hoeveel volume er langs een bepaald punt stroomt. Het is echter veel ingewikkelder om te beschrijven hoe daarbinnen verschillende vloeistofstroompjes langs en door elkaar bewegen.
Een eerlijk en goed schoolsysteem heeft zowel laminaire- als turbulente leerstroming nodig. Te veel laminaire groei duidt op kansenongelijkheid, maar te veel turbulentie geeft een te willekeurig beeld. In een goed functionerend schoolsysteem waarin leerlingen vaker op- dan afstromen, zal de turbulentie iets af moeten nemen als de prestaties hoger worden. Hopelijk excelleert daarbij uiteindelijk iedere leerling in wat hij of zij het liefste of beste doet.
Niet doen
Is het nu zinvol scholen gedetailleerde informatie over de gemiddelde leergroei op hun school te geven? In mei 2020 heb ik samen met Martijn Meeter in een analyse op ScienceGuide laten zien dat verschilscores tussen cijfers op schoolexamens (SE) en het centraal examen (CE) geen indicator kunnen zijn voor de kwaliteit van schoolexamens. Deze bevindingen zijn daarna bevestigd in deze rapportage na onderzoek van het Cito. Helaas hebben SE-CE verschilscores daarvoor wel jarenlang de discussie over de kwaliteit van schoolexamens op een negatieve manier gedomineerd. Dat lijkt gelukkig nu gestopt.
Dit zou nu niet weer opnieuw moeten gebeuren met de verschilscore leergroei. Door NCO wordt leergroei namelijk als een kwaliteitsmarker geïntroduceerd: hoog presterende scholen zijn scholen die in de jaren voor COVID de meeste leergroei behaalden.Bij de nieuwe school-gepersonaliseerde leergroei-rapportages van NCO krijgen scholen, zoals de titel van het project al aangeeft, enkel informatie over de leergroei van hun leerlingen. Aan de hand van achtergrondkenmerken van leerlingen en scholen berekent NCO nu zelfs voorspelde referentiewaarden (zie hier mijn reactie op voorspelde referentiewaarden) voor de leergroei op een school, zodat scholen hun behaalde leergroei daarmee kunnen vergelijken. Dit lijkt mij geen zin hebben aangezien niet zomaar duidelijk is wanneer een hoge leergroei iets positiefs dan wel negatiefs over de kwaliteit van een school representeert.
Voetnoten
[1] Stel dat uitgangsniveau van 175 in de volgende leerjaren naar vaardigheidsscores van 275 ,375, 475 en 575 en een leerling met een fictief uitgangsniveau van 225 naar 325, 425, 525 en 625. Het niveauverschil tussen deze leerlingen blijft zo dus gelijk. [1]
[2] Bijvoorbeeld de leergroei tussen T2 (gemiddelde 200) en T3 (gemiddelde 300) is voor leerlingen met een individuele T2 score van 250 gemiddeld gelijk aan 50 (300-250). Voor leerlingen met een T2 score van 100 is dat 200 (300-100=200).
[3] De dalende trend keert pas om bij een vaardigheidsscore op T4 die maar door een kleine minderheid van de leerlingen gehaald wordt.
