Nationaal Cohortonderzoek moet kansenongelijkheid in het onderwijs anders meten
De serie Klassen die HUMAN nu iedere maandag uitzendt, laat ons de kansenongelijkheid in het onderwijs zien als in een Grieks drama. De leerlingen die we mogen volgen in groep 8 laten niemand onberoerd. We maken mee hoe de overgang van groep 8 naar de middelbare school wordt voorbereid, en hoe leerlingen daarvoor worden geselecteerd. Meteen al in de eerste aflevering stelt Mirjam Leinders, schoolbestuurder van 16 basisscholen in Amsterdam-Noord, “dat ze binnen het onderwijs al lang weten dat kansenongelijkheid niet in witte of zwarte scholen zit. Dat is wat mensen die van buitenaf naar het het onderwijs kijken nog weleens zeggen, maar wij weten al lang dat kansenongelijkheid geen ‘kleur’ heeft. Het zit in het opleidingsniveau van de ouders.” Toch gaat men er in Nederland vanuit dat kansenongelijkheid met meer factoren samenhangt.
Rekening houden met kansenongelijkheid
De staat van het onderwijs 2020 stelt bijvoorbeeld dat ‘om schoolverschillen goed te duiden, het nodig is om rekening te houden met verschillen in de achtergrond van de leerlingen op een school’. Het gebruiken van kansenongelijkheid als statistisch gegeven wordt nu in de praktijk gebracht in NCO (national cohortonderzoek onderwijs)-rapportages hoe gaat het met uw (oud-)leerlingen? die sinds enkele jaren voor bijna iedere school worden opgesteld.
In de hoe gaat het met uw (oud-)leerlingen?–rapportages krijgen scholen een tsunami van cijfermatige prestatie-indicatoren gepresenteerd over zaken die te maken hebben met toets/examenscores, schooladviezen en de schoolloopbaan van leerlingen. Het bijzondere aan de NCO-rapporten is nu dat de uitkomsten voor scholen worden vergeleken met een zogeheten voorspelde referentiewaarde. Deze voorspelde referentiewaarde is een score die specifiek voor een school is berekend, door rekening te houden met een aantal kenmerken van de leerlingenpopulatie en kenmerken van de school zelf.
Om scholen te helpen hun scores te interpreteren, worden infoboxen gegeven waarin staat wat de belangrijkste leerling- en schoolkenmerken zijn die de uitkomst van de voorspelde referentiewaarde beïnvloeden. Hier staat meestal dat het percentage leerlingen uit een eenoudergezin en/of het percentage leerlingen met een niet westerse migratie-achtergrond en/of het percentage leerlingen met een laag gezinsinkomen hierbij van invloed zijn. Om scholen extra inzicht te geven in ‘hoe het hiermee staat’, worden diagrammen getoond met percentages van de leerlingen die tot deze groepen behoren, en wordt verteld hoe deze percentages zich verhouden tot de landelijke gemiddeldes.
Waarom moeten scholen juist dit weten?
Het is de vraag wat scholen nu verder aanmoeten met informatie over de herkomst en gezinssamenstelling van hun leerlingpopulatie. Mogelijk komt de aandacht hiervoor uit onderzoek naar PISA scores van Europese leerlingen dat tussen 2010 en 2017 door professor Jaap Dronkers (1945-2016) en co-auteurs is gepubliceerd. Uit dit onderzoek kon Dronkers bijvoorbeeld concluderen dat scheiding schadelijk is voor de prestatie van klasgenootjes.
Een citaat in de zojuist vermeldde bron verduidelijkt zijn beeld hierbij: ‘Je ziet bijvoorbeeld dat kinderen van gescheiden ouders vaak te laat komen. Als in een klas 5 van de 20 kinderen regelmatig te laat komen, heeft dat ook gevolgen voor de rest van de leerlingen. Dat verstoort het onderwijs- en leerproces’. Wat betreft leerlingen met een niet-westerse migratieachtergrond, was zijn conclusie ook niet mis: ‘Het blijkt dat het land waar jij of je ouders vandaan komen meer invloed heeft op de schoolprestaties dan het land waar je nu woont, en dat dus tot in de tweede generatie’.
Maar hoe zit het nu met het opleidingsniveau van de ouders?
In de staat van het onderwijs is kansenongelijkheid echter ook regelmatig in verband gebracht met het opleidingsniveau van ouders, en ook een CPB-rapport van vorige week stelt dat het opleidingsniveau van de ouders bepalender is voor de schoolloopbaan dan de migratie-achtergrond.
Gek genoeg wordt het opleidingsniveau van de ouders in de analyses hoe gaat het uw-(oud-) leerlingen van de NCO niet meegenomen, terwijl we hier toch kijken naar de onderwijsloopbaan van hun kinderen. Wat zou nu meer kunnen doorwerken op kinderen dan het opleidingsniveau van hun ouders? Wij besloten daarom zelf eens het krachtenveld tussen de onderwijsloopbaan van leerlingen en huishoudinkomen, het opleidingsniveau en de herkomst van ouders met behulp van de NCO-database te onderzoeken.
We hebben gekeken naar de situatie aan het eind van de hele schoolcarrière, namelijk bij de eindexamens. Hierbij hebben wij ons toegespitst op alle examenleerlingen binnen het voortgezet onderwijs (VO) van examenjaar 2018. Een voordeel van de analyse van een (nationaal) examencohort is dat dit informatie geeft over de uiteindelijke uitkomst van basisschooladviezen en veranderingen van schoolniveaus. Ook kunnen we, door slagingspercentages te bekijken, een blik werpen op de kansen in het examenjaar. Een nadeel van het kijken naar examenkandidaten is echter dat je niet kan analyseren wáár in de schoolloopbaan verschillen zijn ontstaan tussen groepen leerlingen, en dat eerdere schooluitstroom zonder diploma wordt gemist.
‘Hoe statistiek het schoolexamen verdacht maakte’
Het huishoudinkomen en het soort diploma
Voor het onderzoeken van de effecten van het huishoudinkomen kan gebruik worden gemaakt van de percentielgroep besteedbaar inkomen van het huishouden van de ouders van leerlingen. Voor het vaststellen van deze percentielverdeling zijn de huishoudinkomens van alle huishoudens in Nederland gesorteerd van hoog naar laag en vervolgens verdeeld in honderd gelijke percentielen, waardoor in iedere groep evenveel (volwassen) inwoners zitten. Zo zit in percentiel 100 de 1% inwoners met de hoogste huishoudeninkomens van Nederland, en bijvoorbeeld in percentiel 50 de groep inwoners waarvoor geldt dat het huishoudinkomen van 50% van de bevolking hoger is, en dat van 49% van de bevolking lager.
Figuur 1 laat met de donkerblauwe ruiten zien hoe de examenleerlingen over percentielen van de huishoudinkomens zijn verdeeld. Hieruit valt op te maken dat de ouders van examenleerlingen niet een afspiegeling van de Nederlandse bevolking zijn. Als dat zo geweest was, zou in ieder huishoudinkomenspercentiel namelijk ongeveer 1% van de ouders vallen. We zien echter dat de laagste huishoudinkomens vrijwel geen examenleerlingen leveren (bijdragen <0,1%) en dat vanaf percentiel 10 de bijdrage continu stijgt tot aan 2,7% bij percentiel 99/100 (rechter y-as).
De andere lijnen in Figuur 1 geven de fractie leerlingen met een bepaald examenniveau voor de 100 huishoudpercentielen weer. Voor ieder inkomenspercentiel tellen deze fracties op tot 1; ieder punt geeft zo de kans weer dat een leerling op een bepaald onderwijsniveau examen doet, gegeven dat zijn/haar ouders in een bepaald percentiel voor het huishoudinkomen vallen.
We zien dat de kans om op een bepaald niveau examen te doen sterk samenhangt met het (huishoud)inkomen van gezinnen. Naarmate het huishoudinkomen hoger is, neemt de fractie leerlingen op het vwo toe, en die op het vmbo af. Deze verschuivingen zijn voor vmbo g/tl en vwo het sterkst vanaf percentiel 80. Het gehele patroon van deze verschuivingen lijkt van jaar tot jaar niet sterk te fluctueren. Voor 2014 zagen we vrijwel hetzelfde patroon als in deze figuur voor 2018.
Examensoort vergelijken binnen hetzelfde huishoudinkomen
Nu we in figuur 1 een duidelijke relatie hebben gezien tussen het huishoudinkomen en de verdeling over examenniveau’s, kunnen we kijken in hoeverre deze relatie anders is voor leerlingen waarvan vaak is opgemerkt dat ze minder goede kansen hebben in het onderwijs, zoals leerlingen met een niet-westerse migratieachtergrond en leerlingen uit eenoudergezinnen.
In figuur 2 kijken we eerst naar de verdeling van de huishoudinkomens voor de leerlingen zonder migratie–achtergrond, leerlingen met een niet-westerse migratieachtergrond en leerlingen die wonen in eenoudergezinnen (zonder migratieachtergrond). In Figuur 3 kijken we nu (net als in Figuur 1) welke fractie leerlingen examen doet op vmbo, havo of vwo als een functie van het huishoudinkomen, maar dan uitgesplitst voor deze drie groepen.
We zien in Figuur 2 dat examenleerlingen uit eenoudergezinnen en leerlingen met een niet-westerse migratie-achtergrond een heel andere verdeling hebben over de inkomenspercentielen dan leerlingen uit gezinnen zonder migratieachtergrond. Voor beide eerstgenoemde groepen is de vertegenwoordiging in de hoogste inkomenspercentielen lager dan bij de leerlingen zonder migratieachtergrond. Dit verschil is nog sterker voor de groep eenoudergezinnen (zonder migratieachtergrond) dan voor de groep met een niet-westerse migratie achtergrond.
De sterke afname voor eenoudergezinnen bij de hoogste inkomenspercentielen is goed te verklaren vanuit het gegeven dat bij de vaststelling van het huishoudinkomen niet de inkomens van twee ouders in het huishouden worden opgeteld, maar dat huishoudinkomens van twee eenverdienende ouders worden gemiddeld.
In Figuur 3 kijken we nu (net als in Figuur 1) welke fractie leerlingen examen doet op vmbo, havo en vwo als een functie van het huishoudinkomen, maar dan uitgesplitst voor de drie groepen uit Figuur 2. Verassend genoeg vallen de lijnen voor leerlingen met een niet-westerse migratieachtergrond en leerlingen zonder migratie-achtergrond over elkaar heen voor de drie onderwijsniveau’s. Verschillen in de behaalde examenniveaus tussen deze twee groepen verdwijnen dus als sneeuw voor de zon wanneer je ze vergelijkt binnen hetzelfde huishoudinkomen.
Voor eenoudergezinnen is de verdeling over de schoolniveaus ook heel vergelijkbaar met de twee andere groepen, en is tussen percentiel 60 en 90 de fractie leerlingen op het vwo zelfs iets hoger (en op het vmbo iets lager). Dit kan in ieder geval voor een deel verklaard worden uit de manier waarop we het huishoudinkomen hebben berekend voor leerlingen waarvan de ouders niet tot hetzelfde huishouden behoren (zie boven).
Het effect van inkomen wanneer het opleidingsniveau van ouders gelijk is
In Figuur 1 hebben we gezien dat de kans op een eindexamen op vwo-niveau sterk toeneemt voor hogere huishoudinkomens. Er is natuurlijk een relatie tussen onderwijsniveau van ouders en het huishoudinkomen. De vraag is wat nu belangrijker is. In Figuur 4 laten we daarom nu zien wat het effect van het huishoudinkomen is wanneer leerlingen worden vergeleken waarvan de vaders hetzelfde opleidingsniveau hebben (en wanneer zowel vader als moeder een diploma op masterniveau hebben).
We zien aan de verschuiving van de lijnen in Figuur 4 dat de kans op een afgelegd vwo-examen sterk stijgt met een hoger opleidingsniveau van de vader, en dat binnen een opleidingsniveau de kans op een vwo-examen veel minder sterk afhangt van het huishoudinkomen. Tot aan percentiel 90 lopen de lijnen zo goed als horizontaal. Voor leerlingen met een of twee ouders met een masterdiploma, maar een niet zo hoog huishoudinkomen, is de kans op een vwo-examen onverlet hoog (>40%). Voor leerlingen met een vader met een opleiding op PO, onderbouw VO of MBO1-3 is die kans juist veel lager voor alle huishoudinkomens (8-20%). Wanneer beide ouders een diploma op masterniveau hebben, is de fractie vwo-examenniveau over vrijwel de gehele inkomenslinie zelfs hoger (>50%) dan bij het hoogste inkomenspercentiel in de niet uitgesplitste groep (47%, zie Figuur 1). Voor de hoogste inkomenspercentielen stijgt dit nog wel door tot boven de 72%.
De kans om te slagen
In figuur 4 zien we dat de kans om te slagen duidelijk toeneemt met het opleidingsniveau van vader (een vrijwel gelijk resultaat krijg je als je kijkt naar het opleidingsniveau van moeder). Als je één en ander uitdrukt in de kans om te zakken, komt het effect nog wat duidelijker naar voren. Bij een lager opleidingsniveau van ouders is de kans om te zakken voor het vwo-examen 20%, terwijl dit voor leerlingen met een ouder met een opleiding op masterniveau op 5% uitkomt. Dit is des te opmerkelijker als je meeneemt dat van alle examenleerlingen met laag opgeleide ouders ook maar een kleine fractie leerlingen op vwo-niveau examen doet (zie figuur 2 en 3). Voor het vmbo en havo zagen we dat het slaginspercentage op een vergelijkbare manier afhangt van het opleidingsniveau van de ouders.
We zien dat, voor leerlingen met ouders met hogere opleidingsniveau’s, het verschil in vwo–slaagkans tussen leerlingen uit eenoudergezinnen (93,5%) en leerlingen uit gezinnen met twee ouders (94%) gering is, maar dat dit verschil wel iets groter wordt wanneer ouders lager opgeleid zijn. Leerlingen met een niet-westerse migratieachtergrond hebben bij hetzelfde opleidingsniveau van de ouders een lagere slagingskans. Dit verschil wordt wel kleiner voor leerlingen met ouders met hogere opleidingsniveaus (89% versus 94%). We merken hierbij wel op dat onder opleidingsniveau MBO2–3 het aantal vwo-examenkandidaten in eenoudergezinnen en leerlingen met een niet-westerse migratieachtergrond laag is (zie aantal kandidaten in onderschrift figuur 5).
De hogere slaagkans bij vmbo, havo en vwo voor leerlingen met hoger opgeleide ouders wijst erop dat hoe ver ouders in het Nederlandse onderwijssysteem zijn gekomen doorwerkt op de slaagkans van hun kinderen. De lagere slaagkans van leerlingen met een niet-westerse-migratie achtergrond, binnen hetzelfde opleidingsniveau van de ouders, is te begrijpen vanuit het gegeven dat deze ouders hun schoolopleiding vaak in het buitenland in een ander onderwijs systeem zullen hebben gevolgd. Thuis zal ook vaker een andere taal worden gesproken dan Nederlands. Ouders met een niet-westerse migratieachtergrond en een hogere opleiding kunnen taal– en onderwijsverschillen beter opvangen waardoor de verschillen daar kleiner zijn.
De NCO suggereert een causaal verband
In de aankondiging van de serie Klassen wordt er gezegd: “Gefeliciteerd met het diploma van je ouders.” Als je naar de grafieken in deze bijdrage kijkt, valt daar dus wel wat voor te zeggen.
In het model dat wordt gebruikt voor de voorspellende referentiewaarde in hoe gaat het met uw (oud-) leerlingen, is het opleidingsniveau van de ouders echter niet meegenomen. Hierdoor zullen verschillen tussen scholen altijd vanuit iets anders worden verklaard; je kunt per slot van rekening alleen kijken naar de kenmerken die wél in het model zijn meegenomen. We zullen straks laten zien dat het best zo kan zijn dat het voor de cijfermatige uitkomst van de voorspellende referentiewaarden van schoolgemiddelden niet eens zo gek veel uitmaakt of het opleidingsniveau van de ouders wordt meegenomen, of dat deze referentiewaarden worden berekend met andere variabelen. Dat valt nog te bezien. Het is verder ook niet te bepalen of een afwijking van een voorspelde referentiewaarde te wijten is aan een onvolkomenheid van het model of het heel slecht (of heel goed) presteren van een school.
Wat echter écht niet kan in de hoe gaat het uw (oud-)leerlingen-rapportages, zijn de infoboxen. Die starten standaard met de zinsnede ‘welke kenmerken versterken/beïnvloeden de kans’, gevolgd door een opsomming die gaat als ‘Hoe lager het percentage leerlingen met een niet-westerse migratieachtergrond op een school, des te hoger de kans…. Hoe hoger het percentageleerlingen uit eenoudergezinnen hoe lager de kans… Hoe hoger het percentage leerlingen uit een gezin met een hoog inkomen hoe groter de kans…’. Dit lijkt dus allemaal sterk op een gevaarlijke verwarring van een correlatie met een causaal verband is (zie deze TED–lezing van Ionica Smeets die dit heel mooi toelicht).
Het NCO-model is niet geschikt voor zulke analyses
Het model dat het NCO gebruikt bij zijn berekeningen van de voorspelde referentiewaarde is meervoudige lineaire regressie:
Y’ = α + β1X1 + β2X2 + β3X3 …+ β14X14 + β15X15
Y’ is hier de voorspelde score op een uitkomstmaat. De X-waarden zijn hier de input van 15 variabelen van een school, zoals X1= gemiddelde leeftijd van gediplomeerden, X2= percentage leerlingen met een niet-westerse migratieachtergrond, X3= percentage leerlingen uit eenpersoonshuishoudens, X4= percentage meisjes, X5= percentage leerlingen waarvan de vader werkt, etc. De waarde van de gefitte β-parameters geven aan hoe sterk het effect van iedere variabele is.
Een van de valkuilen bij dit soort regressie is dat de uitkomst van de fit instabiel wordt wanneer de X-variabelen sterk met elkaar in verband staan. Bij variabelen die perfect van elkaar afhangen (perfecte collineariteit) kun je bijvoorbeeld helemaal niet meer afschatten wat de β-waarde van deze variabelen zijn. Je kunt bijvoorbeeld niet tegelijkertijd afschatten hoe een uitkomst van zowel de variabele ‘leeftijd’ als van de variable ‘geboortejaar’ afhangt, omdat deze uniek samenhangen.
In de dataset van het NCO is waarschijnlijk sprake van multi-collineariteit, waarbij een aantal variabelen zoals ‘inkomen’, ‘arbeidsparticipatie ouders’, ‘wonen in armoede–probleemgebieden‘, ‘herkomst’ en ‘gezinssamenstelling’ allemaal redelijk sterk samenhangen met de variabele ‘opleidingsniveau ouders’ en wat minder sterk met elkaar.
Wanneer je een mogelijk verklarende variabele (‘opleidingsniveau ouders’) weglaat in de analyse, terwijl de andere variabelen minder sterk samenhangen, zal de analyse-uitkomst van een aantal andere β–waarden veel hoger worden. Dat betekent echter niet dat die andere variabelen er ook altijd écht toe doen; soms hebben ze misschien alleen een verband met een variabele die er wél toe doet, maar niet in het model is meegenomen. Het grootste probleem met de hoe gaat het met uw (oud-)leerling–rapportages is dus dat scholen (ondanks alle slagen die men om de arm neemt) allerlei verbanden krijgen voorgeschoteld die echt niet kunnen worden aangetoond met deze wijze van analyseren.
Het eigen leven van statistische relaties in het onderwijs
Het kan vast nuttig zijn om het onderwijs soms een wake-up call te geven wanneer bepaalde relaties in statistische data worden gezien, bijvoorbeeld na de recente constatering dat leerlingen van laag opgeleide ouders vaker lagere schooladviezen krijgen dan op basis van hun scores op de eindtoets zou mogen worden verwacht. Het is echter de vraag of de trend om zoveel mogelijk gemiddelde prestatienivaus van scholen tegen elkaar af te zetten, altijd goed uitpakt voor het onderwijs. Deze analyses kunnnen ook een volstrekt eigen leven kunnen gaan leiden (zoals bij de verschilscore tussen CE en SE cijfers is gebeurd, zie een eerdere bijdrage op ScienceGuide).
Nu krijgen PO-scholen bijvoorbeeld informatie over de fractie leerlingen die in leerjaar drie op vmbo/havo/vwo zitten, en hoe dit zich verhoudt tot het landelijk gemiddelde en hun voorspelde referentiewaarde. Dit kan ertoe leiden dat scholen hun adviezen (al dan niet onbewust) gaan richten op hun eigen ‘voorspelde referentiewaarde’, of dat ze heel tevreden zijn wanneer ze boven die waarde stijgen. Het is dus echter maar de vraag of dat ook is wat van hun leerlingen verwacht mag worden op basis van hun capaciteiten. Het is ook zeer de vraag of dit soort rapportages een ‘wel zo een eerlijke vergelijking van scholen’ geven.
Andere analysemethoden kunnen heilzamer zijn
Dit soort rapportages zeggen in ieder geval helemaal niets over de individuele kansen van verschillende leerlingen op verschillende scholen. Dat kan echter wel de manier zijn waarop ouders dit soort informatie zullen gaan gebruiken, want scholen mogen dit openbaar maken. Zo kan ook dit soort informatie over scholen een heel eigen leven gaan leiden.
Andere simultane analysemethoden, waarbij juist gekeken wordt naar patronen die laten zien hoe kenmerken en prestaties verschillend kunnen samenhangen bij leerlingen, kunnen misschien een beeld geven dat tegelijkertijd scherper en genuanceerder is. Hoewel dit soort analyses minder mogelijkheden geven om scholen tegen elkaar af te zetten in percentielranglijstjes, geven ze misschien wel meer aanknopingspunten om te bedenken hoe kansenongelijkheid die buiten het onderwijs ontstaat, binnen het onderwijs kan worden vereffend.
Martijn Meeter wordt bedankt voor de vele nuttige discussies.
