Schakel de expert niet uit
“Op die koude zondagmiddag zette zij zich met tegenzin aan de rapporten van haar ruim dertig leerlingen, die op de drempel van het voortgezet onderwijs staan. Uitvoerige rapportages maakt ze, gebaseerd op toetsgegevens, het werk van de kinderen en haar indruk van hen. En die mogen we niet onderschatten, zij weet wel welk schooltype bij hen past, die voorspelling durft zij wel aan. We hebben het over een gereputeerde vakvrouw die ruim dertig jaar in het basisonderwijs werkt.
Toch voelt zij aan dat haar eindoordeel, het schooladvies, er steeds minder toe doet. De Cito-eindtoets, bij iedere Nederlander inmiddels bekend, neemt deze verwijsfunctie van haar over. ‘Wie leest mijn rapporten nog?’, verzucht ze en denkt aan een van haar leerlingen, ‘een typisch gymnasiumkind, maar zonder hoge cijfers’. Als zijn toetsuitslag tegenvalt, kan dit roet in het eten gooien. Elk jaar heeft zij wel enkele kinderen, die er mee te maken krijgen.
Formule
Ooit werd het simpele rapport aan het einde van de basisschoolperiode, een cijferlijstje van de leraar, vervangen door het zogeheten onderwijskundig rapport, dat uitmondt in een heus schooladvies. Later kwam er de schoolonafhankelijke toets bij, ook wel het ‘tweede gegeven’ genoemd, in de wandeling ‘de Cito-toets’, waarvan de uitslag een formule van drie toetsgegevens is.
Een goede ontwikkeling vinden we, want de overstap naar het voortgezet onderwijs is in ons land gewoonweg een selectiemoment dat meestal beslissend is voor de leerling. Zeker nu het VO zelf, veel meer dan tien jaar terug, dit ook zo ziet en daar naar handelt: risico’s worden vermeden, niemand wordt meer het voordeel van de twijfel gegund; een nogal onpedagogische praktijk eigenlijk.
Wel een begrijpelijke reactie van het voortgezet onderwijs trouwens, omdat ouders niet zelden hun kind ‘opdringen’ en de Inspectie steeds meer een rechtstreeks verband meent te kunnen leggen tussen de vorderingen van de leerlingen en de inspanningen van de school en haar vervolgens beoordeelt en afrekent. Deze overheidsdienst wordt daartoe aangespoord door politici die allergisch zijn voor ‘black boxes’: de samenleving immers eist van hen transparantie, want alom heerst er wantrouwen.
In die sfeer kan de constatering van de Inspectie dat het bovenbedoelde schooladvies regelmatig afwijkt van de toetsuitslag al snel tot ophef leiden. En tot nader onderzoek. De Inspectie doet haar werk, maar wat opvalt is dat deze constatering buiten haar burelen meteen negatief geïnterpreteerd werd: schooladviezen zijn te hoog of soms te laag.
Inderdaad, de toets is meer dan een graadmeter (hulpmiddel) geworden. Terwijl de Inspectie er nog op wijst dat de toetsuitslag een ‘momentopname’ is, heeft hij in de praktijk al de functie van een finaal oordeel gekregen. Een eenvoudige toetsformule als accurate voorspeller van schoolsucces, die de expert overklast.
Intuïtie
Dat de rapporten van de lerares hierboven in de populaire beleving niet veel betekenis meer hebben, is vooral mogelijk vanwege de verwetenschappelijking van onze oordelen. Oordelen die objectief moeten zijn, subjectiviteit (de ingeving van de expert) moet worden uitgebannen, want er staat veel op het spel, zoals bij de overstap naar het v.o. bijvoorbeeld het geval is, of bij de handel in aandelen en de keuze van een medische behandeling.
Daniel Kahneman, een Israëlisch psycholoog en winnaar van de Nobelprijs voor de Economie in 2002, merkt op dat er domeinen zijn die nu eenmaal gekenmerkt worden door behoorlijk veel onzekerheid en onvoorspelbaarheid. 1)
Denk bijvoorbeeld aan een wijngaard die wereldwijd bekend staat om zijn smaakvolle, rijpe wijnen, waarvan de prijs overigens sterk afhankelijk kan zijn van het jaar van de oogst. Op welke toekomstige prijs mogen investeerders rekenen? Of neem de rekrutering voor het leger, een voorbeeld uit Kahnemans eigen praktijk. Hoe komen we er achter of iemand de mogelijkheden heeft tot een goed soldaat uit te groeien?
Snel én langzaam denken
Kahnemans antwoord is dat je in low-validity environments (ook onderwijs is zo’n onzekere omgeving) beslissingen moet baseren op de toepassing van onderzoeksformules die eenvoudig zijn samengesteld. Hun voorspellende functie blijkt superieur te zijn aan het werk van experts. Zelfs de allerbeste deskundigen blijken niet goed in staat over complexe informatie een samenvattend oordeel te vellen. Hun complexe redeneringen kunnen in een enkel geval goed uitpakken, maar meer in het algemeen gesteld zijn hun voorspellingen volgens Kahneman minder betrouwbaar.
Zelf bracht hij het onderzoek onder de rekruten terug tot een test van zes relevante aspecten van de prestatie van een gevechtseenheid, waaronder ‘verantwoordelijkheid’, ‘gemeenschapszin’ en ‘mannelijke trots’. Reageerde onze onderwijzeres nog gelaten op de devaluatie van haar schooladviezen, de selectiemensen van het Israëlische leger waren des duivels. ‘Jij maakt robots van ons!’ Waarop Kahneman hun een compromis voorstelde. ‘Nadat jullie mijn interview hebben afgenomen, sluit je je ogen en probeer dan de rekruut als soldaat voor te stellen.Geef hem vervolgens een cijfer op een schaal van 1 tot 5.’
Tot zijn grote verrassing bleek het intuïtieve oordeel van de interviewers van behoorlijke kwaliteit, hun voorspellingen waren zelfs net zo goed als de gestandaardiseerde voorspellingen. Deze ervaring bracht Kahneman tot de volgende les. Intuïtie heeft een toegevoegde waarde, gebruik haar, maar houd de juiste volgorde aan: eerst een eenvoudig gestandaardiseerd onderzoek. Het gaat om snel én langzaam denken. “
Nico Dullemans is adviseur van de Vereniging Katholiek Onderwijs
1) Thinking, Fast and Slow, Daniel Kahneman, 2011, pp. 222-233.
