Eerlijke toelatingsprocedure combineert decentrale selectie en loting
In 2016 kwam na vele jaren van loting en evenzovele jaren van discussie een eind aan de centrale selectie door middel van gewogen loting voor de toelating van studenten tot universitaire studies met een beperkt aantal plaatsen (numerus fixus). Deze centrale selectie werd door velen als oneerlijk bestempeld. Het lot bepaalde immers grotendeels de toelating, en motivatie of geschiktheid voor de studie speelden geen rol. Dat laatste is maar ten dele waar: met een gewogen loting hadden aspirant studenten met een hoger cijfergemiddelde op de middelbare school een grotere kans om ingeloot te worden. Niettemin klopt het natuurlijk dat motivatie in een systeem van loting lastig te toetsen is.
Proefstuderen als voorspeller van studiesucces
Centrale loting werd daarom vervangen door een decentrale selectie op ten minste twee kwalitatief verschillende criteria, waaronder motivatie. Maar, zoals ScienceGuide eerder meldde, de instrumenten die de motivatie moeten meten blijken geen betrouwbare voorspeller van studiesucces, dat wat de meeste opleidingen met hun selectie juist willen voorspellen. Studiesucces kan wél in een redelijke mate voorspeld worden met verschillende vormen van ‘proefstuderen’ op basis van een ‘curriculum sample’. Aspirant studenten bestuderen hierbij bepaalde opleidingsspecifieke stof en maken daar één of meerdere toetsen over.
Bij de studie psychologie in Utrecht hebben we, in navolging van de Universiteit van Amsterdam, het proefstuderen al ruim opgezet voor we met decentrale selectie begonnen. We hebben onze instrumenten zo goed mogelijk gevalideerd en hierover ook wetenschappelijk gerapporteerd (zie bijv. van Ooijen van der Linden, et al. 2019). De prestaties tijdens het proefstuderen wegen even zwaar voor toelating als middelbare schoolcijfers. Dit betekent dat een aspirant-student die door omstandigheden lagere cijfers heeft gehaald op de middelbare school door een goede proefstudeer-prestatie toch toegang kan krijgen tot de opleiding.
Met behulp van de signaaldetectietheorie hebben we kunnen vaststellen vanaf welke toelatingsscore ‘goed presteren’ in de opleiding te verwachten is. Ondanks het feit dat we op basis van onze selectie een redelijke voorspelling kunnen doen, blijft er altijd een hoge mate van onzekerheid. ‘Goed presteren’ in de opleiding ontwikkelt zich nu eenmaal in de loop van de opleiding en is dus per definitie onzeker ten tijde van aanmelding en selectie. Dit maakt het uiterst lastig om rangnummers (die bij decentrale selectie worden toebedeeld) te gebruiken, en helemaal om hierbinnen één hard afkappunt te hanteren.
Nauwelijks onderscheid te maken in de middenmoot
Klaas Visser legde in 2017 in ScienceGuide al de vinger op de wonde. Als we (zoals bij psychologie) 600 studenten toelaten, dan willen we duidelijk onderscheid kunnen maken tussen de te verwachten prestatie van de aspirant student met rangnummer 600 en die met rangnummer 601. Maar kunnen we dat wel? We lijken hiermee uit te gaan van een virtuele precisie die er in werkelijkheid helemaal niet kan zijn. Wat stelt een scoreverschil van nog geen honderdste op een 10-punts-schaal tussen de ene en andere student nu helemaal voor? Zo accuraat zijn onze voorspellers helemaal niet. Neem als voorbeeld bijgevoegde figuur met gegevens uit 2020. Hierin staan de toelatingsscores (op een 10-puntsschaal; y-as) als functie van afgegeven rangnummer; x-as). Deze toelatingsscore is voor dit voorbeeld bepaald door het gemiddelde te nemen van de middelbare schoolcijfers enerzijds en de prestatie tijdens het proefstuderen anderzijds.
Het is duidelijk dat er voor deze 1044 rangnummers aan beide uiteinden (de lage versus de hoge rangnummers) duidelijk verschil is tussen de toelatingsscores. De grafiek laat echter ook zien dat het grootste deel van de rangnummers afgegeven zijn aan studenten die redelijk vergelijkbaar scoorden. Ongeveer 200 aspirant studenten scoorden op of boven de 7 (ruim voldoende), ongeveer 150 aspirant studenten scoorden onder de 5,5 (onvoldoende). Dat betekent dat de rangnummers van de 700 overgebleven aspirant studenten bepaald worden door een scoreverschil van gemiddeld 0.002 punten tussen individuele kandidaten. De vraag is welk onderscheid een afkappunt tussen 600 en 601 dan nog maakt. Met de gestage groei van het aantal aanmeldingen ieder jaar wordt het belang van dit afkappunt alleen maar groter, maar de groep die vergelijkbaar (in het midden) scoort ook.
Klaas Visser stelde in zijn betoog dat het beter en eerlijker zou zijn om een ex aequo regeling te hanteren voor deze middenmoot. Hij noemde dit het ‘kantelen’ van de selectie. In de wandelgangen wordt dit op verschillende universiteiten ook wel het ‘Klaas Vissermodel’ genoemd. In dit model worden de meest geschikte aspiranten geselecteerd (in het voorbeeld die met een gemiddelde score ≥ 7) en de minst geschikten uitgeselecteerd (in het voorbeeld die met een gemiddelde score < 5.5). Voor de aspiranten in de middenmoot, waar met de bestaande instrumenten eigenlijk nauwelijks onderscheid tussen individuele kandidaten te maken is, kan vervolgens loting toegepast worden om de overige plaatsen toe te kennen. In het voorbeeld hierboven zouden dan de 700 studenten uit de middenmoot willekeurig een rangnummer tussen de 201 en 900 toebedeeld krijgen, waarvan de laagste 400 (201-600) toegang geven tot de opleiding.
Gemiste kans
Rond de jaarwisseling 2020-2021 is een nieuwe wet voorgesteld waarin decentrale loting toegevoegd wordt aan het instrumentarium van selectiecommissies van de fixusopleidingen. Dit zou tegemoet moeten komen aan enerzijds de wens om maatwerk mogelijk te maken en handvatten te bieden om de juiste student op de juiste plek te krijgen, en anderzijds het streven om ongewenste neveneffecten van selectie, zoals zelfselectie of onbewuste benadeling van aspirant-studenten met bepaalde culturele of sociaaleconomische achtergrond, tegen te gaan.
De tekst van de wet en de memorie van toelichting daarbij spreken elkaar echter tegen. Uit de tekst van de wet lijkt het mogelijk om een combinatie van decentrale selectie en decentrale loting te hanteren, waarbij de meest geschikte aspirant studenten geselecteerd en de minst geschikte uitgeselecteerd worden en tussen de aspiranten van de middengroep wordt geloot. Uit de memorie van toelichting blijkt echter dat een fixus-opleiding zal moeten kiezen tussen het hanteren van selectie zoals we momenteel doen, of een (on)gewogen loting. Het combineren van selectiemethoden is niet mogelijk en het Klaas Vissermodel valt hiermee als optie af. Bij navraag vanuit de universiteiten bleek dat de memorie van toelichting als leidend moet worden gezien.
Concreet betekent dit dat met de nieuwe wet of de ongewenste neveneffecten van selectie volledig blijven bestaan, of de ‘oneerlijkheid’ van de loting op de koop toe genomen zal moeten worden. In feite worden fixus-opleidingen verplicht te kiezen tussen twee kwaden, terwijl het model van Klaas Visser nu juist beoogt het beste van twee werelden te combineren, wat ondersteund lijkt te worden door onze data. Dit lijkt ons een gemiste kans. Wij hopen dat een nieuw kabinet de Kamer (of andersom) zal willen en kunnen overtuigen dat het combineren van selectiemethoden ons dichterbij beter verantwoorde toelatingsprocedures brengt. Procedures die de studenten helpen bij het vinden van een opleiding die niet alleen aansluit bij hun wensen en mogelijkheden, maar ook rekening houden met wat wel en niet haalbaar is in het voorspellen van studiesucces.
Literatuurverwijzingen
Reflectie op proefschrift ‘Prediction of Study Success – Creation of Magic Zones’.
van Ooijen - van der Linden, L., Woertman, E.M., te Pas, S.F. & van der Smagt, M.J. (2019). Reflectie op proefschrift ‘Prediction of Study Success – Creation of Magic Zones’. Tijdschrift voor Hoger Onderwijs, 37 (1), (pp. 24-43).
