Kantel de selectie in het hoger onderwijs

Vanaf het studiejaar 2016/2017 is de gewogen loting afgeschaft bij opleidingen met een fixus en worden alle studenten decentraal geselecteerd door de opleidingen zelf. Uitgangspunt is dat er een betere inhoudelijke match moet zijn tussen student en opleiding, dat de selectie goed moet zijn voor het studiesucces en dat het een begrijpelijke, uitvoerbare en betaalbare situatie moet opleveren zowel voor de aspirant-student als voor de instelling. De selectie hoort te bestaan uit minstens twee kwalitatieve criteria (niet alleen eindexamencijfers). 

De wet sluit aan bij kritiek uit de samenleving op de lotingsprocedure. Loten wordt gezien als willekeurig, terwijl bij een beperkte beschikbaarheid van studieplaatsen motivatie, persoonlijkheid en geschiktheid van de aspirant-student de doorslag zouden moeten geven.

Selectiepsychologen hebben jarenlang gewaarschuwd tegen de nieuwe wet omdat er geen instrumenten zijn waarmee de geschiktheid van studenten goed kan worden voorspeld. Tevens hebben zij betoogd dat juist het vwo-cijfer (de grondslag voor gewogen loting) dan nog de beste voorspeller is. Niettemin is de wet aangenomen.

Onlangs publiceerde de Inspectie voor het Onderwijs een eerste rapportage over de effecten van selectie. Men concludeert dat studenten met een niet-westerse migratieachtergrond, studenten met een lager gemiddeld cijfer in het voortgezet onderwijs en mannen in selecterende opleidingen ondervertegenwoordigd zijn. Dit geldt ook voor studenten met lager opgeleide ouders en studenten uit de lagere inkomensgroepen.

Dat baart zorgen.

Anderzijds wordt vastgesteld dat de opleidingen en de geselecteerde studenten tevreden zijn. De gesprekspartners uit het hoger onderwijs zijn van mening dat door decentrale selectie de studenten beter zijn voorbereid, bewuster kiezen en meer gemotiveerd zijn. Ook ziet men een positief effect op onderlinge binding en binding met de opleiding. Met niet geselecteerden is overigens opvallend genoeg niet gesproken en het gaat hier om impressies.

De inspectie maakt zich er gemakkelijk vanaf. Er is bijvoorbeeld niet nagegaan of de gehanteerde selectiemethoden goed zijn onderbouwd, of ze het doel (minder uitval en meer studiesucces) dienen, wat de niet geselecteerde studenten ervan vinden en wat de neveneffecten zijn.

De inspectie rapporteert dat opleidingen tal van verschillende selectiecriteria hanteren, variërend van avontuurlijkheid tot zorgvuldigheid, van empathisch vermogen tot gastvrijheid en van doorzettingsvermogen tot zelfstandigheid. Er worden bijna altijd meerdere selectiecriteria toegepast maar de weging is onduidelijk. Ook voert men selectiegesprekken, vraagt men referenties, en worden er vooral veel toetsen afgenomen.

De grote vraag blijft wat de voorspellende waarde van al deze selectiemethoden is, of er een relatie is met uitval en studiesucces, en of de methoden betrouwbaar en valide zijn. Daarnaast zijn er verschillende neveneffecten, zoals de opkomst van bureaus die aanmelders trainen voor de selectie en de druk op middelbare scholen om hogere cijfers te geven.

Alleen al op basis van de onderzoeksliteratuur passen veel reserves bij de nu ontstane selectieprocedures. Vooral het idee dat aanmelders goed van elkaar te onderscheiden zijn in geschiktheid, is een fictie. Om die reden doen we een voorstel om de selectie-aanpak te kantelen, zodat deze meer evidence based is. Maar eerst brengen we de problemen, ontwikkelingen, neveneffecten en misconcepties in kaart.

Wel of geen niet-cognitief criterium?

De wet wordt niet eenduidig geïnterpreteerd. Veel instellingen en bijvoorbeeld ook studentenorganisaties menen stellig dat minstens een van de kwalitatieve criteria betrekking moet hebben op non-cognitieve eigenschappen.

De wet bepaalt echter alleen dat er tenminste twee criteria moeten worden gehanteerd. Dat mogen twee cognitieve criteria zijn en dat is verstandig want het meten en wegen van non cognitieve criteria is moeilijk betrouwbaar en valide te doen. Hierop wordt nog teruggekomen. 

Weging?

Als men meerdere voorspellers gebruikt moet men die wegen. Om goed te wegen moet men weten wat de voorspellende waarde  is van de voorspeller en in welke mate de voorspellers onafhankelijk van elkaar zijn. Doorgaans weet men dat niet en is de weging natte vingerwerk. Bovendien is vaak vooraf niet duidelijk hoe er wordt gewogen, wat niet strookt met de transparantie-eis in de wet. De weging bepaalt immers wel de uiteindelijke ranking. 

Eindexamencijfers

Uit al het beschikbare onderzoek blijkt dat het gemiddelde eindexamencijfer de beste voorspeller is van studiesucces. Overigens lang geen perfecte voorspeller maar het verklaart de meeste variantie. Het blijkt ook uit de prestaties van de leerlingen die met een gemiddelde van > 8 met de studie Geneeskunde starten. Het zijn gemiddeld de beste studenten en ze presteren ook beter dan geselecteerde studenten. De 8-plus regeling is ondanks evident succes (althans in het wo) geschrapt en de eindexamencijfers kunnen niet worden gebruikt omdat de selectie plaatsvindt voordat de cijfers bekend zijn. 

Andere beschikbare cijfers

Bij een aantal selectieprocedures wordt na het wegvallen van de mogelijkheid om eindexamencijfers te gebruiken, gebruik gemaakt van de overgangscijfers in het jaar dat vooraf gaat aan het eindexamen. Dat heeft nadelen. Scholen worden onder druk gezet om hoog te becijferen zodat de leerling meer kans maakt in de selectie. En er zijn leerlingen die bewust de een na laatste klas doubleren om met een beter cijfergemiddelde de selectie in te gaan. Schoolcijfers zijn bovendien niet gestandaardiseerd terwijl eindexamencijfers dat voor de helft wel zijn (want afkomstig van een landelijk examen) 

Correlationeel onderzoek als basis voor selectie? 

Er is veel onderzoek beschikbaar (ook in de vorm van meta analyses) waarin verbanden tussen tal van factoren en studiesucces worden gerapporteerd. Er worden veel kleine correlaties gevonden (< 0.25), bijvoorbeeld met conscientieusheid of emotionele intelligentie. Er worden ook wel grotere correlaties gevonden (bijvoorbeeld met doelgerichtheid of met inzet) maar dit is doorgaans gemeten als de student al studeert.

Dat impliceert dat men helemaal niet weet of dit ook geldt als men het in een studie gebruikt die voorafgaand  iets moet voorspellen over het ‘te verwachten’ studiesucces . Veel van die eigenschappen ontwikkelt men nu immers juist in de opleiding. Bovendien is een correlatie nog geen oorzakelijk verband. 

Wat voorspelt niet of nauwelijks?

Uit dezelfde meta analyses blijkt dat bijvoorbeeld referentiebrieven, individuele gesprekken zoals intakegesprekken, emotionele intelligentietests, motivatiebrieven en personal statements (allemaal non-cognitieve factoren) niet of nauwelijks iets voorspellen. De inspectie onderscheidt in haar rapportage acht categorieën voorspellers en zeker de helft daarvan valt in de categorie waarvan vaststaat dat er niks mee wordt voorspeld. Toch worden ze blijkbaar volop gebruikt. 

Zelfrapportage feitelijk onbruikbaar

In de selecties wordt vaak gebruik gemaakt van zelfrapportage, bijvoorbeeld in de vorm van motivatiebrieven en cv’s maar ook bij het invullen van bijvoorbeeld motivatievragenlijsten. Het gevaar van onbetrouwbare gegevens is groot: bij aangeleverde gegevens weet men niet wie het materiaal geproduceerd heeft. Voorts gaan aanmelders bedenken wat het meest wenselijke antwoord is. Zelfrapportage is daarom feitelijk onbruikbaar als selectiemiddel. 

High stakes vs. Low stakes – een methodologisch hiaat

Veel van de eerdergenoemde correlaties tussen niet-cognitieve factoren en studiesucces zijn gevonden in metingen waarbij er niets op het spel stond (low stakes). Bijvoorbeeld in een onderzoek dat wordt gedaan als de studenten al zijn toegelaten, of al studeren. Zodra men deze factoren als een predictor gaat gebruiken in een situatie waarbij de selectie ervan afhangt (high stakes) raakt de meting besmet omdat de aspirant student andere (wenselijke) antwoorden geeft. Zelfs als men zeker weet dat men behoorlijke non cognitieve voorspellers heeft zijn deze niet betrouwbaar te meten in een high stakes situatie, ook omdat het bijna altijd om metingen op basis van zelfrapportage gaat. Aanmelders gaan faken als er iets op het spel staat. 

Trainingsbureaus

Inmiddels kan de student die wil worden geselecteerd voor een studie, terecht bij trainingsbureaus die hem of haar helpen te worden geselecteerd. Vaak werken bij deze trainingsbureaus mensen die zelf de studie hebben gevolgd. Deze trainingsbureaus doen alles om er achter te komen waar de selectie uit zal bestaan en waar men op geselecteerd zal worden en trainen, uiteraard tegen betaling, de student voor het selectieproces. Men wil immers net als de rijschool een hoog succespercentage rapporteren. Het bedreigt opnieuw de betrouwbaarheid en de validiteit van de selectie omdat nu eenmaal heel veel te faken en te trainen is (zelfs cognitieve vaardigheden, als men maar weet wat er bestudeerd moet worden). 

Zelfselectie

In veel studies wordt inmiddels het gevaar van zelfselectie genoemd en ook de inspectie benoemt dit. Het is niet te onderschatten. Hoeveel leerlingen zullen bij het bestuderen van de selectiecriteria en de selectieprocedure denken “dat lukt mij toch niet” en ligt het niet heel erg voor de hand dat sociaal economische achtergrond daarbij een rol speelt? Zeker in een milieu waarin weinig additionele kennis en ervaring aanwezig is, lijkt het gevaar groot dat men afziet van deelname aan de selectieprocedure.

Niets is geheim te houden

Als men graag wil worden geselecteerd dan zal men er alles aan doen om na te gaan wat men moet presteren tijdens de selectie. Hoe goed men ook zijn best doet de toetsen geheim te houden en te variëren, er is altijd het gevaar dat het toch min of meer bekend is. Zeker als trainingsbureaus  er geld aan kunnen verdienen. Doordat aanmelders 3 keer per studie aan een selectie kunnen deelnemen, neemt de kans toe dat men veel informatie vergaart over de gestelde eisen en de gebruikte selectiemethoden. Dat impliceert ook dat bewezen selectiemethoden binnen enkele jaren niet meer werken omdat de meeste deelnemers inmiddels weten wat men moet doen om te worden geselecteerd.

Transparantie

De wet vereist dat de selectieprocedure transparant is zodat aanmelders zich grondig kunnen voorbereiden op de selectie. Letterlijk wordt in de wet gezegd: zij moeten zich immers kunnen voorbereiden op de selectie door zich bijvoorbeeld een vaardigheid eigen te maken of vrijwilligerswerk te doen. Dat is een begrijpelijke eis maar waar men in het verleden dergelijke extra activiteiten nog kon interpreteren als een indicatie voor motivatie valt de betekenis weg als iedereen vrijwilligerswerk gaat doen ten behoeve van de selectie.

Transparantie en betrouwbaarheid 

Transparantie is de vijand van betrouwbaarheid. Hoe meer openheid er is over de manier waarop wordt geselecteerd, hoe beter aanmelders zich kunnen voorbereiden, maar de toetsresultaten worden er minder betrouwbaar van. 

Stabiele factoren?

De inspectie noemt een aantal factoren waarop uiteenlopende studies selecteren, bijvoorbeeld gastvrijheid, empatisch vermogen, zelfstandigheid en doorzettingsvermogen. Eerder is al betoogd dat deze eigenschappen moeilijk meetbaar zijn. Belangrijker is dat het helemaal geen stabiele factoren zijn. Ze zijn bovendien vaak contextgebonden. Iemand die zich op de middelbare school verveelt kan zeer gemotiveerd raken van een specifieke opleiding. Moeten leerlingen doelgericht zijn als onderzoek aantoont dat we hen dat prima kunnen leren?

We mogen toch hopen dat de kracht van ons hoger onderwijs is dat we bij studenten zelfstandigheid en doorzettingsvermogen kunnen ontwikkelen. Het is aanvechtbaar om te denken dat leerlingen op 17 of 18-jarige leeftijd al deze vaardigheden al in huis hebben voor de rest van hun leven en dat als ze die vaardigheden niet hebben hen dat ongeschikt maakt voor een opleiding. 

Willekeur

Een van de redenen om de gewogen loting af te schaffen is de willekeur van het lot. Selectie is net zo goed willekeurig. De Medische Faculteit van de RUG adopteerde het selectieprogramma van de EUR dat bewezen succesvol was. Men voegde echter nog een eigen criterium toe maar bekeek welke studenten men selecteerde met alleen de Rotterdamse methode en met de toevoeging van een extra criterium.

Men vond dat met het hanteren van alleen de (bewezen) Rotterdamse procedure een derde van de aanmelders die in Rotterdam wel door de eerste selectieronde zouden zijn gekomen nu niet werden geselecteerd, en omgekeerd. De wet staat toe dat iedere opleiding eigen criteria hanteert maar het verschil is opzienbarend juist omdat de Rotterdamse aanpak al bewezen effectief was.  Hier ziet men ook het effect van het gebruik van meerdere criteria en de weging.

Kosten

Er zijn volgens het rapport van de inspectie ongeveer 164 opleidingen in het ho met een numerus fixus. In totaal bedroeg het aantal aanmeldingen in 2017 47.000 (20.000 plaatsen). Stel dat de selectie 100 euro per aanmelder kost dan wordt al bijna 5 miljoen onderwijsgeld gespendeerd aan alleen de selectie. Dat had ook aan goed onderwijs kunnen worden besteed en vermoedelijk liggen de echte integrale kosten een stuk hoger (voorlichting en communicatie, docenten, coördinatoren, toetsing, individuele gesprekken, bestuderen dossiers, beroepsprocedures etc.).

Het geld dat aanmelders uitgeven aan training is dan nog niet verdisconteerd. Soms staan daar baten tegenover in de vorm van verminderde uitval maar een kosten-baten analyse ontbreekt en de effecten op uitval zijn tot dusverre beperkt.

Ranking

Het allergrootste probleem van de wet is dat er wordt voorgeschreven dat aanmelders moeten worden gerangschikt op basis van de selectie. Het is een misvatting dat dit op een betrouwbare en valide manier kan. Naast de invloed van de nogal willekeurige weging speelt mee dat geen enkele test 100% betrouwbaar is (80% is al hoog) en dat de voorspellende waarde  altijd beperkt is. Een rangorde is dan per definitie willekeurig en gebaseerd op schijnprecisie. Bij een iets andere weging, of een testafname op een andere dag, of het gebruik van andere selectiemethoden zou de rangorde anders uitpakken.

Conclusie

Er valt veel af te dingen op het enthousiasme voor de nieuwe selectiewet en er lijkt een doos van Pandora te zijn geopend door elke opleiding de vrije hand te geven om op eigen gezag te gaan selecteren.  Daar staat tegenover dat er ook opleidingen zijn waar men grondig heeft onderzocht wat het effect is van decentrale selectie in de tijd dat men deels selecteerde en deels lootte.

Vooral opleidingen Geneeskunde en enkele opleidingen Psychologie hebben verslag gedaan van dergelijk onderzoek. Daarin ziet men dat selectie wel iets kan opleveren op het gebied van studiesucces al zijn de effecten beperkt. Essentieel is dat uit al het onderzoek blijkt dat niet geselecteerde studenten die toch worden ingeloot in (grote) meerderheid succesvol zijn in de studie. Men wijst dus bij de selectie overwegend mensen af die ook prima zouden hebben gepresteerd.

Het onderzoek laat verder zien dat selectie een bijdrage kan leveren aan het keuzeproces als de selectie zo wordt ingericht dat de selectieprocedure sterk is gericht op de inhoud van de studie, bijvoorbeeld met een selectieprocedure die is gebaseerd op proefstuderen op basis van een curriculum sample.

Een tweede constatering is dat het erop lijkt dat met selectie deels inspanningsbereidheid wordt gemeten. Het is te verdedigen dat men een behoorlijke inspanning eist van aanmelders die met een studie willen starten waar meer leerlingen willen worden toegelaten dan er plaatsen zijn. Inspanning is wellicht een behoorlijke graadmeter voor motivatie en studiesucces is sterk afhankelijk van de hoeveelheid tijd die men in een studie steekt. Door zich in te spannen voor een selectieprocedure laat men zien graag te willen worden geselecteerd, al moeten we ons afvragen of het ook werkt als iedereen weet dat de inspanningsbereidheid een belangrijk selectiecriterium is.

De wet is echter aangenomen en ingevoerd en nu resteert de vraag hoe we deze het beste kunnen uitvoeren zonder dat deze discriminerend is voor bepaalde groepen of ongewenst willekeurig uitpakt.

Selectie kantelen – het beste van twee werelden?

De belangrijkste constatering en daarmee uitgangspunt is dat veruit de meeste aanmelders geschikt zijn en dat het onmogelijk is aanmelders betrouwbaar te rangordenen op geschiktheid. De tweede constatering is dat er te weinig plaatsen zijn bij bepaalde studies en dat sommige geschikte en gemotiveerde leerlingen per definitie niet de studie van hun eerste keus kunnen volgen. Dat lost men niet op met selectie.

De vraag zou dan ook niet moeten zijn of we aanmelders kunnen rangschikken maar of we kunnen bepalen welke aanmelders ongeschikt zijn en of we dat betrouwbaar en valide kunnen vaststellen. Het zou veel kunnen opleveren als elke selecterende opleiding operationaliseert wat iemand ongeschikt maakt voor die specifieke opleiding en of men dat kan meten tijdens een selectie of in een aanmeldingsprocedure.

Daarnaast zouden we kunnen nagaan of bepaalde aanmelders juist zeer geschikt zijn voor de studie. Er is immers bewijs dat bijvoorbeeld de zogenaamde vwo 8 plussers het beste presteren in het Hoger Onderwijs. Het is denkbaar dat er meer factoren zijn met een aangetoonde voorspellende waarde die het mogelijk maken om de beste studenten te selecteren.

Voor alle overige aanmelders geldt dat niet goed uit te maken is wie meer en minder geschikt is en is het eerlijker om hen niet te rangordenen maar dezelfde rangorde toe te kennen. Dat wil zeggen dat we accepteren dat veel kandidaten niet betrouwbaar van elkaar te onderscheiden zijn. Als we in de huidige regeling nummer 350 wel toelaten en nummer 351 niet dan heeft nummer 351 alle gelijk aan zijn of haar zijde als hij of zij claimt dat de instelling helemaal geen betrouwbaar onderscheid kan maken tussen nummers 350 en 351.

In zo’n geval is een Ex aequo regeling waarbij deze kandidaten een gelijke rangorde krijgen fair. Men selecteert dan eerst alle aanmelders die aantoonbaar zeer geschikt zijn en loot voor de volgende plaatsen in de groep waarvan men niet weet wie er meer of minder geschikt is en wijst de evident ongeschikte aanmelders af. Het lot heeft het grote voordeel dat het niet kijkt naar sociaal economische achtergrond, huidskleur en de opleiding van de ouders! Met een dergelijke aanpak kan men de selectie eenvoudiger en goedkoper inrichten (uitsluitend evidence based).

Daarnaast is het heel goed mogelijk om andere activiteiten te plannen die ten doel hebben de binding met de opleiding te versterken, in gesprek te komen met de aspirant-studenten, de matching te bevorderen, etc. maar het moet glashelder zijn welke activiteiten meetellen voor de selectie en welke activiteiten andere doelen dienen. Dan pas wordt voldaan aan de transparantie eis van de wet.

In elk geval wordt het tijd dat elke opleiding niet alleen transparant is over de wijze waarop wordt geselecteerd maar ook aantoont dat men gebruik maakt van evidence based selectiemethoden.