Kantel de selectie in het hoger onderwijs
Vanaf het studiejaar 2016/2017 is de gewogen loting afgeschaft bij opleidingen met een fixus en worden alle studenten decentraal geselecteerd door de opleidingen zelf. Uitgangspunt is dat er een betere inhoudelijke match moet zijn tussen student en opleiding, dat de selectie goed moet zijn voor het studiesucces en dat het een begrijpelijke, uitvoerbare en betaalbare situatie moet opleveren zowel voor de aspirant-student als voor de instelling. De selectie hoort te bestaan uit minstens twee kwalitatieve criteria (niet alleen eindexamencijfers).
De wet sluit aan bij kritiek uit de samenleving op de lotingsprocedure. Loten wordt gezien als willekeurig, terwijl bij een beperkte beschikbaarheid van studieplaatsen motivatie, persoonlijkheid en geschiktheid van de aspirant-student de doorslag zouden moeten geven.
Selectiepsychologen hebben jarenlang gewaarschuwd tegen de nieuwe wet omdat er geen instrumenten zijn waarmee de geschiktheid van studenten goed kan worden voorspeld. Tevens hebben zij betoogd dat juist het vwo-cijfer (de grondslag voor gewogen loting) dan nog de beste voorspeller is. Niettemin is de wet aangenomen.
Onlangs publiceerde de Inspectie voor het Onderwijs een eerste rapportage over de effecten van selectie. Men concludeert dat studenten met een niet-westerse migratieachtergrond, studenten met een lager gemiddeld cijfer in het voortgezet onderwijs en mannen in selecterende opleidingen ondervertegenwoordigd zijn. Dit geldt ook voor studenten met lager opgeleide ouders en studenten uit de lagere inkomensgroepen.
Dat baart zorgen.
Evaluatie laat alleen goed nieuws horen
Anderzijds wordt vastgesteld dat de opleidingen en de geselecteerde studenten tevreden zijn. De gesprekspartners uit het hoger onderwijs zijn van mening dat door decentrale selectie de studenten beter zijn voorbereid, bewuster kiezen en meer gemotiveerd zijn. Ook ziet men een positief effect op onderlinge binding en binding met de opleiding. Met niet-geselecteerden is overigens opvallend genoeg niet gesproken. Daarnaast gaat het hier om impressies.
De Inspectie maakt zich er gemakkelijk vanaf. Er is bijvoorbeeld niet nagegaan of de gehanteerde selectiemethoden goed zijn onderbouwd, of ze het doel (minder uitval en meer studiesucces) dienen, wat de niet-geselecteerde studenten ervan vinden en wat de neveneffecten zijn.
Geen kritische reflectie op effectiviteit selectie
De Inspectie rapporteert dat opleidingen tal van verschillende selectiecriteria hanteren, variërend van avontuurlijkheid tot zorgvuldigheid, van empathisch vermogen tot gastvrijheid en van doorzettingsvermogen tot zelfstandigheid. Er worden bijna altijd meerdere selectiecriteria toegepast, maar de weging is onduidelijk. Ook voert men selectiegesprekken, vraagt men referenties, en worden er vooral veel toetsen afgenomen.
De wekelijkse nieuwsbrief is nog korte tijd gratis te ontvangen. De voorwaarden vindt u hier.
De grote vraag blijft wat de voorspellende waarde van al deze selectiemethoden is, of er een relatie is met uitval en studiesucces, en of de methoden betrouwbaar en valide zijn. Daarnaast zijn er verschillende neveneffecten, zoals de opkomst van bureaus die aanmelders trainen voor de selectie en de druk op middelbare scholen om hogere cijfers te geven.
Problemen, neveneffecten en misconcepties
Alleen al op basis van de onderzoeksliteratuur passen veel reserves bij de nu ontstane selectieprocedures. Vooral het idee dat aanmelders goed van elkaar te onderscheiden zijn in geschiktheid, is een fictie. Om die reden doen we een voorstel om de selectie-aanpak te kantelen, zodat deze meer evidence-based is. Eerst brengen we de problemen, ontwikkelingen, neveneffecten en misconcepties in kaart.
Wel of geen niet-cognitief criterium
De wet wordt niet eenduidig geïnterpreteerd. Veel instellingen en bijvoorbeeld ook studentenorganisaties menen stellig dat minstens een van de kwalitatieve criteria betrekking moet hebben op non-cognitieve eigenschappen.
De wet bepaalt echter alleen dat er tenminste twee criteria moeten worden gehanteerd. Dat mogen twee cognitieve criteria zijn, wat verstandig is, want het meten en wegen van non-cognitieve criteria is moeilijk betrouwbaar en valide te doen. Hierop wordt nog teruggekomen.
Weging?
Als men meerdere voorspellers gebruikt, moet men die wegen. Om goed te wegen, moet men weten wat de voorspellende waarde van de voorspeller is en in welke mate de voorspellers onafhankelijk van elkaar zijn. Doorgaans weet men dat echter niet en is de weging natte vingerwerk. Bovendien is vaak vooraf niet duidelijk hoe er wordt gewogen, wat niet strookt met de transparantie-eis in de wet. De weging bepaalt immers wel de uiteindelijke ranking.
Eindexamencijfers
Uit al het beschikbare onderzoek blijkt dat het gemiddelde eindexamencijfer de beste voorspeller is van studiesucces. Overigens lang geen perfecte voorspeller maar het verklaart de meeste variantie. Het blijkt ook uit de prestaties van de leerlingen die met een gemiddelde van > 8 met de studie Geneeskunde starten. Het zijn gemiddeld de beste studenten en ze presteren ook beter dan geselecteerde studenten. De 8-plus regeling is ondanks evident succes (althans in het wo) geschrapt en de eindexamencijfers kunnen niet worden gebruikt omdat de selectie plaatsvindt voordat de cijfers bekend zijn.
Andere beschikbare cijfers
Bij een aantal selectieprocedures wordt na het wegvallen van de mogelijkheid om eindexamencijfers te gebruiken, gebruikgemaakt van de overgangscijfers in het jaar dat vooraf gaat aan het eindexamen. Dat heeft nadelen. Scholen worden onder druk gezet om hoog te becijferen zodat de leerling meer kans maakt in de selectie. Verder zijn er leerlingen die bewust de een na laatste klas doubleren om met een beter cijfergemiddelde de selectie in te gaan. Schoolcijfers zijn bovendien niet gestandaardiseerd terwijl eindexamencijfers dat voor de helft wel zijn (want die zijn afkomstig van een landelijk examen).
Correlationeel onderzoek als basis voor selectie?
Er is veel onderzoek beschikbaar (ook in de vorm van meta-analyses) waarin verbanden tussen tal van factoren en studiesucces worden gerapporteerd. Er worden veel kleine correlaties gevonden (< 0.25), bijvoorbeeld met nauwgezetheid of emotionele intelligentie. Er worden ook wel grotere correlaties gevonden (bijvoorbeeld met doelgerichtheid of met inzet), maar dit is doorgaans pas gemeten als de student al studeert.
Dat impliceert dat men helemaal niet weet of dit ook geldt als men het in een studie gebruikt die voorafgaand iets moet voorspellen over het ‘te verwachten’ studiesucces . Veel van die eigenschappen ontwikkelt men nu immers juist in de opleiding. Bovendien is een correlatie nog geen oorzakelijk verband.
Wat voorspelt niet of nauwelijks?
Uit dezelfde meta-analyses blijkt dat bijvoorbeeld referentiebrieven, individuele gesprekken zoals intakegesprekken, emotionele intelligentietests, motivatiebrieven en persoonlijke getuigenissen (allemaal non-cognitieve factoren) niet of nauwelijks iets voorspellen. De Inspectie onderscheidt in haar rapportage acht categorieën voorspellers. Zeker de helft daarvan valt in de categorie waarvan vaststaat dat er niks mee wordt voorspeld. Toch worden ze blijkbaar volop gebruikt.
Zelfrapportage feitelijk onbruikbaar
In de selecties wordt vaak gebruikgemaakt van zelfrapportage, bijvoorbeeld in de vorm van motivatiebrieven en cv’s, maar ook bij het invullen van bijvoorbeeld motivatievragenlijsten. Het gevaar van onbetrouwbare gegevens is groot; bij aangeleverde gegevens weet men niet wie het materiaal geproduceerd heeft. Voorts gaan aanmelders bedenken wat het meest wenselijke antwoord is. Zelfrapportage is daarom feitelijk onbruikbaar als selectiemiddel.
High stakes vs. Low stakes – een methodologisch hiaat
Veel van de eerdergenoemde correlaties tussen niet-cognitieve factoren en studiesucces zijn aangetroffen in metingen waarbij er niets op het spel stond (low stakes) – bijvoorbeeld in een onderzoek dat wordt gedaan als de studenten al zijn toegelaten of al studeren. Zodra men deze factoren als een voorspeller gaat gebruiken in een situatie waarbij de selectie ervan afhangt (high stakes), raakt de meting besmet omdat de aspirant student andere (wenselijke) antwoorden geeft. Zelfs als men zeker weet dat men behoorlijke non-cognitieve voorspellers heeft, zijn deze niet betrouwbaar te meten in een high stakes situatie, ook omdat het bijna altijd om metingen op basis van zelfrapportage gaat. Aanmelders gaan simuleren als er iets op het spel staat.
Trainingsbureaus
Inmiddels kan de student die wil worden geselecteerd voor een studie terecht bij trainingsbureaus die hem of haar helpen te worden geselecteerd. Vaak werken bij deze trainingsbureaus mensen die zelf de studie hebben gevolgd. Deze trainingsbureaus doen alles om erachter te komen waaruit de selectie zal bestaan en waarop men geselecteerd zal worden. Op basis daarvan trainen ze, uiteraard tegen betaling, de aspirant-student voor het selectieproces. Men wil immers net als de rijschool een hoog succespercentage rapporteren. Het bedreigt opnieuw de betrouwbaarheid en de validiteit van de selectie omdat nu eenmaal heel veel te simuleren en te trainen is (zelfs cognitieve vaardigheden, als men maar weet wat er bestudeerd moet worden).
Zelfselectie
In veel studies wordt inmiddels het gevaar van zelfselectie genoemd. Ook de Inspectie benoemt dit. Het is niet te onderschatten. Hoeveel leerlingen zullen bij het bestuderen van de selectiecriteria en de selectieprocedure denken “dat lukt mij toch niet”, en ligt het niet heel erg voor de hand dat een sociaaleconomische achtergrond daarbij een rol speelt? Zeker in een milieu waarin weinig additionele kennis en ervaring aanwezig is, lijkt het gevaar groot dat men afziet van deelname aan de selectieprocedure.
Niets is geheim te houden
Als men graag wil worden geselecteerd, dan zal men er alles aan doen om na te gaan wat men moet presteren tijdens de selectie. Hoe goed men ook zijn best doet de toetsen geheim te houden en te variëren, er is altijd het gevaar dat het toch min of meer bekend is. Zeker als trainingsbureaus er geld aan kunnen verdienen. Doordat aanmelders drie keer per studie aan een selectie kunnen deelnemen, neemt de kans toe dat men veel informatie vergaart over de gestelde eisen en de gebruikte selectiemethoden. Dat impliceert ook dat bewezen selectiemethoden binnen enkele jaren niet meer werken omdat de meeste deelnemers inmiddels weten wat men moet doen om te worden geselecteerd.
Transparantie van selectie
De wet vereist dat de selectieprocedure transparant is zodat aanmelders zich grondig kunnen voorbereiden op de selectie. Letterlijk wordt in de wet gezegd: ‘zij moeten zich immers kunnen voorbereiden op de selectie door zich bijvoorbeeld een vaardigheid eigen te maken of vrijwilligerswerk te doen’. Dat is een begrijpelijke eis, maar waar men in het verleden dergelijke extra activiteiten nog kon interpreteren als een indicatie voor motivatie, valt de betekenis weg als iedereen vrijwilligerswerk gaat doen ten behoeve van de selectie.
Transparantie en betrouwbaarheid
Transparantie is de vijand van betrouwbaarheid. Hoe meer openheid er is over de manier waarop wordt geselecteerd, hoe beter aanmelders zich kunnen voorbereiden. De toetsresultaten worden er minder betrouwbaar van.
Stabiele factoren?
De Inspectie noemt een aantal factoren waarop uiteenlopende studies selecteren, bijvoorbeeld gastvrijheid, empathisch vermogen, zelfstandigheid en doorzettingsvermogen. Eerder is al betoogd dat deze eigenschappen moeilijk meetbaar zijn. Belangrijker is dat het helemaal geen stabiele factoren zijn. Ze zijn bovendien vaak contextgebonden. Iemand die zich op de middelbare school verveelt, kan zeer gemotiveerd raken van een specifieke opleiding. Moeten leerlingen al doelgericht zijn als onderzoek aantoont dat we hen dat prima kunnen leren?
We mogen toch hopen dat de kracht van ons hoger onderwijs is dat we bij studenten zelfstandigheid en doorzettingsvermogen kunnen ontwikkelen. Het is aanvechtbaar om te denken dat leerlingen op 17- of 18-jarige leeftijd al deze vaardigheden al in huis hebben voor de rest van hun leven en dat een gebrek aan die vaardigheden hen ongeschikt maakt voor een opleiding.
Willekeur
Een van de redenen om de gewogen loting af te schaffen is de willekeur van het lot. Selectie is echter net zo goed willekeurig. De Medische Faculteit van de RUG adopteerde het selectieprogramma van de EUR dat bewezen succesvol was. Men voegde echter nog een eigen criterium toe, maar bekeek welke studenten men selecteerde in feite met alleen de Rotterdamse methode en een toegevoegd extra criterium.
Met het hanteren van alleen de (bewezen) Rotterdamse procedure bleek dat in Groningen een derde van de aanmelders die in Rotterdam wél door de eerste selectieronde zouden zijn gekomen nu níet werden geselecteerd, en omgekeerd. De wet staat toe dat iedere opleiding eigen criteria hanteert, maar het verschil is opzienbarend – juist omdat de Rotterdamse aanpak al bewezen effectief was. Hier ziet men ook het effect van het gebruik van meerdere criteria en de weging.
Kosten van selectie
Er zijn volgens het rapport van de Inspectie ongeveer 164 ho-opleidingen met een numerus fixus. In totaal bedroeg het aantal aanmeldingen in 2017 47.000 aspirant-studenten (voor 20.000 beschikbare plaatsen). Stel dat de selectie 100 euro per aanmelder kost, dan wordt al bijna 5 miljoen onderwijsgeld gespendeerd aan alleen de selectie. Dat had ook aan goed onderwijs kunnen worden besteed. Vermoedelijk liggen de echte integrale kosten nog een stuk hoger (voorlichting en communicatie, docenten, coördinatoren, toetsing, individuele gesprekken, bestuderen dossiers, beroepsprocedures etc.).
Het geld dat aanmelders uitgeven aan training is dan nog niet verdisconteerd. Soms staan daar baten tegenover in de vorm van verminderde uitval, maar een kosten-baten analyse ontbreekt en de effecten op uitval zijn tot dusverre beperkt.
Ranking
Het allergrootste probleem van de wet is de voorschrijving dat aanmelders moeten worden gerangschikt op basis van de selectie. Het is een misvatting dat dit op een betrouwbare en valide manier kan. Naast de invloed van de nogal willekeurige weging speelt mee dat geen enkele test volledig betrouwbaar is (een betrouwbaarheid van tachtig procent is al hoog) en dat de voorspellende waarde altijd beperkt is. Een rangorde is dan per definitie willekeurig en gebaseerd op schijnprecisie. Bij een iets andere weging, of een testafname op een andere dag, of het gebruik van andere selectiemethoden zou de rangorde anders uitpakken.
Conclusie
Er valt veel af te dingen op het enthousiasme voor de nieuwe selectiewet. Er lijkt een doos van Pandora te zijn geopend door elke opleiding de vrije hand te geven om op eigen gezag te gaan selecteren. Daartegenover staat dat er ook opleidingen zijn waar men grondig heeft onderzocht wat het effect is van decentrale selectie in de tijd dat men deels selecteerde en deels lootte.
Vooral opleidingen Geneeskunde en enkele opleidingen Psychologie hebben verslag gedaan van dergelijk onderzoek. Daarin ziet men dat selectie wel iets kan opleveren op het gebied van studiesucces, al zijn de effecten beperkt. Essentieel is dat uit al het onderzoek blijkt dat niet-geselecteerde studenten die toch worden ingeloot in (grote) meerderheid succesvol zijn in de studie. Men wijst dus bij de selectie overwegend mensen af die ook prima zouden hebben gepresteerd.
Het onderzoek laat verder zien dat selectie een bijdrage kan leveren aan het keuzeproces als de selectie zo wordt ingericht dat de selectieprocedure sterk is gericht op de inhoud van de studie, bijvoorbeeld met een selectieprocedure die is gebaseerd op proefstuderen op basis van een curriculum sample.
Ten tweede lijken we te kunnen constateren dat met selectie deels inspanningsbereidheid wordt gemeten. Het is te verdedigen dat men een behoorlijke inspanning eist van aanmelders die met een studie willen starten waarbij het aantal leerlingen dat naar een plaats dingt groter is dan het aantal beschikbare plaatsenInspanning is wellicht een behoorlijke graadmeter voor motivatie en studiesucces is sterk afhankelijk van de hoeveelheid tijd die men in een studie steekt. Door zich in te spannen voor een selectieprocedure laat men zien graag te willen worden geselecteerd, al moeten we ons afvragen of het ook werkt als iedereen weet dat de inspanningsbereidheid een belangrijk selectiecriterium is.
De wet is echter aangenomen en ingevoerd. Nu resteert de vraag hoe we deze het beste kunnen uitvoeren zonder dat deze discriminerend is voor bepaalde groepen of ongewenst willekeurig uitpakt.
Selectie kantelen – het beste van twee werelden?
De belangrijkste constatering en daarmee uitgangspunt is dat veruit de meeste aanmelders geschikt zijn en dat het onmogelijk is aanmelders betrouwbaar te rangschikken op geschiktheid. De tweede constatering is dat er te weinig plaatsen zijn bij bepaalde studies en dat sommige geschikte en gemotiveerde leerlingen per definitie niet de studie van hun eerste keus kunnen volgen. Dat lost men niet op met selectie.
De vraag zou dan ook niet moeten zijn of we aanmelders kunnen rangschikken maar of we kunnen bepalen welke aanmelders ongeschikt zijn en of we dat betrouwbaar en valide kunnen vaststellen. Het zou veel kunnen opleveren als elke selecterende opleiding operationaliseert wat iemand ongeschikt maakt voor die specifieke opleiding en of men dat kan meten tijdens een selectie of in een aanmeldingsprocedure.
Daarnaast zouden we kunnen nagaan of bepaalde aanmelders juist zeer geschikt zijn voor de studie. Er is immers bewijs dat bijvoorbeeld de zogenaamde 8-plussers uit het vwo het beste presteren in het hoger onderwijs. Het is denkbaar dat er meer factoren zijn met een aangetoonde voorspellende waarde die het mogelijk maken om de beste studenten te selecteren.
Voor alle overige aanmelders geldt dat niet goed uit te maken is wie meer en minder geschikt is. Daarom is het eerlijker om hen niet te rangschikken maar hen allen dezelfde rangorde toe te kennen. Dat wil zeggen dat we accepteren dat veel kandidaten niet betrouwbaar van elkaar te onderscheiden zijn. Als we in de huidige regeling nummer 350 wel toelaten en nummer 351 niet, dan heeft nummer 351 alle gelijk aan zijn of haar zijde als hij of zij stelt dat de instelling helemaal geen betrouwbaar onderscheid kan maken tussen nummers 350 en 351.
Selectie op de flanken, loten in het midden
In zo’n geval is een Ex aequo-regeling, waarbij deze kandidaten een gelijke rangorde krijgen, eerlijk. Men selecteert dan eerst alle aanmelders die aantoonbaar zeer geschikt zijn, loot voor de volgende plaatsen in de groep waarvan men niet weet wie er meer of minder geschikt is, en wijst de evident ongeschikte aanmelders af. Het lot heeft het grote voordeel dat het niet kijkt naar sociaaleconomische achtergrond, huidskleur en de opleiding van de ouders! Met een dergelijke aanpak kan men de selectie eenvoudiger en goedkoper inrichten (uitsluitend evidence-based).
Daarnaast is het heel goed mogelijk om andere activiteiten te plannen die ten doel hebben om de binding met de opleiding te versterken, in gesprek te komen met de aspirant-studenten, de matching te bevorderen, etc., maar het moet glashelder zijn welke activiteiten meetellen voor de selectie en welke activiteiten andere doelen dienen. Dan pas wordt voldaan aan de transparantie-eis van de wet.
In elk geval wordt het tijd dat elke opleiding niet alleen transparant is over de wijze waarop wordt geselecteerd maar ook aantoont dat men gebruik maakt van evidence-based selectiemethoden.
