Selectiecriteria sluiten niet aan bij opleiding

Nieuws | door Frans van Heest
6 februari 2018 | Bij opleidingen waar geselecteerd wordt is er nauwelijks aansluiting op de leerdoelen van een opleiding. Dat is problematisch omdat er studenten onterecht uitgeselecteerd worden die een opleiding wel succesvol hadden kunnen doorlopen. Dat concludeert Sebastiaan Steenman in zijn promotieonderzoek aan de UU.

Afgelopen vrijdag promoveerde Sebastiaan Steenman (Universiteit Utrecht) op zijn proefschrift. ‘Alignment of Admission.’ Vrij vertaald: het afstemmen van selectie. Steenman heeft onderzoek gedaan naar in hoeverre de selectiecriteria van opleidingen ook daadwerkelijk later terugkomen in de opleiding. Dit blijkt veelal niet het geval te zijn, zo blijkt uit een analyse van 249 opleidingen aan de top-100 universiteiten van de wereld. De centrale vraag die Steenman in dit proefschrift beantwoordt is: Hoe werkt de afstemming tussen leerdoelen en selectie?

Selectietoets niet representatief voor hele opleiding

Niet elk instrument is even geschikt voor het meten en voorspellen van verschillende soorten vaardigheden die aspirant-studenten hebben. Met de keuze van een selectie-instrument maakt een opleiding tevens expliciet of impliciet keuzes over welke eigenschappen van studenten zij wil belonen met een plek en welke niet worden meegenomen. Daarmee bepaalt de inrichting van het selectiesysteem voor een belangrijk deel welke kandidaten een plaats krijgen.

Tijdens zijn verdediging vrijdag benadrukte Steenman dan ook dat de huidige selectie niet altijd functioneel is om de juiste student op de juiste plek te krijgen. “We zien bij een aantal selectieve opleidingen dat ze een inhoudelijke toets als onderdeel van de matchingsprocedure gebruiken.” Steenman ziet daar nadelen in. “Het grootste nadeel is dat die toets heel erg lijkt op wat er in het begin van het eerste jaar gebeurt. Ik zou er sterk voor pleiten om verder te kijken in de opleiding. Wat in het eerste jaar gebeurt van een opleiding is ook wat er op de middelbare school gebeurt. Namelijk kennis en begrip toetsen.

Tijdens de verdediging kwam ook het proefschrift van RUG-promovenda Suzan Niessen aan de orde zij stelde onlangs dat matching een beter instrument is voor studiesucces. Steenman zet wel kanttekeningen bij dit instrument, wederom omdat bij matching vaak alleen eerstejaars vakken worden behandeld. “We zien dat ook bij heel veel opleidingen en Suzanne Niessen concludeert dat met andere woorden ook. De toegevoegde voorspellende waarde bovenop het vwo-cijfer van dit soort matching is eigenlijk heel beperkt. Ik zie heel veel in een toets, maar dan eigenlijk een toets die ook die hogere cognitieve vaardigheden toetst die je later in de opleiding nodig hebt.”

Wat voor soort student zoek je?

Volgens Steenman wijst zijn onderzoek ook uit dat de vrijheid van instellingen om de selectie vorm te geven veel studenten onterecht uitsluit. “In deze studie heb ik gekeken naar de vraag: wat voor soort student verwacht je. Als je dan tegelijkertijd ook heel veel vrijheid in de bevoegdheid hebt om selectie vorm te geven, dan is de kans dat sociaal kapitaal een grotere rol gaat spelen vele malen groter.”

Steenman stelt dat er bij selectie beter moet worden gekeken naar de leerdoelen in de opleiding. “Ik betoog voortdurend dat we de validiteit van de selectie moet toetsen aan wat er ook getoetst wordt in de opleiding. Daarbij ga ik ervan uit dat de opleiding de selectieprocedure verbindt met de leerdoelen, die ook in de opleiding terugkomen. Daarbij is het problematisch als een opleiding volstrekt andere dingen toetst dan in de leerdoelen staan.”

Volgens de universitair docent aan de opleiding bestuurskunde van de UU is het daarom belangrijk dat opleidingen kijken naar de inhoud van de opleiding, als zij selectie-instrumenten inzetten. “De enige manier waarop we dit door te kijken of de verbinding binnen opleiding met de leerdoelen kloppen, met wat er echt in de opleiding en het werkveld terugkomt. Daarom zou ik ervoor pleiten om de opleiding te zien als een tussenstation tussen selectie en werkveld. We hebben een opleiding die aangesloten is op het werkveld en we hebben een selectieprocedure die een relatie heeft met de opleiding.”

Effectgrootte selectie blijft beperkt

Toch zegt de UU-promovendus dat gezien de huidige selectiepraktijk er nu wel studenten niet geselecteerd worden die prima de opleiding zouden doorlopen. “Er vallen nu onnodig mensen af in de selectieprocedure. Ik zie in de opleiding dat er grote verschillen zitten in de mensen die de eerste jaar tentamens heel goed doen en de mensen die fantastisch mooie scripties kunnen schrijven. Daar zit echt veel verschil tussen. Sommige studenten doen dat overigens allebei. Als je alleen selecteert op lage cognitieve vaardigheden dan sluit je dus mensen uit die de hoge cognitieve vaardigheden wel hebben. Dat zijn studenten mensen die de scriptie dus heel goed zouden doen, maar de eerstejaars tentamens niet goed.”

Daarom concludeert Steenman ook in zijn proefschrift uit onderzoek naar de selectiemethoden momenteel een degelijke verbinding tussen leerdoelen en selectie nauwelijks sprake is. “De resultaten laten zien dat er weinig afstemming is in selectie. Het gebruik van instrumenten gaat zelden samen met een significant groter relatief belang van de typen vaardigheden die zij vooral kunnen voorspellen in de leerdoelen. Waar dat wel het geval is, is de effectgrootte nooit meer dan 3%. Waar de conclusie erg logisch klinkt dat het afhangt van wat je wilt voorspellen voor wat de beste voorspeller is, lijken opleidingen daar dus maar zeer beperkt invulling aan te geven.”

De onderzoeker en docent van de UU komt in de slotzin van zijn promotieonderzoek ook tot de conclusie dat er op het gebied van selectie nog een wereld te winnen. “In de academische literatuur komt langzaam meer aandacht voor de alignment van selectie, en op enkele plekken zien we ook dat dit in het onderwijsbeleid vorm krijgt (bijvoorbeeld in Nederland). Wereldwijd zien we echter dat de selectie bij opleidingen aan topuniversiteiten maar zeer beperkt is afgestemd op de leerdoelen van die programma’s. Dat is een problematisch resultaat, want voor rechtvaardige selectie, waarbij studenten met vaardigheden die passen bij de opleiding worden toegelaten, is het afstemmen van selectie op de leerdoelen van de opleiding noodzakelijk.”


«
Schrijf je in voor onze nieuwsbrief
ScienceGuide is bij wet verplicht je toestemming te vragen voor het gebruik van cookies.
Lees hier over ons cookiebeleid en klik op OK om akkoord te gaan
OK