Loten is onbetrouwbaar testen
Geef het toeval een kans, maar psychologen moeten niet zo bescheiden zijn
Collega Han van der Maas beschreef zijn ideeën over een aantal selectiesituaties en stelde voor om loting een grotere rol te geven bij bijvoorbeeld het toekennen van onderzoekssubsidies, maar ook bij het selecteren van studenten en personeelsselectie. Hoewel wij het met hem eens zijn op sommige gebieden willen we wel een aantal nuanceringen aanbrengen op het gebied van onderwijs- en personeelsselectie.
Is ‘goed’ goed genoeg?
De gedachte achter loting is dat iedereen die ‘even geschikt’ is gelijke kansen moet hebben. Van der Maas stelt dat we onder andere in het geval van onderwijsselectie en personeelsselectie geen argumenten tot onze beschikking hebben om kandidaten – met voldoende nauwkeurigheid – van elkaar te onderscheiden. Daarom stelde hij voor een groep in drieën te delen (zeer geschikt, geschikt, niet geschikt) en dan uit de eerste twee groepen willekeurig een bepaald percentage te selecteren door middel van gewogen loting.
De vraag is of de assumptie dat kandidaten inwisselbaar zijn qua talent in deze groepen terecht is.
Verschillende studies laten zien dat dit in het algemeen niet het geval is; er is een verband tussen cognitieve capaciteiten en studieprestaties in het eerste jaar, ook in de groep met hoge scores. In die groep was het verband soms zelfs iets sterker dan in de rest van de groep. Met andere woorden, ook cognitief sterke studenten kunnen van elkaar worden onderscheiden.
Van der Maas stelt wat ons betreft dus ten onrechte dat er geen valide maten voor geschiktheid zijn. Daarnaast impliceert zijn voorstel dat er wél valide argumenten zijn om een indeling in verschillende groepen te rechtvaardigen. De validiteit van die indeling in groepen is echter per definitie lager dan de validiteit van de maat van ‘geschiktheid’ op basis waarvan die indeling is gemaakt. Dat gaat ook op voor imperfecte maten van geschiktheid.
Als de voorspellende waarde van de instrumenten die tot onze beschikking staan relevant wordt gevonden in deze discussie, dan is gewogen loting dus geen logische methode. De argumentatie en aanpak van gewogen loting komt sterk overeen met die voor ‘ banding Banding slaat binnen deze context op de praktijk waarbij de (test)scores van bijvoorbeeld studenten of onderzoeksvoorstellen worden gegroepeerd. Daarbij wordt aangenomen dat de scores binnen een bepaald bereik 'band' equivalent zijn aan elkaar als het op het op selectie aankomt. ‘, waarover in de personeelsselectie literatuur al veel artikelen zijn verschenen waarin wordt uitgelegd waarom juist deze methode de logica niet volgt.
Loten is onbetrouwbaar testen
Rebecca Zwick stelde in haar vorig jaar uitgekomen boek Who gets in?over het op basis van toeval selecteren van kandidaten die boven een bepaalde ondergrens scoren: “This is similar to what could occur if a very imprecise test were used. In other words, it’s test-based admissions at its worst”.
De opmerking dat er bij personeelsselectie veel mis gaat en de praktijk bol staat van de onzuiverheden onderschrijven we volledig, maar onze reactie is dan: zorg dat het beter wordt. De selectiepsychologie heeft het nodige te bieden, en grootschalige selectie over te laten aan niet-selectiepsychologen is vragen om moeilijkheden. We moeten als psychologen niet te bescheiden zijn. Als we aan de praktijk laten zien wat we wél kunnen, wordt er wellicht ook wat vaker naar ons geluisterd.
Non-cognitieve zaken als motivatie zijn inderdaad moeilijk te meten en hoeven ook niet constant te zijn. Maar wij denken dat bijvoorbeeld entreetoetsen en ook middelbare schoolcijfers een combinatie van motivatie en capaciteiten meten en dus kunnen deze zaken wel degelijk meegenomen worden in de selectie, zoals wij in ons onderzoek hebben laten zien.
De boodschap van loten
Een andere problematiek van de gewogen loting is de boodschap die wij als maatschappij uitdragen. Bij loting dragen we uit dat je vooral geluk moet hebben. Waarom zou je hard je best doen en naar excellentie streven als die excellentie niet wordt beloond. Vandaar ook dat loting zeer impopulair is bij aankomende studenten en ouders. Je hele (school)carrière krijg je te horen dat op hard werken en talent een beloning staat, maar vervolgens beslist het lot over je toekomst. Een betere boodschap is: natuurlijk heb je lang niet alles in eigen hand in het leven, maar wat betreft je academische toekomst: we selecteren, dus talent en hard werken loont ook.
Tot nu toe zijn we uitgegaan van de doelstelling om prestaties te optimaliseren. Van der Maas stelt dat gewogen loting ook op een ander vlak, dat van de diversiteit, voordelen heeft. Dat is waar. Als het maximaliseren van diversiteit de doelstelling is, ligt een ongewogen loting echter meer voor de hand. In dat geval gaat dat alleen wel vaak samen met mindere academische prestaties. Uit onderzoek in de Verenigde Staten bleek dat loten na het voldoen aan bepaalde realistische minimumvereisten, zoals van der Maas voorstelt, dan weer nauwelijks voordelen opleverde wat betreft diversiteit. Dat was vooral omdat studenten uit ondervertegenwoordigde groepen ook aanzienlijk ondervertegenwoordigd waren in de groep die aan de minimumvereisten voldeed. Het zou goed zijn om eens uit te zoeken hoeveel diversiteitswinst er behaald wordt met (gewogen) loting in Nederland.
Loten voor prijzen
Een iets minder serieuze zaak is de selectie van de sportman van het jaar. Van der Maas stelt voor om een shortlist te maken en dan te loten. Natuurlijk is het waar dat we hier appels met peren vergelijken. Maar welke sporter wil een titel ophalen die hij krijgt op basis van loting? Statistisch zijn daar soms argumenten voor, maar psychologisch is dit niet de oplossing. Een oplossing die in dit specifieke geval meer voor de hand zou liggen, is het afschaffen van dit soort prijsuitreikingen.
Zoals ooit is gezegd door Peter Stone: loting kan worden gebruikt wanneer er geen argumenten zijn om schaarse zaken aan de ene boven de andere persoon toe te kennen. Inderdaad, wanneer er echt geen verschil is, of wanneer we geen onderscheid willen maken, loot dan maar. Wij denken echter dat we in veel meer gevallen onderscheid kunnen maken dan van der Maas nu beschrijft.
Natuurkundigen, zoals de door van der Maas aangehaalde Klaas Landsman, die voor lastige zaken staan investeren tijd en geld om zaken uit te zoeken. Psychologen en maatschappelijke instanties moeten dit voorbeeld volgen en niet te snel opgeven door naar loting te grijpen. We hebben voor verschillende doeleinden goede tests, en we kunnen in veel gevallen zorgvuldige selectieprocedures opzetten. Laten we dat ook doen.
Literatuurverwijzingen
Ability-performance relationships in education and employment settings: Critical tests of the more-is-better and the good-enough hypotheses.
Arneson, J. J., Sackett, P. R., & Beatty, A. S. (2011). Psychological Science, 22, 1336-1342. doi: 10.1177/0956797611417004
Exceptional cognitive ability: The phenotype.
Lubinski, D. (2009). Behavior Genetics, 39, 350-358. doi: 10.1007/s10519-009-9273-0
Why all banding procedures in personnel selection are logically flawed.
Schmidt, F. L. (1991). Human Performance, 4, 265-277. doi: 10.1207/s15327043hup0404_2
Who gets in? Strategies for fair and effective college admissions.
Zwick, R. (2017). Cambridge, MA: Harvard University Press.
On the use of broadened admission criteria in higher education.
Niessen, A. M., & Meijer, R. R. (2017). Perspectives on Psychological Science, 12, 436-448. doi: 10.1177/1745691616683050
Predicting performance in higher education using proximal predictors.
Niessen, A. S. M., Meijer, R. R., & Tendeiro, J. N. (2016). PLoS ONE, 11(4). doi: 10.1371/journal.pone.0153663
Anticipating likely consequences of lottery-based affirmative action.
Grofman, B., & Merrill, S. (2004). Social Science Quarterly, 85, 1447-1468. doi: 10.1111/j.0038-4941.2004.00285.x
