Een pleidooi voor het toeval
Ook onderzoekssubsidies kun je het best via een gewogen loting verdelen
Mensen worden voortdurend geselecteerd; voor het eerste elftal, voor een baan, voor een prestigieuze onderzoekssubsidie of voor de P.C Hooftprijs. Veel bediscussieerd is de selectie voor geneeskunde waar de gewogen loting sinds enkele jaren is vervangen door een selectiesysteem waarin alle kandidaten geordend worden op geschiktheid. Dit naar aanleiding van verhalen over excellente kandidaten die in de loting herhaaldelijk buiten de boot vielen. Loting wordt over het algemeen als oneerlijk ervaren.
Dat juist als het gaat om toelating tot de universiteit anekdotes en gevoelens over eerlijke behandeling het winnen van rationele en statistische overwegingen is opmerkelijk. Laat ik kort zijn over deze rationele overwegingen. In de eerste plaats moeten we ons realiseren dat we vaak te maken hebben met een selectieprobleem waarbij veel kandidaten (zeer) geschikt zijn. De kans op een onterechte afwijzing is bij voorbaat vele malen hoger dan de kans op een onjuiste toewijzing. In de tweede plaats beschikken we meestal niet over goede meetinstrumenten voor de bepaling van de geschiktheid kandidaten.
Selectie is niet eerlijker geworden door decentrale selectie
Numerus fixusopleidingen zijn nu verplicht alle kandidaten te ordenen op geschiktheid terwijl instrumenten daartoe ontbreken of ernstig te kort schieten. Motivatie bijvoorbeeld valt nauwelijks objectief vast te stellen, voorspelt ook geen studiesucces, leidt in selectie al gauw tot excessen (motivatiebrief-training) en daarmee tot ongelijke kansen voor kandidaten uit ondervertegenwoordigde groepen. Het eindexamencijfer is wel een redelijk goede voorspeller maar nog niet beschikbaar tijdens de selectie die ruim voor het examen plaatsvindt.
Pas veel vaker gewogen loting toe
Gegeven de beperkte kwaliteit van de huidige instrumenten voor het meten van menselijke cognitieve en niet-cognitieve capaciteiten is het beter studenten in te delen in een aantal groepen (bijvoorbeeld excellent, geschikt en ongeschikt) en binnen deze eerste twee groepen te loten: gewogen loting dus. Gegeven de kosten en de beperkte kwaliteit van onze selectie instrumenten is een ruwe indeling in dit soort lotingsgroepen het hoogst haalbare.
Ik heb de indruk dat de meeste selectie-experts de afschaffing van de gewogen loting in het hoger onderwijs inmiddels als een kostbare vergissing zien. Waar het me om gaat is dat gewogen loting in veel meer selectieprocessen zou moeten worden toegepast.
Neem een ander bekend universitair probleem, de toekenning van onderzoekssubsidies. Aanvragen worden door slecht geïnstrueerde (internationale) beoordelaars voorzien van een absolute beoordeling (A+ of B bijvoorbeeld) waarna een commissie van experts tot een rangordening moet komen waarbij bijvoorbeeld nummer 9 wel en nummer 10 geen financiering krijgt. Ik zelf vind dergelijke commissievergaderingen een verschrikking. Wetenschappelijke cv’s en voorstellen over vaak zeer verschillende onderwerpen zijn erg moeilijk objectief te vergelijken. Subjectieve inschattingen, onduidelijke belangen en persoonlijke voorkeuren spelen een veel te grote rol met name als het gaat om de beslissing over wie er op 9 en 10 moeten staan.
Nederlandse wetenschappers besteden enorm veel tijd aan het perfectioneren van aanvragen omdat carrières in deze procedures gemaakt en gebroken worden. Dit terwijl de toekenningspercentages bijzonder laag zijn. Ook hier is gewogen loting een goede oplossing. Commissies hoeven slechts vast te stellen welke aanvragen excellent zijn en NWO voert de loting uit. Aanvragen hoeven niet meer tot in het bizarre detail te worden uitgewerkt. Bij sollicitaties en beoordelingsgesprekken kan men wijzen op excellente NWO-beoordelingen, of het onderzoek ook daadwerkelijk gefinancierd wordt daarmee veel minder relevant. Dit is eerlijker, beperkt het Matteüs-effect en scheelt enorm veel tijd, geld en ergernis. Helaas lijkt NWO voorlopig niet voor deze oplossing te kiezen.
Loten tegen ongelijke kansen
Maar hoe zit het dan buiten de universiteit, in de echte wereld van bijvoorbeeld de personeelselectie? Besliskundig gezien is de wijze waarop sollicitanten geselecteerd worden een drama, met name als er vele geschikte kandidaten zijn. In dat soort gevallen liggen vooroordelen, persoonlijke belangen en discriminatie op de loer, meestal zonder dat sollicitatiecommissies zich hiervan bewust zijn. Ook bij de toekenning van prijzen (van wetenschappelijke prijzen tot en met de beste sporter van het jaar) verbaas ik me elke keer over de serieuze toon van de juryrapporten. Als er één kandidaat duidelijk bovenuit steekt dan is loting uiteraard overbodig maar dat is zelden het geval. De menselijke overschatting van het eigen oordeelsvermogen over andere mensen is niet te overschatten. Deze paradoxale wijsheid maant tot grote bescheidenheid. Er bestaat geen enkele methodologische onderbouwing voor dit soort beslissingen. Het is vermaak.
Ook in dit soort gevallen is het dus aan te raden van tevoren zo objectief mogelijke criteria voor selectie vast te stellen, een of meer geschiktheidsgroepen te maken en daarna te loten. De kansen op de arbeidsmarkt voor bijvoorbeeld Marokkaanse jongeren, zwangere vrouwen en niet helemaal gezonde sollicitanten zullen met sprongen vooruitgaan. Op termijn werkt dit veel beter dan positieve discriminatie. Het lijkt me dat we dit gewoon wettelijk vast moeten leggen.
Ook voor de beste sporter van het jaar of de P. C. Hooftprijs lijkt me loting uit een geselecteerde groep excellente kandidaten een goed idee. De winnaar of winnares weet dan tenminste zeker waarom hij of zij deze eer verkrijgt: puur toeval. Bij toekomstige selecties kan de gelukkige winnaar daar ook geen onterecht voordeel uit behalen. We kunnen dat soort prijzen ook afschaffen natuurlijk maar het is blijkbaar wel een gezellige manier om de sport, de wetenschap of de literatuur te vieren.
Loting wordt als oneerlijk ervaren, als kandidaat wil je er alles aangedaan hebben en een eerlijke kans krijgen. Maar eerlijkheid gaat over gelijke kansen bij gelijke geschiktheid. Onze ervaring en gevoel zijn hierin niet doorslaggevend. De wetenschap leert ons dat toeval in het leven nu eenmaal een grote rol speelt maar ook dat heel veel beslissingen, zeker over mensen, gewoonweg te ingewikkeld zijn. Loting is dan vaak de eerlijkste oplossing. In onze pogingen het toeval te verslaan nemen we juist vaak verkeerde beslissingen.
