Toetsing in HO moet beter kunnen

Hij hoopt de komende jaren nieuwe toetsingprogramma’s en modellen voor het HO te ontwikkelen want de beschikbare toetsingsmethodes schieten vaak tekort bij het maken van kwaliteitsafwegingen. Schuwirth draagt met zijn onderzoek naar innovatieve toetsingsvormen bij aan de ontwikkeling van het instrumentarium, dat docenten in staat moet stellen adequaat te beoordelen of iemand een goede arts kan worden. Die instrumenten zijn er volgens Schuwirth nog niet, omdat het denken over toetsing te veel gedomineerd wordt door formele toetsingsinstituten. Deze vatten een toets voornamelijk op als een meting van een stabiele eigenschap. ‘Het is een zienswijze die is geënt op de testpsychologie, waarbij ervan uit wordt gegaan dat datgene wat je moet toetsen zoals kennis en vaardigheden stabiele eigenschappen zijn – net zoals bijvoorbeeld intelligentie – en dat die alleen goed kunnen worden gemeten en in cijfers kunnen worden uitgedrukt. Een IQ-test is een voorbeeld van een meting die gebaseerd is op deze manier van denken.’

Deze benadering, het psychometrische model, blijkt echter steeds vaker ontoereikend. ‘Om te beginnen verklaart dit model verschillen in scores bij opeenvolgende vergelijkbare testen voornamelijk door ze als ruis te zien (er wordt immers aangenomen dat een stabiele eigenschap gemeten wordt). Daarmee wordt veel variatie in scores nogal eens onterecht als ruis afgedaan. Een ander probleem is dat er binnen dit model onvoldoende rekening wordt gehouden met het feit dat diverse aspecten van medische competentie zich niet apart ontwikkelen en dus niet apart meetbaar zijn. We moeten er echter juist rekening mee houden hóé deze zich tot elkaar verhouden. Nu tellen we eenvoudigweg de studiepunten bij elkaar op van alle onderdelen waarop studenten getoetst worden. Dat is eigenlijk absurd! Op die manier kun je niet goed bepalen of iemand een goede arts kan worden.’ De grootste misvatting is volgens Schuwirth dat toetsen objectief zouden moeten zijn en dat de informatie uit een toets daarvoor tot een cijfer gereduceerd moet worden. Dit geloof in objectiviteit heeft tot een vruchteloze zoektocht naar de ultieme toets geleid. ‘De oordelen die we vellen, wat we vinden dat een goede arts moet weten en kunnen, die zijn altijd subjectief en toetsing is dat dus ook.’ Dat wil niet zeggen dat toetsen en oordelen van docenten niet betrouwbaar kunnen zijn. Integendeel, ze moeten dat zelfs zijn. ‘Om toetsen of oordelen betrouwbaar te laten zijn, moet veeleer veel informatie verzameld worden. Steekproefneming is belangrijker dan objectivering. Als vele experts onafhankelijk van elkaar tot hetzelfde subjectieve oordeel komen, dan is dat oordeel niet objectief, maar wel betrouwbaar.’

De tragiek van deze misvattingen is dat bij de manier van toetsing die op het moment gangbaar is, veel informatie verloren gaat: informatie over de precieze zwaktes en sterktes van individuele studenten. Het identificeren van deze zwaktes en sterktes is noodzakelijk voor een goede begeleiding van de studenten. Schuwirth pleit daarom voor een informatierijke manier van toetsen. Voor het ontwikkelen van een uitgebalanceerd toetsingsprogramma en niet van een enkele ultieme toets. ‘We moeten niet álles in een score willen uitdrukken, maar een manier van toetsen ontwikkelen die een docent de informatie verschaft om aan te kunnen geven wat een geneeskundestudent nog moet leren én om te kunnen beoordelen of iemand een goede arts kan worden. We moeten meer gaan kwalificeren en individualiseren. Dat kan betekenen dat twee studenten die dezelfde scores hebben gehaald, verschillende feedback krijgen. Bij de ontwikkeling van dit toetsingsprogramma is het bovendien belangrijk dat we rekening houden met het feit dat zaken als kennis en vaardigheden niet stabiel zijn.’

Om dit te kunnen bereiken, moet Schuwirth ontwerpcriteria ontwikkelen die de kwaliteit van het toetsingsprogramma waarborgen. Daarnaast moeten er, als aanvulling op bestaande modellen, nieuwe statistische en wetenschappelijke modellen komen, waarmee de betrouwbaarheid en geldigheid van toetsing kan worden bepaald. Deze ontwikkelingen kunnen grote implicaties hebben voor het denken binnen andere onderwijsinstellingen, naast de Faculteit Health, Medicine and Life Sciences. Binnen andere opleidingen is men zich namelijk eveneens bewust van de beperkingen van het eenzijdig inzetten van het psychometrische model. Op de voormalige geneeskundefaculteit is het effect nu al merkbaar. Binnenkort gaat daar een vierjarige opleiding van start waarbij toetsen in klassieke zin verleden tijd is.