Stagebegeleiders houden zich vaak niet aan gestandaardiseerde beoordeling
Onderzoekers van het UMC Utrecht hebben onderzocht hoe supervisors in het hoger onderwijs rubrics gebruiken als ze hiervoor niet getraind zijn. Rubrics worden in het hoger onderwijs vaak gebruikt om studenten op vastgestelde eisen te beoordelen, iets dat anders lastig kan zijn in specifieke gevallen zoals een onderzoeksstage. Hierin zijn het leerproces en de geleerde vaardigheden van elke student immers anders.
Dankzij rubrics weten studenten van tevoren waarop ze beoordeeld worden; zo kan de taak van een docent geformaliseerd en betrouwbaarder worden. In een rubriek staat in tabelvorm aangegeven over welke vaardigheden een student moet beschikken. Dit staat aangeduid met verschillende criteria en kwaliteitsniveaus, zodat zowel het huidige niveau als het benodigde niveau voor de student inzichtelijk zijn. Voor docenten biedt dit tevens houvast in het aanbieden van feedback en tips.
Dezelfde rubriek voor het hele leerproces
Het hebben van duidelijke omschrijvingen voor bepaalde niveaus betekent ook dat rubrics zowel tijdens het leerproces als na het leerproces gebruikt kunnen worden. Volgens de onderzoekers is het hierbij voor de continuïteit wel belangrijk dat steeds dezelfde rubriek gebruikt wordt. Echter wordt vooral onderzoek gedaan naar het gebruik van rubrics voor de betrouwbaarheid van eindevaluaties, en niet naar het gebruik van rubrics om het leerproces en de evaluatie op elkaar af te stemmen. Toch is dat een belangrijk onderdeel, aangezien een rubriek immers geen wondermiddel is; het succes ervan hangt nog steeds af van de wijze waarop een docent of supervisor het gebruikt.
In het onderzoek werd specifiek gekeken naar onderzoeksvaardigheden van studenten die een biomedische onderzoeksstage volgden aan de Universiteit Utrecht. Tijdens deze stage worden studenten begeleid door een dagelijkse supervisor en door een examinator. De onderzoeksvaardigheden worden alleen beoordeeld door de supervisor, die daarvoor dus een rubriek gebruikt.
Voor het onderzoek zijn 313 rubrics bekeken die uit 237 onderzoeksstages kwamen. Deze rubrics waren na twee maanden en/of na zes maanden ingevuld door supervisors. Na twee maanden werd de rubriek gebruikt om feedback te geven, na zes maanden om tot een eindcijfer te komen. Deze werkwijze is ingevoerd omdat supervisors eerder niet goed konden inschatten welk niveau van de studenten werd gevraagd. De rubriek biedt hen nu houvast voor het beoordelen.
Rubrics vaak alleen als eindevaluatie gebruikt
Uit het onderzoek blijkt dat supervisors flexibel omgaan met rubrics. Zo gebruiken de meeste supervisors rubrics alleen voor de eindevaluatie en wordt dezelfde rubriek niet gebruikt tijdens het leerproces. Alarmerend, vinden de onderzoekers, aangezien het herhaaldelijk gebruiken van een rubriek aan een student duidelijk maakt wat verwacht wordt aan het einde van het leerproces. Daarnaast biedt het tussentijds gebruik van rubrics studenten de kans om te kijken hoe ver ze in het leerproces zijn. Dit soort feedbackmomenten komen niet voor als een supervisor een rubriek alleen gebruikt om uiteindelijk een cijfer te kunnen geven.
Aan de andere kant viel het de onderzoekers op dat er ook supervisors waren die rubrics alleen gebruiken tijdens het leerproces. Bijna de helft van alle supervisors die de rubriek gebruikten na twee maanden gebruikten deze niet na zes maanden. De reden waarom supervisors dit zouden doen is een raadsel voor de onderzoekers.
Kies en mix
Een ander moment waarop supervisors flexibel omgaan met rubrics is in de kwaliteitstoetsing. Als voorbeeld noemen de onderzoekers een bepaald onderdeel van de rubriek met twee kwaliteitsniveaus; meerdere supervisors voegden hieraan een derde niveau toe. Hierdoor gaan ze voorbij aan de oorspronkelijke bedoeling van de makers van de rubriek, waardoor de uniformiteit van de beoordeling alsnog in het geding komt.
Verder zijn supervisors vaak selectief in de criteria die gehanteerd worden. Vooral in het gebruik tijdens het leerproces kiezen supervisors zelf welke onderdelen wel en welke onderdelen niet gebruikt worden. Echter hoeft dit volgens de onderzoekers niet meteen negatief te zijn. Het flexibel toepassen van criteria zou feedback juist gerichter en specifieker kunnen maken, en daarmee ook effectiever.
Toch komt ook dit flexibel gebruik met nadelen, waarschuwen de onderzoekers. Als tijdens het leerproces dezelfde rubriek gebruikt wordt als bij de eindevaluatie, missen studenten wellicht feedback voor een onderwerp waarop ze wel beoordeeld worden. Een mogelijke reden hiervoor is dat niet elk criterium tijdens het leerproces al goed beoordeeld kan worden. Zo gebeurt het analyseren van data vaak later in een onderzoeksproces, waardoor het lastig is om hier tijdens het hele leerproces feedback op te geven. Om dit op te lossen zouden instructies voor rubrics aangevuld kunnen worden of zouden voorspellende criteria benadrukt kunnen worden, schrijven de onderzoekers.
Training blijkt nodig
Uiteindelijk heeft het flexibel gebruiken van rubrics zowel voordelen als nadelen, concluderen de onderzoekers. Rubrics kunnen gebruikt worden tijdens en na het leerproces en worden dankzij onderzoek steeds beter. Toch kunnen docenten en supervisors beter getraind worden in het gebruik ervan. Op deze manier zullen de gebruikers beter kunnen inschatten wanneer er ruimte is voor flexibiliteit en wanneer de rubrics juist gevolgd moeten worden voor een betere voorbereiding op de eindevaluatie.
