BKO heeft maar beperkt effect op docentkwaliteit

Docenten die een BKO hebben gehaald scoren iets beter op docentevaluaties.

Nieuws | de redactie

21 december 2017 | Het behalen van een BKO-diploma heeft een bescheiden positief effect op de docentevaluaties, dat concluderen onderzoekers uit Wageningen op basis van duizenden vakevaluaties. Het is voor het eerst dat het effect van een BKO traject op de docentkwaliteit op deze schaal wordt onderzocht.

In het licht van de verbetering van onderwijskwaliteit en studiesucces zijn universiteiten sinds enige tijd bezig met docentprofessionalisering. Vaak is de Basiskwalificatie Onderwijs (BKO) hierbij de eerste stap. De BKO was een belangrijke indicator ook voor de Review Commissie Hoger Onderwijs van Frans van Vught bij de prestatieafspraken. Deze hechtte hier geen geringe waarde aan bij de beoordeling van het experiment met prestatiebekostiging. Nu, bijna tien jaar na de invoering van de eerste BKO-trajecten is de vraag: hoeveel draagt een certificaat eigenlijk bij aan de onderwijskwaliteit?

Cornelis Gardebroek en Gijs Lysen, respectievelijk onderzoeker en honoursstudent aan de WUR, deden onderzoek naar de effecten van een BKO op de studenttevredenheid. Daaruit blijkt dat er een klein positief effect is van een BKO op de Wageningse vak- en docentscores bij vakevaluaties. In hun onderzoek, op basis van duizenden docentevaluaties van de Wageningse universiteit uit acht recente collegejaren, hebben zij gekeken of de scores op deze evaluaties verband houden met het al dan niet volgen of behalen van een BKO-diploma.

Een klein positief effect

Voor het onderzoek was een dataset beschikbaar van 12.231 docentscores uit meer dan 5000 vakken tussen de collegejaren ‘07|’08 tot en met ‘14|’15. Hieruit blijkt over het algemeen dat de Wageningse studenten een gemiddelde hoge docentscore geven, die in deze periode zelfs licht steeg van 4,0 naar bijna 4,2 op een vijfpuntsschaal.

De onderzoekers vonden een positief verband tussen het behalen van de BKO en de vak- en docentscore. Het effect op de vakscore is echter klein, een afgeronde BKO leidt tot een stijging van de vakscore van 0,05 punt op een schaal van 1 tot 5, waarbij de vakscore een totaalscore is die ook gebaseerd is op andere docenten in een vak. De docentscore is specifiek voor de docent in kwestie en het effect van de BKO is hier dan ook groter. Docenten met een afgeronde BKO scoren gemiddeld twee tiende punt hoger op een vijfpuntsschaal.

Dat het effect niet hemelbestormend is vindt cognitief psycholoog Margje van de Wiel (Maastricht University), actief in het Expertisenetwerk Hoger Onderwijs (EHON) niet heel verwonderlijk. “Het is bijzonder lastig om de effecten van een BKO-opleiding op zo’n schaal te meten omdat er te veel andere factoren zijn die meespelen.” Ze vindt de uitkomst dan ook niet heel indrukwekkend maar benadrukt wel dat het bemoedigend is dat het onderzoek plaatsvindt. “Tot nu toe is er vooral gekeken naar de perceptie van docenten zelf op het BKO-traject, en het is goed dat dit nu aangevuld wordt met de perceptie van studenten.”

Van de Wiel denkt dat voor een echte uitspraak over de ‘effectiviteit’ van het BKO nog een ander type onderzoek nodig is. “Je zou natuurlijk het liefste docenten willen volgen voor- en nadat ze een BKO gedaan hebben, micro-onderzoek en het liefst longitudonaal.” In de opzet van de onderzoekers is het, onder andere door het feit dat er meerdere docenten in een vak lesgeven nog lastig om een effect op vakniveau vast te stellen.

Wat volgens de auteurs van het artikel in de brede zin opvalt is dat er veel andere factoren zijn die samenhangen met vak- en docentscores, maar dat de effecten die deze sorteren veelal klein zijn. Zo scoren voortgezette bachelorvakken en vakken op masterniveau gemiddeld slechts enkele honderdste punten hoger dan inleidende bachelorvakken. Hetzelfde geldt voor specifieke minorvakken en vaardigheidsvakken. Voor docentscores zijn de effecten echter wel groter dan voor vakscores.

Een stijging van een procent in slagings- of responspercentage op het vak maakt ook slechts enkele duizendsten uit op de scores. Interessant is daarbij wel dat het responspercentage positief samenhangt met de scores, in tegenstelling tot de verwachting dat studenten zich vooral laten horen als er iets te klagen valt. Groepsgrootte daarentegen hangt zoals verwacht negatief samen met scores. Honderd studenten meer, leidt gemiddeld genomen tot een tiende lagere vakscore.

Vertalen naar andere trajecten is lastig

Het percentage medewerkers met een BKO-diploma verschilt nogal per universiteit, evenals de invulling van het opleidingsprogramma. Universiteiten bepalen zelf de BKO-vereisten en zijn dus ook zelf verantwoordelijk voor opleidingstrajecten, toetsing en toekenning van de BKO. In 2016 maakte het EHON een inventarisatie van alle BKO-trajecten aan de Nederlandse universiteiten. Daaruit bleek dat er een flinke diversiteit bestaat tussen instellingen.

Download hier het rapport De BKO in de praktijk.

“Je ziet dat instellingen op verschillende wijzen omspringen met de regels en doelstellingen van het BKO,” licht Van de Wiel toe. “Maar al zijn de BKO-trajecten verschillend vormgegeven, bij alle universiteiten komen dezelfde competenties aan bod en is de BKO een leer-werk-traject waarbij het opdoen van relevante ervaringen centraal staat.” Aan sommige universiteiten kunnen docenten daardoor vrijstelling krijgen voor (onderdelen van) de BKO op basis van ervaring, en is niet altijd duidelijk of het aantal uren in het BKO-traject ook de uitvoering van onderwijstaken inhoudt. “Sommige instellingen schermen met hun zware programma, maar de vraag is of dat een reëel getal is en of het er werkelijk zo veel toe doet.”

Het BKO-programma van de WUR behelst volgens de onderzoekers ongeveer 250 uur, wat een samenvoeging lijkt te zijn van de 96 centrale cursus die worden aangedragen in de inventarisatie uit 2016 en de ervaring in de vakken zelf. Het programma richt zich op zeven competenties waaronder onderwijsvisie, doceren, en examinering. Voor iedere deelnemende wetenschappelijk medewerker bestaat het BKO-programma uit drie thematische keuzevakken, drie blokken algemene didactiek en twee praktische opdrachten.

Het traject wordt door veel beginnende docenten als tamelijk intensief ervaren, zeker omdat onderwijs slechts een deeltijdtaak is van universitair docenten. Zo worden Wageningse docenten in tenure track geacht maximaal dertig procent van hun tijd aan onderwijs te besteden, wat neerkomt op maximaal 540 uur per jaar. Naast tijd zijn er uiteraard ook operationele kosten van het hele BKO-programma voor de afdeling of de instelling, en de vraag is of de beperkte stijging in vak- en docentscores deze kosten rechtvaardigen.

Deze ervaren docenten hebben veelal andere kwalificaties. Zo had de WUR al vóór de invoering van de BKO een eigen opleidingstraject voor beginnende docenten. Volgens de onderzoekers toont ook eerder onderzoek aan dat een grotere groep leidt tot lagere evaluatiescores. “In grotere groepen is minder persoonlijke aandacht, wat studenten als negatief kunnen ervaren. Bovendien verandert de dynamiek door de grotere groep, bijvoorbeeld omdat studenten zich meer bezwaard voelen om vragen te stellen en om deel te nemen aan discussies. Dit kan voor studenten een reden zijn om het vak een lagere beoordeling te geven.”

Het Wageningse onderzoek is volgens Van de Wiel een mooie opening om de effectiviteit van de BKO in kaart te brengen, maar met dit onderzoek is het laatste woord er volgens haar nog niet over gezegd. Over het bevorderen van docentkwaliteit in het algemeen heeft ze nog wel een advies voor Wageningen en andere instellingen: “In een focusgroeponderzoek onder docenten van de Open Univeristeit, Tilburg University en Maastricht University naar de BKO en docentprofessionalisering zien we weer dat het belangrijk is goed aan te sluiten op de onderwijspraktijk. Gewoon bij elkaar meekijken, observeren wat andere docenten doen en feedback geven op elkaar.”