Zelf onderwijsstatistieken analyseren

Onderwijsinstellingen zitten op een groeiende berg data over hun onderwijs. Maar wat kun je allemaal met die data, en hoe analyseer je het op een betrouwbare en valide wijze? Analist Theo Bakker (Vrije Universiteit) is binnen het Versnellingsplan Onderwijsinnovatie met ICT de aanvoerder van de zone Studiedata. De afgelopen tijd werkte hij samen met Irene van der Staaij en Megiel Kerkhoven aan het Statistisch Handboek Studiedata dat vandaag gepresenteerd wordt.

“Wat wij hebben gemerkt is dat er inmiddels enorme hoeveelheden data zijn bij instellingen, maar dat men lang niet altijd weet hoe ze die op een betrouwbare en valide manier kunnen analyseren.” Natuurlijk is een heleboel mogelijk met het internet bij de hand, maar waar begin je met zoeken als je de terminologie niet meer vers in het werkgeheugen hebt?

Hoog instapniveau

Het is geen boek geworden dat netjes ingebonden in de kast gezet kan worden. Het Statistisch handboek Hoger Onderwijs is een website geworden. Aan de achterkant vernuftig in elkaar gezet zodat het te lezen is in drie talen: SPSS, R en Python. “Wij hebben in kaart gebracht wat de meest gebruikte statistische software is die mensen beheersen. In het ene vakgebied is dat SPSS, in een ander is het R of Python.”

Het zijn praktische vragen die het handboek als voorbeeld geeft. Heeft het tutoraat in het eerste studiejaar een positieve uitwerking op de voortgang? Uit welke regio komen (toekomstige) studenten? Welk effect heeft het verlagen van de bsa norm voor de uitval? “Het hoeft niet eens een moeilijke vraag te zijn, maar vaak heb je toch wel wat geavanceerdere statistiek nodig om ze goed te beantwoorden.”

De verschillende cases haalden de ontwikkelaars op bij de instellingen zelf. “Wat we eigenlijk hebben gedaan is leden van het Versnellingsplan vragen naar eigen voorbeelden. Die konden we vervolgens koppelen aan statistische toetsen.” Van t-toets tot chi-kwadraat toets, voor nagenoeg alle combinaties is een passend voorbeeld gevonden.

Binnen de zone Studiedata is uitvoerig afgestemd over wat het instapniveau zou moeten zijn. “Veel medewerkers van hogescholen en universiteiten hebben natuurlijk wel een basis statistische kennis. Daar doen we ook een beroep op.” Het is immers überhaupt niet de bedoeling dat een beleidsmedewerker zonder kennis van statistiek aan de slag gaat met onderwijsdata. “Het stappenplan is ook niet bedoeld om ‘gemakkelijk’ weg te lezen,” vult Kerkhoven aan, “je moet het echt doorlopen en gebruiken.”

“Er is vrij veel tijd gaan zitten in het annoteren en wetenschappelijk onderbouwen van het handboek.” Als je het doet, doe het dan goed, lijkt het credo van het projectteam te zijn geweest. Het is een hele flexibele site geworden, vertelt Kerhoven. “We kunnen daar ook nieuwe ideeën en voorbeeld in verwerken.”

Helderheid in een discussie

Maar wat geldt nu eigenlijk als studiedata? Dat is een vraag die de sector zeker bezighoudt, en ook een die flink aan verandering onderhevig is. “Tot een aantal jaar geleden was dat vooral beperkt tot de activiteit die je zag in een leermanagement system zoals Blackboard en Canvas en hoe zich dat verhoudt tot studieprestaties.” Dat kan volgens Bakker een stuk ruimer gedefinieerd worden. “We hebben steeds meer gegevens over studenten en kunnen daardoor dus ook veel meer naar de studieloopbaan gaan kijken.”

En er komen zeer interessante conclusies uit dergelijke analyses. “Zo wilden wij hier op de VU graag weten wat de invloed was van de instructietaal in de opleiding op de Nederlandse instroom van studenten.” Wat bleek uit het onderzoek dat het team van VU Analytics deed, was dat het aantal Nederlandse studenten bij 11 bacheloropleidingen juist toenam nadat deze overstapten van het Nederlands naar het Engels.

“Dat is zo’n voorbeeld van een onderwerp waar een gedegen analyse een hoop helderheid in een discussie kan brengen.” Bakker denkt dan ook dat het Statistisch handboek wel eens heel populair kan worden. “Ik geloof oprecht dat het heel veel gebruikt gaat worden. Aan dit deel van het project deden al vijf hogescholen en vijf universiteiten met veel enthousiasme mee, ik zie dat zeker nog groeien.”

Verantwoorde omgang

Wat betreft het omgaan met de studiedata zelf, pleit Bakker eveneens voor meer professionaliteit. Al eerder schreef hij met collega’s een code of practice voor de Vrije Universiteit. “Dat gaan we nu ook op landelijk niveau doen. Dat viel niet binnen dit project, dat echt draait om validiteit en betrouwbaarheid, maar is zeker wel een onderwerp waar veel aandacht naar uitgaat momenteel.”

Zorgvuldig omgaan met data over studenten

De VSNU, Vereniging Hogescholen en de studentenvakbonden hebben de ontwikkeling hiervan op zich genomen. “Dat is mooi, want er moet wel landelijk een antwoord komen op de vraag wat wenselijk is en wat niet. Het is wel zo dat instellingen hier ook met hun medewerkers en studenten een eigen standpunt over in moeten nemen.”