“Het BSA is op zijn hoogst een lapmiddel”
Bescheiden positief effect van BSA op studierendement in Nederland.
‘Bindend studieadvies heeft geen effect op rendement’ kopte ScienceGuide afgelopen vrijdag, een artikel dat veel gelezen en besproken werd. Onderzoeker Eline Sneyers (Maastricht University), blij met de aandacht voor het onderzoek, nam contact op met ScienceGuide met het verzoek om de kop ten aanzien van het bindend studieadvies (BSA) te nuanceren. “Uit onze internationale vergelijking bleek inderdaad dat het BSA geen significant effect had op het studierendement, maar het moet gezegd worden dat in Nederland het studierendement wel degelijk omhoog gaat bij een BSA.”
Definitiekwestie
Wat het promotieonderzoek van Sneyers vernieuwend maakt is dat ze voor het eerst een studie uitvoerde op de effecten van het BSA met gebruik van een natuurlijke controlegroep. “We hebben opleidingen met zichzelf door de tijd heen, en met andere opleidingen vergeleken.” Wat rest is een bepaling van het zogenaamde difference in differences De difference in differences benadering kan worden beschouwd als een natuurlijk experiment. Hierbij wordt het effect van een manipulatie bestudeerd tussen twee groepen die van nature verschillend zijn. In dit geval dus een studieprogramma met en zonder een bindend studieadvies. waaruit het effect van het BSA kan worden vastgesteld. “Wij zien een significant positief effect met een effectgrootte van 6 – 7% bij opleidingen met een BSA in Nederland, maar niet in de internationale vergelijking.”
De oorzaak van dit verschil ligt hem volgens Sneyers voornamelijk in de gehanteerde definities. Waar in Nederland de zogenaamde KUO-definitie Kengetallen universitair onderwijs. Deze definitie werd ingevoerd bij de eerste ronde afspraken over studiesucces waarin onder voor andere uitval en rendement een eenduidige betekenis nodig was. Nederland hanteerd in dit opzicht een uniek uitgangspunt waarin de studenten die na het eerste jaar vertrekken/worden weggestuurd niet meer meetellen in de totale rendementscijfers. Ook tellen in de KUO definitie alleen ‘nieuwe’ voltijds studenten mee, ofwel studenten die niet eerst een andere opleiding hebben gevolgd. wordt gehanteerd, namelijk het percentage van de studenten dat zich in het tweede jaar opnieuw inschrijft, gaat men in het buitenland meestal uit van alle eerstejaars inschrijvingen. “Als je die laatste definitie hanteert is het überhaupt al lastig om een effect te meten omdat je bij een uitval van 50% in het eerste jaar ook maar een rendement van maximaal 50% kunt halen.”
Waar in het buitenland het onderscheidend vermogen van de cijfers dus in de weg zit heeft ook de Nederlandse definitie van rendement nadelen. Zo worden de toegenomen uitval na het eerste jaar als gevolg van het BSA en het succes van studenten nadat ze een eerder een BSA kregen niet meer bijgehouden. Ook betekent dit dat de 6 – 7% alleen van toepassing is op een selecte groep studenten, en zich minder makkelijk laat vertalen naar een uitspraak over een eerstejaars cohort in het algemeen.
Kosten onbekend
Desgevraagd denkt Sneyers dat het BSA op puur getalsmatige gronden duidelijk effecten heeft maar ze zet ook vraagtekens bij de methode. “Puur op basis van de cijfers denk ik: ‘het is OK’ maar ik kan natuurlijk niet zien ‘hoe’ het BSA is toegepast.”
Een van de veelvoorkomende kritieken is dat BSA studenten die in de ene opleiding weinig studiepunten halen, vervolgens bij een naburige (hbo-) opleiding worden ‘geparkeerd’ met allerlei (financiële) gevolgen voor student en opleiding. Wat dat betreft denkt Sneyers dat er kwesties spelen in het hoger onderwijs die je niet met een BSA te lijf moet gaan. “Als het werkelijk zo is dat bepaalde studenten gewoon niet in het hoger onderwijs ‘thuishoren’ dan moet je veel eerder bij zijn, bijvoorbeeld tijdens de studiekeuze.” Ze ziet het BSA dan ook vooral als een ‘lapmiddel’ wordt ingezet zegt Sneyers. “Wanneer er ergens iets is misgelopen dan kun je dit inzetten om het een beetje op te lossen. Maar in een ideale wereld zou ik het BSA eigenlijk helemaal niet in willen zetten.”
Een andere as waarlangs de doelmatigheid van het BSA volgens Sneyers bezien zou moeten worden zijn de kosten. Voor haar onderzoek waren vooral de meerwaarde voor de maatschappij en de student zelf leidend en is de uitkomst dus positief. Maar er gaat meer schuil achter de getallen. “De kosten die een BSA met zich meebrengt hebben wij niet in kaart gebracht, maar die moet je natuurlijk ook meewegen. Denk bijvoorbeeld aan extra studentondersteuning in de vorm van extra gesprekken.”
Onderzoek voorlopig ‘on hold’
Zoals bij elk onderzoek moest Sneyers zich beperken tot een specifieke vraagstelling en dat betekent dat er des te meer vragen overblijven die volgens haar nog extra aandacht behoeven. Zo heeft Sneyers om tot een gedegen dataset te komen de data van alle opleidingen bij elkaar gegooid. “We hebben daardoor geen verder onderzoek kunnen doen naar verschillen tussen hbo en wo of tussen instellingen, maar dat is zeker de moeite waard om te onderzoeken.”
Een andere vraag die vaak gesteld wordt is of de hoogte van het BSA, dat per instelling verschilt in het bereik tussen de 30 – 60 EC, van invloed is op de toename in het rendement. “Ik heb dat in mijn laatste hoofdstuk wel aangehaald als optie om verder te onderzoeken maar daar hebben wij ook nog niet naar kunnen kijken.” Wat betreft het eerdere voornemen van OCW om ook in het tweede jaar te experimenteren met het BSA vindt Sneyers het jammer dat dit experiment niet is doorgegaan. “Dat was een mooie casus geweest om te kijken of het effect zich dan versterkt.”
Inmiddels heeft Sneyers de wetenschap alweer verlaten en staat ze voor de klas aan de KU Leuven. Ze merkte tijdens haar promotie dat lesgeven, zoals ze eerder in de lerarenopleiding al merkte, haar toch meer plezier brengt. Wel kijkt ze met plezier terug op het onderzoek. “Het onderdeel over het BSA vond ik echt het meest interessante.” Ze hoopt dat er een vervolg wordt gegeven aan haar onderzoek.
U kunt het proefschrift hieronder lezen.
Literatuurverwijzingen
Sneyers, E. (2017)
WHAT WORKS TO IMPROVE STUDENT SUCCESS
The effects of academic dismissal policies, student grants and
institutional mergers on student outcomes pdf
