‘Kennis van zwaktes ChatGPT helpt voorkomen van fraude bij schrijfopdrachten’
De opkomst van Large Language Models (LLM) zoals ChatGPT laat het hoger onderwijs nog altijd niet onberoerd. Hoewel het fenomeen niet meer gloednieuw is, blijft een groot probleem voor docenten bestaan: de vraag in hoeverre een toets of opdracht nog het niveau van de student weerspiegeld als die hulpbronnen zoals ChatGPT gebruikt.
ChatGPT maakt fraude stuk makkelijker
Met betrekking tot schrijfopdrachten zijn er geen makkelijke oplossingen, blijkt uit een onderzoeksartikel vanuit de Universiteit van Tilburg. Onderzoekers aldaar ontwikkelden een kader dat docenten helpt met het ondervangen van ongewenste effecten van het LLM-gebruik. “Toetsontwerp dat de student centraal zet en gericht is op het bevorderen van leren en academische integriteit, heeft potentie om de neiging tot fraude onder studenten te verlagen”, schrijven zij.
Hoewel frauduleuze praktijken bij schrijfopdrachten niet nieuw zijn, maken Large Language Models het een stuk makkelijker. Daarom nopen ze docenten nog beter na te denken over het ontwerp van hun opdrachten. Cruciaal daarbij is een goed begrip van de kwaliteiten en zwaktes van Large Language Models. In onderstaande tabel is die relatie tot ‘kritisch denken’, vaak een belangrijk leerdoel, weergegeven.
Ya-Ping Hsiao, Nadia Klijn & Mei-Shiu Chiu (2023) Developing a framework to re-design writing assignment assessment for the era of Large Language Models, Learning: Research and Practice, DOI: 10.1080/23735082.2023.2257234
Zes zwaktes
De onderzoekers geven docenten ook zes dimensies mee waarlangs ze kunnen bepalen of en hoe taalmodellen op een goede manier onderdeel kunnen zijn van een opdracht. Zo moeten ze het doel van een opdracht – bijvoorbeeld het ontwikkelen van ‘kritisch denken – niet ondermijnen. Ten bate van datzelfde leerdoel kan studenten ook worden gevraagd om de betrouwbaarheid van bronnen te beoordelen, iets wat ze bijvoorbeeld wel met behulp van ChatGPT kunnen doen, maar niet aan het taalmodel kunnen overlaten.
Het risico op fraude bij schrijfopdrachten neemt toe als alleen het eindproduct wordt beoordeeld. Het voorafgaande proces moet ook worden gemonitord, raden de Tilburgse onderzoekers aan. Dat kan eenvoudig door een opdracht te verdelen in natuurlijke, elkaar chronologisch opvolgende stukken (zoals ‘opzet’, ‘proef’, ‘eerste beoordeling’ en ‘verbetering’). Het eindproduct wordt dan een portfolio in plaats van louter een tekst.
De wekelijkse nieuwsbrief is nog korte tijd gratis te ontvangen. De voorwaarden vindt u hier.
Een tekst maken kan een taalmodel goed; kritisch denken minder. De beoordeling van schrijfopdrachten moet zich daarom sterker richten op elementen van kritisch denken zoals argumenteren, redeneren en het trekken van conclusies. Ook bij het streven naar authenticiteit, bijvoorbeeld door een opdracht sterk op de actualiteit te betrekken of een student zelf richting te laten bepalen. Dat laatste betrekt de student meer op het eigen leerproces en zal de neiging tot fraude verminderen, aldus de onderzoekers.
Daarnaast bepleiten de onderzoekers om zowel docenten als studenten aan te leren waar de kwaliteiten en zwaktes van taalmodellen liggen. Daardoor zullen docenten het oneigenlijke gebruik van een taalmodel sneller doorhebben en weten studenten beter hoe ze taalmodellen zoals ChatGPT wel verantwoord kunnen gebruiken.
Kennen zwaktes ChatGPT helpt bij herontwerp
In een serie van drie workshops met in totaal dertig docenten van twee academies lieten de onderzoekers zien hoe hun kader in de praktijk kan worden gebruikt bij het aanscherpen van schrijfopdrachten. Daarin schrokken docenten van de mate waarin taalmodellen de indruk van kritisch denken kunnen geven. “ChatGPT schrijft beter dan mijn studenten: de gegenereerde teksten hebben een hoge mate van begrijpelijkheid en samenhang, en er zitten geen fouten in de APA-stijl”, aldus een deelnemende docent.
In de workshops werd teruggegaan naar de leerdoelen vanwaaruit schrijfopdrachten waren ontworpen. Docenten ontdekten zo dat hun schrijfopdrachten vaak minder op ‘kritisch denken’ waren gericht dan ze zelf dachten. Zo verloor een deelnemende docent de illusie dat het samenvatten van verschillende theorieën een vorm van kritisch denken was. De docenten bleken echter, met behulp van de kennis over kwaliteiten en zwaktes van taalmodellen, goed onderscheid te kunnen maken tussen teksten van studenten of taalmodellen als die werden getoetst aan criteria voor ‘kritisch denken’.
Vooral het teruggaan naar en verhelderen van leerdoelen hielp docenten in het herontwerp van schrijfopdrachten, schrijven de onderzoekers op basis van de workshops. “Bovendien deed de dimensie ‘authenticiteit’ hen beseffen dat hun schrijfopdrachten vaak meer waren gericht op het benoemen van kennis in plaats van kennisoverdracht.”
