‘Vragen naar actuele voorbeelden zet ChatGPT buitenspel’
ChatGPT is geen kennisbank; het is een taalmodel dat woorden kan voorspellen, benadrukken HAN-medewerkers Frank Vonk en Jorn Bunk in een handleiding over ChatGPT en toetsing. “En dat is ook het enige wat ChatGPT kan. Een algemene AI, die een schaakpot kan winnen van een grootmeester en ook een tosti kan bakken, is nog steeds ver weg.”
Geeft iemand ChatGPT als invoer ‘Wie was de vorige minister van OCW?’, dan geeft de chatbot wellicht ‘Ingrid van Engelshoven’ als resultaat. Dat is dan wel correct, maar betekent niet dat ChatGPT weet dat het heeft geantwoord op die vraag. Het is alleen nagegaan welke woorden, gegeven de statistische distributie van woorden in het uitgebreide corpus van Nederlandstalige teksten, het meest waarschijnlijk volgen op de invoer ‘Wie was de vorige minister van OCW?’.
Een goed antwoord van ChatGPT duidt dus niet op kennis. “Weten dat na 5+5 meestal 10 volgt, is iets anders dan 5+5 berekenen”, aldus de auteurs. “Het is dan ook niet gek dat ChatGPT verkeerde antwoorden geeft.”
Toetsvraag zelf invoeren bij ChatGPT
Het verbieden van ChatGPT is onrealistisch, denken de auteurs van de HAN. “ChatGPT, en vooral de technologie erachter, is modern gereedschap dat zal blijven bestaan.” Dat vraagt om ethische bezinning op het instrument en op de manier waarop het wordt ingezet bij allerlei vormen van toetsing. “Werkstukken, essays, beroepsproducten, portfolio’s of inleveropdrachten die door studenten worden ingeleverd, maar niet authentiek zijn, vallen onder het hoofdstuk plagiaat en worden gesanctioneerd”, aldus de auteurs.
De nieuwsbrief is exclusief toegankelijk voor medewerkers van onze partners.
Om te controleren of reeds afgenomen toetsen met behulp van ChatGPT zijn afgelegd, kunnen docenten hun toetsopdracht zelf invoeren bij ChatGPT en het resultaat daarvan naast de ingeleverde toetsen van studenten leggen. Daarnaast kan een heel algemeen geschreven tekst, een vrijwel foutloos geschreven tekst of een tekst zonder heel recente voorbeelden reden zijn om eens extra te controleren, aldus de auteurs.
ChatGPT gebruikt namelijk zelden specifieke voorbeelden en is vooralsnog getraind met data tot en met 2021. Heel recente ontwikkelingen worden dus niet meegenomen in de resultaten die de chatbot geeft.
Toetsen op vaardigheden
Bij toetsen die nog moeten worden afgenomen kan het raadzaam zijn om heel specifieke vraagstellingen te gebruiken, geven de auteurs als tip. Zo kan een student worden gevraagd om te reflecteren op specifieke bronnen, iets te vergelijken met de actuele situatie (na 2021) of voorbeelden uit de eigen praktijk te gebruiken. Docenten kunnen het gebruik van ChatGPT ook opnemen in hun toetsopdracht, of studenten vaker toetsen door hen iets te laten uitvoeren in plaats van opschrijven.
Wie toetsing wil beschermen voor fraude met kunstmatige intelligentie, doet er sowieso goed aan om kritisch naar de leerdoelen te kijken. Drie van de zes leerdoelen uit de taxonomie van Bloom (een set van modellen voor het classificeren van leerdoelen) kunnen niet door kunstmatige intelligentie worden uitgevoerd. Het gaat daarbij om ‘toepassen’, ‘analyseren’ en ‘creëren’ – juist vaardigheden die belangrijk zijn voor een goede beroepsbeoefenaar. Wordt bij toetsing vaker gevraagd naar deze vaardigheden, dan kan de student zelfs ruimte worden gegeven om kunstmatige intelligentie als gereedschap in te zetten, aldus de auteurs.
