Laat ruimte voor specifieke opmerkingen bij peer feedback studenten

Opinie | door Marc Veldt
18 januari 2022 | Als studenten elkaar feedback geven via een applicatie, lijkt het effectief om ze de mogelijkheid te geven om ‘comments’ te schrijven en tekstfragmenten te markeren, schrijft Marc Veldt, Universitair Docent onderwijs in recht. Hij doet verslag van een onderzoek naar de waardering van peer feedback onder eerstejaars rechtenstudenten bij de Universiteit Utrecht. Vooral specifieke peer feedback zoals opmerkingen en tips helpt de studenten, blijkt uit het onderzoek.
“Bijna tachtig procent van de reacties op de ontvangen feedback waren overwegend positief, tegen acht procent negatief en tien procent gemengd”, schrijft Marc Veldt over het gebruik van peer feedback door studenten. Beeld: mentatdgt.

Studenten in de propedeuse rechten hebben opvallend tevreden gereageerd op de peer feedback die ze ontvingen op hun schrijfopdracht voor het vak Grondslagen van recht. Vooral specifieke feedback werd gewaardeerd. Bijna tachtig procent van de reacties op de ontvangen feedback waren overwegend positief, tegen acht procent negatief en tien procent gemengd. In een kort daarna afgenomen enquête antwoordden studenten dat ze van de peer feedback hadden geleerd en dat hun schrijfopdracht erdoor verbeterd was. Ze vonden de feedback in het algemeen duidelijk. Die hadden ze ontvangen via het programma Feedback Fruits.  

Rond de duizend studenten schreven bij Grondslagen van recht, een cursus in het eerste blok van jaar 1, een betoog over een actuele kwestie, waarbij ze rechtsfilosofische argumenten gebruikten. Het cijfer voor de schrijfopdracht telde voor 30 procent van het totaalcijfer. Studenten gaven elkaar feedback op hun opzet voor het betoog en, twee weken later, op elkaars eerste volledige versie. Studenten laadden deze teksten in Feedback Fruits en werden vervolgens gekoppeld aan de tekst van een anonieme en willekeurige andere student. In het programma vonden ze een uitgebreide instructie om die tekst van feedback te voorzien. Na de deadline voor de feedback hadden ze een week om hun eigen tekst aan te passen en om een reflectievraag te beantwoorden over de ontvangen feedback.  

Bij inschrijving ga je akkoord met onze privacy-voorwaarden. Deze voorwaarden zijn hier te lezen.

Welke feedback van hun jaargenoten vonden de studenten vooral bruikbaar? Ze hadden in de tweede feedbackronde vier verschillende vormen van terugkoppeling ontvangen. Ten eerste bevatte de feedback-instructie rubric-kolommen, met de bekende indeling in onvoldoende, voldoende of goed, voor vijftien aspecten van de tekst. Onder iedere ‘onvoldoende-voldoende-goed’-vraag konden de studenten een toelichting op hun beoordeling geven. Het waren deze comments die de studenten het bruikbaarst vonden. Meer dan de helft van de studenten plaatste de comments bovenaan de ranglijst, een kwart zette ze op de tweede plaats. De indelingen zelf – in onvoldoende, voldoende of goed – werden als duidelijk minder bruikbaar gewaardeerd.  

Specifieke feedback heeft de voorkeur 

De andere vormen van feedback in de instructie bestonden uit markeringen in de tekst en het benoemen van de sterke en zwakke punten van het betoog. Feedback Fruits heeft de optie om in de tekst te markeren. De opdracht waarbij de studenten bepaalde problemen moesten aanwijzen in de tekst was geïntroduceerd in het kader van het onderwijsvernieuwingsproject ‘Beter inzetten van peer feedback om schrijfvaardigheid te ontwikkelen.’ Dat project draagt bij aan de ontwikkeling van peer feedback in de bachelor rechtsgeleerdheid. Een belangrijke vraag die het project onderzoekt is hoe specifiek de feedback moet zijn om effectief te zijn. De achterliggende gedachte is dat studenten minder hebben aan globale beoordelingen – zoals in rubrics – en meer aan specifieke feedback, die het probleem en de plaats in de tekst specifiek benoemt, zo nodig uitleg geeft waarom het een probleem is en een suggestie doet voor verbetering.  

Studenten noemen twee belangrijke voorwaarden om te leren van feedback: ze namen de peer feedback serieus, en de feedback maakte hen duidelijk wat ze konden aanpassen.

Dat uitgangspunt wordt op het eerste gezicht bevestigd door wat veel studenten schreven in het onderdeel ‘reflectie’, waar gevraagd werd welke feedback ze het bruikbaarste vonden. Een citaat: “Ik heb heel erg veel aan deze feedback gehad. De reviewer heeft heel fijn specifiek aangegeven waar de fouten zaten. Dit is handig omdat [we] zo makkelijk de verbeteringen kunnen toepassen. Daarnaast is het ook heel prettig dat de reviewer heeft uitgelegd waarom de fouten fout waren, zo heb ik ervan kunnen leren voor de volgende keer.” De studenten schreven hun betoog overigens in tweetallen, vandaar dat er ‘we’ staat. Allebei plaatsten ze hun tekst in Feedback Fruits, zodat ze per betoog twee keer feedback kregen. 

Problemen markeren: vooral als studenten dat zelf willen 

Om studenten te stimuleren elkaar zulke specifieke feedback te geven, is hen ook gevraagd tekstfragmenten aan te wijzen waarin zich problemen voordeden op een paar nauw begrensde aspecten. Deze aspecten hadden allemaal te maken met schrijfvaardigheid. De studenten moesten enkele zinnen markeren die te lang of te complex waren. Daarnaast moesten ze aanwijzen waar verkeerde verbindingswoorden stonden of waar deze ten onrechte ontbraken. Bovendien werd hen gevraagd om uitleg en een suggestie voor een oplossing. Verder moesten ze bronverwijzingen markeren die niet in de juiste vorm waren geschreven. Met al deze onderwerpen hadden de studenten tijdens de cursus geoefend. 

Deze markeringen hadden noodgedwongen betrekking op enkele nauw afgebakende onderwerpen, ten eerste omdat er geen tijd en ruimte binnen de cursus was om veel te oefenen met schrijven, en ten tweede omdat de feedback-instructie al behoorlijk uitgebreid was door de vijftien rubric-vragen.  

Wellicht mede vanwege die nauwe afbakening hebben studenten niet veel markeringen aangebracht waar dat werd gevraagd. Opvallend is dat ze wel uit eigen beweging hebben gemarkeerd waar dat niet gevraagd was. Onder de rubric-vraag of de kernvraag volledig en helder was hebben studenten maar liefst 1536 keer in de tekst gemarkeerd, terwijl dat niet hoefde. Daarentegen resulteerde de expliciete markeervraag over zinslengte en -complexiteit in slechts 438 markeringen. Bij de algemene rubric-vraag over schrijfstijl stonden 416 spontane markeringen, terwijl de expliciete markeervraag over verbindingswoorden er slechts iets meer opleverde, namelijk 438.  

Geschiktheid van de markeervragen 

De lage respons op de markeervragen kan ten eerste zijn veroorzaakt doordat de onderwerpen van die markeervragen nogal specialistisch waren; mogelijk stonden er in een deel van de teksten nauwelijks verkeerde verbindingswoorden of te lange of ingewikkelde zinnen. In de tweede plaats is het zoeken en markeren in een tekst meer werk dan het schrijven van een algemene comment. Tenslotte stonden de markeervragen onderaan de instructie; als de studenten al een lange lijst hadden beantwoord, was het doorzettingsvermogen van een aantal van hen mogelijk uitgeput.   

Een vierde oorzaak kan liggen in het feit dat een of meerdere markeervragen te technisch en ingewikkeld waren. Vooral bij de vraag over de verkeerd geschreven bronverwijzingen kan dat een rol spelen, want de regels daarvoor staan in de zeer gedetailleerde Leidraad voor juridische auteurs (144 bladzijden), waarmee de studenten pas kort daarvoor hadden kennisgemaakt. Deze vraag leverde een respons op van slechts 44 markeringen. Aangezien studenten in de daarmee samenhangende rubric-vraag juist 222 van de teksten als onvoldoende hadden beoordeeld op dit punt, zou je verwachten dat ze een aantal verkeerde verwijzingen gezien hadden en die dus konden aanwijzen. De precieze oorzaken zijn een thema om de komende tijd verder te onderzoeken. 

Studenten zeggen niet alleen van de ontvangen feedback geleerd te hebben, maar ook van het geven van feedback.

En de gevolgen? Wat de redenen van de peer reviewers ook waren, het eerste effect dat opviel is dat de markeervragen niet hoog scoorden op de ranglijst van bruikbare feedback. Wellicht hebben markeringen in het algemeen wel een positieve rol gespeeld. Gemiddeld heeft iedere peer reviewer 4,5 keer gemarkeerd, en daarvan 3,5 keer uit eigen beweging. Zoals een student schreef in de reflectie: “Fijn dat er ook goed is verwezen naar de tekst door te markeren en te verwijzen, dit geeft veel overzicht voor ons om te zien wat er bedoeld wordt met de feedback.” Een ander schreef hierover: “Het fijne aan deze feedback was dat er zinnen zijn gemarkeerd die volgens de de medestudent nog improvement nodig hadden. Daar heb ik echt iets aan gehad.”  

De effecten van wel of niet markeren op de kwaliteit van de eindtekst is ook een onderwerp dat we gaan onderzoeken. Het onderzoek kent namelijk een tweede spoor, dat zich richt op de tekstkwaliteit. Dit spoor neemt onder de loep wat de studenten daadwerkelijk met de feedback gedaan hebben: welke revisies hebben ze in de teksten aangebracht, en wat zegt dat over de effectiviteit van de feedback? 

Positieve resultaten: doelen bereikt? 

Afgezien van deze specifieke kwestie van de markeervragen, lijken de algemene doelen van de peer feedback al in hoge mate bereikt bij Grondslagen van recht. Tenminste, als we afgaan op wat de studenten daar zelf over zeggen in de enquête. Ze stellen namelijk dat ze hun teksten op meer punten hebben verbeterd en dat ze van de feedback geleerd hebben. Ook noemen ze twee belangrijke voorwaarden om die resultaten te bereiken: ze namen de peer feedback serieus, en de feedback maakte hen duidelijk wat ze in de tekst konden aanpassen.  

Bovendien zeggen de studenten niet alleen van de ontvangen feedback geleerd te hebben, maar ook van het geven van feedback. Ze voelden zich verder voldoende voorbereid om elkaar feedback te geven. Ze wisten wat er van ze verwacht werd en de instructie was duidelijk.  

Enigszins paradoxaal lijkt vervolgens hun indicatie dat ze gemiddeld ongeveer de helft van de feedback toegepast hebben. Dat percentage lijkt op het eerste gezicht laag, maar of dat ook echt onwenselijk is zal verder onderzocht worden. De meest genoemde redenen om bepaalde feedback niet te gebruiken was namelijk dat de schrijvers vonden dat de feedback niet klopte (40 procent). De tweede reden om niets te wijzigen was dat de peer reviewer aangaf aan dat ze het al goed gedaan hadden, met andere woorden: de feedback was een compliment (39 procent). Beide redenen kunnen uiteraard legitiem zijn. 

Naast het onderzoek naar de ervaringen van de studenten en de veranderingen in de teksten omvat het project ook instructie over peer feedback en schrijfoefeningen. In lesperiode 4 gaat, met andere aandachtspunten, een tweede fase in bij een ander propedeusevak: Perspectieven op recht. Grotendeels dezelfde studenten gaan die cursus volgen, wat een voordeel is bij het vergelijken.  

Marc Veldt : 

Universitair Docent onderwijs in recht. Zijn juridische kennis ligt op verscheidene gebieden: mensenrechten, Europees en internationaal recht, rechtstheorie, staats-en bestuursrecht, nationaal en internationaal strafrecht, intellectueel eigendom en privaatrecht.


«
Schrijf je in voor onze nieuwsbrief
ScienceGuide is bij wet verplicht je toestemming te vragen voor het gebruik van cookies.
Lees hier over ons cookiebeleid en klik op OK om akkoord te gaan
OK