‘VU had moeten verzekeren dat proctoringsoftware niet zou discrimineren’
Masterstudent Robin Pocornie diende bij het College voor de Rechten van de Mens een klacht in tegen de Vrije Universiteit omdat ze vaak niet werd herkend door de proctoringsoftware die de universiteit gebruikt bij tentamens. Volgens Pocornie en het Racism and Technology Center had de VU van tevoren moeten verzekeren dat het geen discriminerende software zou gebruiken. De VU zegt geen aanwijzingen te hebben gekregen dat de software van Proctorio wel discrimineert, waardoor er geen aanleiding zou zijn om hier extra op te controleren. Daar ligt nu juist het probleem, vinden Pocornie en het Racism and Technology Center.
Identificeren met een lamp op je gezicht gericht
De VU gebruikt proctoringsoftware van Proctorio wanneer studenten op afstand een tentamen moeten maken. Dat programma scant voorafgaand aan het tentamen of er een gezicht te zien is op het beeld. Daarbij worden in een paar seconden een aantal foto’s gemaakt; als het programma een gezicht detecteert, dan mag de student beginnen met het tentamen. Ziet de software geen gezicht, dan moet het proces van verificatie worden herhaald.
Dezelfde software van Proctorio controleert of de student tijdens het tentamen bij de computer blijft zitten en niet met iemand anders overlegt.
De nieuwsbrief is exclusief toegankelijk voor medewerkers van onze partners.
Pocornie merkte bij haar eerste tentamen dat ze moeite had met inloggen, zo vertelde ze deze zomer aan de Volkskrant. Het programma gaf de melding dat haar gezicht niet herkend werd en dat er onvoldoende licht was. Pas toen ze een lamp direct in haar gezicht scheen, herkende het programma haar. Bij andere tentamens ondervindt ze dezelfde problemen.
Eén keer logde Proctorio haar zelfs midden in het tentamen uit, volgens Pocornie omdat de proctoringsoftware dacht dat ze niet meer bij haar computer zat. Omdat ze het programma niet vertrouwde, maakte de masterstudent haar tentamens met de lamp op haar gezicht gericht. “Ga maar eens een tentamen maken met een zoeklicht op je gezicht”, hield ze het College voor.
Van het kastje naar de muur gestuurd
Het komt vaker voor dat gezichtsherkenning niet goed werkt bij zwarte mensen. Dat komt onder andere doordat deze programma’s worden getraind met een bepaalde dataset; als deze dataset niet representatief is, dus als er vooral beelden van witte mensen in zitten en veel minder beelden van zwarte mensen, dan werkt het programma niet goed voor zwarte mensen.
Uit een studie uit 2018 naar commerciële gezichtsherkenningssoftware bleek dat witte mannen in 0,8 procent van de gevallen niet herkend werden, terwijl dat gold voor bijna 35 procent van de zwarte vrouwen. Daarnaast heeft online proctoring tal van andere nadelen, bleek uit eerdere onderzoeken.
Toen Pocornie besloot er iets van te zeggen bij de VU, werd ze van het kastje naar de muur gestuurd. De ombudsman van de VU verwees naar de diversiteitsmedewerker, die haar vervolgens terug naar de ombudsman verwees. Daarom schakelde ze het Racism and Technology Center in.
In een brief aan Pocornie schreef de VU een extern onderzoek in te stellen naar Proctorio, maar de Volkskrant achterhaalde dat dit onderzoek werd uitgevoerd door een auditeur die door Proctorio zelf werd ingehuurd. Uit die audit blijkt niet dat de software mensen met een donkere huidskleur minder vaak herkent. Het rapport waaruit dit zou blijken is echter nog niet openbaar gemaakt. Daarnaast geeft de VU zelf aan geen meldingen van andere studenten met een donkere huidskleur te hebben ontvangen.
Problemen met proctoringsoftware waren al bekend
Pocornie en het Racism en Technology Center besloten met deze zaak naar het College voor de Rechten van de Mens te stappen. Hun voornaamste aanklacht draait rond het feit dat problemen met gezichtsherkenning en huidskleur allang bekend zijn en de VU daar onvoldoende alert op is geweest, zo herhaalden ze meermaals tijdens de zitting.
De VU heeft aan Proctorio gevraagd of zij discrimineren en Proctorio heeft ‘nee’ gezegd. Meer is er niet gedaan
De VU heeft aan Proctorio gevraagd of zij discrimineren en Proctorio heeft ‘nee’ gezegd. Meer is er niet gedaan, aldus de VU-student die werd bijgestaan door Naomi Appelman en Hans de Zwart van het Racism en Technology Center.
“De VU heeft de verantwoordelijkheid om van tevoren te controleren of deze proctoringsoftware problemen oplevert. De VU zegt daarbij het Rijksmodel (dat geldt voor overheidsinstellingen, red) te volgen, waarin wordt gezegd dat je moet letten op mogelijke discriminatie. Dat is niet gedaan; de VU heeft aan Proctorio gevraagd of zij discrimineren en Proctorio heeft ‘nee’ gezegd. Meer is er niet gedaan. Het had echter helder moeten zijn dat die software níet discrimineert; dat is nog steeds niet zo. De VU heeft geen idee hoe die software werkt en vraagt nu van ons om één-op-één te bewijzen dat er sprake is van discriminatie”, aldus Appelman.
De software was echter niet nieuw en de problemen met gezichtsherkenning bij mensen met een donkere huidskleur waren al bekend. Op de eigen website verklaart Proctorio “Some face detection and gaze detection algorithms have higher error rates, or work less accurately, for people of color. These issues have long existed to some degree in all camera-based technology.”
Dat had dus ook de VU kunnen weten, beargumenteren De Zwart en Appelman. “Proctorio heeft eerder al aangegeven dat het gebrek aan licht problematisch kan zijn, natuurlijk vooral bij mensen met een donkere huidskleur”, vertelt Appelman. “Zulke problemen waren dus al bekend. Daar zit de kern van onze klacht.”
Problemen met proctoringsoftware zeggen niet alles over Proctorio
De VU vindt al deze feiten echter geen feiten omdat de VU het zelf niet kan vaststellen, vertelde de verdediging van de VU. De door Proctorio zelf ingehuurde auditeur heeft immers onderzocht of de software minder goed zou werken bij mensen van kleur en daarin zijn geen statistisch significante verschillen vastgesteld. Als was gebleken dat deze software voor problemen zorgt, dan zou de VU er niet mee willen werken, aldus de verdediging.
Daarnaast hebben niet alleen studenten van kleur problemen gehad met Proctorio. Volgens de verdediging van de VU hebben mensen die brillen dragen ook vaker moeite met de gezichtsdetectie. Daarnaast zouden studenten hiermee ook meer moeite ondervinden op dagen met slecht weer, omdat er minder daglicht zou zijn. “Bij een donkere student zal meer licht nodig zijn, bij een lichte student minder licht”, verklaart de advocaat van de VU. Het was volgens de VU echter niet nodig om het hele tentamen lang een lamp op het gezicht te schijnen.
De verdediging namens de VU vindt het opvallend dat Pocornie pas na een jaar dacht aan discriminatie op basis van huidskleur. “Misschien is ze op het idee gebracht door artikelen op het internet”, zo werd geopperd.
Zoom
Volgens de VU was er sprake van een noodsituatie toen ze vanwege de coronapandemie over moesten stappen naar online proctoring-programma’s. Pocornie en het Racism and Technology Center vragen zich af of het wel werkelijk noodzakelijk was om een dergelijk systeem in te zetten bij een kleine opleiding; de studie van Pocornie bestaat uit slechts 70 studenten. Daarnaast worden alle beelden na afloop alsnog door mensen nagekeken, wat erop wijs dat er wel voldoende mankracht was om de studenten op een andere manier te controleren.
Volgens de VU waren alternatieven –zoals bijvoorbeeld Zoom, waarbij mensen de beelden live controleerden – te fraudegevoelig, omdat de beelden te onoverzichtelijk zouden zijn.
Verdediging leunt op gebrek aan gegevens
De verdediging leunt verder vooral op het ontbreken van gegevens en meldingen die duiden op discriminatie op basis van huidskleur. Daarbij spande de raadsvrouw zich in om te betogen dat allerlei onderzoeken die wijzen op problemen met gezichtsherkenning van mensen met een donkere huidskleur niet noodzakelijkerwijs iets over de software van Proctorio zeggen.
Het ontbreken van die gegevens is dan ook precies het probleem, vinden Pocornie en het Racism and Technology Center. “Dat Proctorio niet naar de VU komt met de boodschap ‘wij hebben een probleem met discriminatie’ zegt niet dat de VU zich niet moet verzekeren van een goede werking van de software.”
Afgaan op wat bekend is
Voor Pocornie is het vertrouwen in haar universiteit flink geschaad. Studenten krijgen geen melding als Proctorio iets als verdacht heeft gemarkeerd. “Hoe kan ik erop vertrouwen dat als de software mij in de beginfase van de inlog mij niet herkent als mens, dat ik niet geflagd word tijdens het tentamen als ik er zit, maar de software mij niet ziet staan”, vroeg Pocornie zich af.
De klachtenprocedure was daarnaast erg onduidelijk, verklaart ze. “De VU omschrijft zichzelf als een sociaal veilige en inclusieve universiteit, maar ik heb daar in dit hele traject geen bewijs van gezien.” Volgens Pocornie werd ze niet serieus genomen en is er onvoldoende rekening gehouden met haar persoonlijke ervaring toen ze haar ontevredenheid hierover uitte bij de VU. “Dat is niet een inclusieve manier van omgaan met studenten.”
De VU verklaart betreurt te zijn over de dit verlies in vertrouwen. “Als studenten zouden blijven zitten met het gevoel dat mevrouw Pocornie nu heeft, dan heeft de VU ook al verloren.” De verdediging benadrukt echter ook dat de VU alleen maar af kan gaan op wat bekend is. Er zou geen informatie ter handen zijn toen de instelling Proctorio in gebruik nam, waaruit zou blijken dat gezichtsdetectie een probleem was.
Het College voor de Rechten van de Mens gaat zich over de zaak buigen en wil over twee weken met nader bericht komen.
