Instellingen kunnen zich niet achter een digitale sluier verschuilen
Het College voor de Rechten van de Mens vindt dan ook dat het kabinet de regels rondom het gebruik van AI moet aanscherpen, zo werd duidelijk tijdens een rondetafel over AI in de Tweede Kamer.
De rechtsbescherming bij veel AI-toepassingen schiet momenteel tekort, stelt het College. Dat komt doordat het vaak om individuen gaat en de klacht heel individueel is. Een AI-systeem aanvechten is voor een individuele burger technisch gezien bijna onmogelijk. Daarom is het tegengaan van discriminatie ook de verantwoordelijkheid van degene die AI toepast, bijvoorbeeld een hoger onderwijsinstelling. Die mogen zich niet achter een digitale sluier verschuilen, zo zei Quirine Eijkman van het College voor de Rechten van de Mens in de Tweede Kamer.
Niet alleen controle vooraf
Het is daarom belangrijk dat er eisen worden gesteld aan het gebruik van AI – niet alleen aan de producten zelf, maar ook aan de uitkomsten van het gebruik ervan. “Het College voor de Rechten de Mens vindt daarom dat bij het gebruik van AI door bedrijven of instanties er een verplichte mensenrechtentoets moet komen, met bijzondere aandacht voor non-discriminatie. Wij pleiten ook voor een periodieke controle op de effecten van AI, dus niet alleen vooraf”, zei Eijkman.
Het College voor de Rechten van de Mens heeft recent een klacht behandeld van een student van de Vrije Universiteit. Die vond dat ze gediscrimineerd werd door anti-spieksoftware. De student moest vooraf haar gezicht tonen, maar dat werd vanwege de donkere huidskleur niet door de software herkend.
Je moet als instelling eisen stellen
“De student moest aantoonbaar maken dat ze gediscrimineerd werd, maar die kan niet zelf in het systeem kijken en aantonen dat ze gediscrimineerd wordt”, schetste Eijkman de lastige positie van een individu dat een klacht wil indienen. “Wij hebben nu in een tussenoordeel aan de VU gevraagd om aan te tonen dat het systeem niet discrimineert. Je moet namelijk kunnen verwachten dat een instelling eisen stelt aan de producten en diensten die ze afneemt of koopt. Daar moet het allemaal mee beginnen.”
Bij die anti-spieksoftware zou een onderwijsinstelling ook vooraf die eisen al moeten stellen, zo benadrukte het College richting de Kamerleden. “Een instelling kan dan zeggen: ‘Wij willen dit systeem wel afnemen, maar dan stellen we ook de eis dat mensen gelijk behandeld worden’.”
In het debat dat plaatsvond na deze hoorzitting gaf de minister van Economische Zaken aan dat in het onderwijs het curriculum uitgebreid moet worden.
