De dating-app Breeze gebruikt een algoritme om te bepalen welke gebruikers aan elkaar worden voorgesteld. Het algoritme is zelflerend. Alle informatie die de gebruikers zelf op hun profiel invullen en het ‘like’-gedrag van alle gebruikers vormt de input voor het algoritme. Hoe het like-gedrag exact de berekening van de matchingskans door het algoritme beïnvloedt, weet Breeze niet precies. Zij vermoedt wel dat het algoritme de voorkeuren of het like-gedrag van de gebruikers versterkt bij het berekenen van de matchingskans. Breeze heeft de indruk dat mensen met een donkere huidskleur of een niet-Nederlandse afkomst stoppen met de app, omdat ze weinig matches hebben. Breeze weet op basis van wetenschappelijke artikelen dat mensen bij het zoeken naar een partner of date een voorkeur hebben voor personen met een vergelijkbare etnische achtergrond. Breeze veronderstelt dat haar algoritme deze voorkeuren voor etnische achtergrond van haar gebruikers niet alleen overneemt, maar zelfs versterkt. Hoewel Breeze juist streeft naar diversiteit van de gebruikers, blijft hierdoor het gebruikersbestand homogeen, met vooral gebruikers met een lichte huidskleur en Nederlandse afkomst. 

Oordeel College

Het College oordeelt dat het algoritme vermoedelijk discrimineert, omdat het algoritme mensen met een donkere huidskleur of van niet-Nederlandse afkomst minder vaak voorstelt. Het hebben van persoonlijke voorkeuren voor mensen met een bepaalde etnische afkomst met wie je op date wilt, hoeft op zichzelf uiteraard geen discriminatie te zijn. Maar zelfs als je rekening houdt met het feit dat mensen een voorkeur hebben voor mensen met eenzelfde etniciteit, dan nog zou de matchingscore van mensen met een donkere huidskleur of van niet-Nederlandse afkomst vermoedelijk hoger moeten zijn dan die nu is. Zo is alsnog sprake van indirect onderscheid. Maatregelen die Breeze moet treffen om het indirecte onderscheid te voorkomen, beschouwt het College niet als een vorm van voorkeursbeleid. De gebruikers zouden hierdoor namelijk geen bevoorrechte positie krijgen, maar zij zouden alleen voor een dreigende achterstelling worden gecompenseerd. Gebruikers met een donkere huidskleur of niet-Nederlandse afkomst zouden dan immers niet relatief vaker worden voorgesteld, maar ‘slechts’ even vaak als de andere gebruikers.

Repareren van algoritmes en AVG

Hoe het algoritme zal worden aangepast, is het College niet bekend. De uitdaging hierbij voor Breeze is dat zij hierbij (zonder instemming van gebruikers) geen bijzondere persoonsgegevens kunnen verwerken over afkomst of huidskleur, volgens de Algemene Verordening Gegevensbescherming (AVG). Dit maakt het complex om ongelijkheden tussen groepen vast te stellen. Breeze is niet het enige bedrijf dat voor deze uitdaging staat. Veel algoritmemakers en afnemers zullen dit vraagstuk herkennen. Het is dan ook aan de wetgever en sector om met een antwoord hierop te komen. De aankomende AI-Verordening probeert hier een optie voor te creëren, maar deze Europese wetgeving is nog niet definitief. Algoritmemakers en afnemers kunnen al wel bij het ontwerp nadenken over deze risico's. Door bijvoorbeeld een Impact Assessment Mensenrechten en Algoritmes (IAMA) te doen, kunnen algoritmemakers toetsen of hun algoritmes in lijn zijn met mensenrechten. Maar ook daarna blijft het belangrijk om regelmatig te controleren of de inzet van algoritmes niet tot discriminatie leidt. Dat organisaties als Breeze hiertoe de eerste stappen zetten, juicht het College toe.

CRM 1 augustus 2023, oordeelnummer 2023-82

Bron: www.mensenrechten.nl