In opdracht van het Ministerie van Binnenlandse Zaken heeft een team van onderzoekers van Tilburg University, Eindhoven University of Technology, Vrije Universiteit Brussel en het College voor de Rechten van de Mens een handreiking samengesteld met daarin stap voor stap uitgelegd hoe organisaties die kunstmatige intelligentie willen inzetten, kunnen voorkomen dat hun algoritmes discrimineren. Het onderzoeksteam heeft gekeken naar technische, juridische en organisatorische voorwaarden die daarbij in acht moeten worden genomen. De handreiking geldt voor zowel de publieke als de private sector.

De handreiking is een uitvloeisel van een onderzoek dat zijn weerslag heeft gevonden in een onderzoeksrapport. Dat rapport doet verslag van het onderzoek en geeft een beschrijving van de verschillende onderzoeksstappen, de bestudeerde literatuur, de gekozen methodologie, de uitkomsten en bevindingen en de interpretaties daarvan. Beoogd lezerspubliek zijn wetenschappers vanuit de diverse relevante disciplines (juristen, AIspecialisten, ethici, etc.) en beleidsmakers. De handreiking en de toelichting daarop is gericht op personen en organisaties die AI-systemen bouwen of in de praktijk toepassen en eventueel op opdrachtgevers die relevante criteria zoeken voor gunning van een project.

Handreiking

De Handreiking geeft 10 regels waarmee misstanden zoals bij de kindertoeslagen bij de Belastingdienst kunnen worden voorkomen.

1. Betrek belanghebbenden
Belanghebbenden en groepen die te maken krijgen met automatische besluitvorming moeten vanaf het allereerste moment worden betrokken bij de ontwikkeling van het algoritme. Vervolgens dienen er regelmatig evaluatiemomenten met betrokkenen te zijn tijdens het ontwikkelproces.

2. Think twice
Uitvoeringsinstanties en bedrijven kiezen nu vaak standaard voor automatische besluitvorming en risico-gestuurd werken. Omdat algoritmes per definitie beslissingen nemen op basis van groepskenmerken en geen rekening houden met individuele gevallen is discriminatiegevaar intrinsiek aanwezig. Daarom moet er altijd eerst worden nagegaan of de doelstellingen niet zonder algoritme kunnen worden behaald.

3. Heb oog voor de context
Door middel van algoritmen wordt een proces model-gestuurd. De regels die het algoritme leert, volgen echter uit de data-realiteit en raken vaak losgezongen van de echte wereld en de menselijke maat. Daarom moet er bij besluitvormingsprocessen menselijke controle zijn of wat het algoritnu doet nog wel hout snijdt. Het team dat aan een project werkt dient dan ook zo divers mogelijk te zijn.

4. Check bias in de data
Algoritmen werken met data, maar de data die organisaties bezitten zijn vaak onvolledig en geven een vertekend beeld. Een algoritme dat leert van de huidige wereld zal leren dat mannen vaker worden uitgenodigd voor een sollicitatiegesprek voor een leidinggevende functie dan vrouwen; een algoritme dat wordt getraind op de database van de politie, zal concluderen dat criminaliteit zich met name in wijken afspeelt met veel bewoners met een migratieachtergrond.

5. Stel heldere doelstelling vast
Voordat het algoritme wordt ontwikkeld moeten succescriteria worden vastgesteld. Wat is de toegestane foutmarge en hoe verschilt die van bestaande processen? Welke voordelen zou het AI-systeem moeten hebben om de investering waard te zijn? Een jaar nadat het systeem in de praktijk is gebracht moet worden geëvalueerd of deze bechmarks zijn behaald; zo niet, dan moet het systeem in principe worden stopgezet.

6. Monitor permanent
Algoritmen zijn vaak zelflerend. Hoe zo’n algoritme zich ontwikkelt is echter niet van tevoren te voorspellen, vooral ook omdat de context kan veranderen. Daarom moet het systeem permanent worden gemonitord.

7. Betrek externe experts
Bedrijven en overheidsorganisaties zijn vaak niet neutraal ten aanzien van hun eigen systemen. Er zijn kosten voor gemaakt, er is tijd in geïnvesteerd, er is prestige mee gemoeid. Daarom moeten bij de evaluatie van het systeem externe experts worden betrokken. Deze externe experts moeten kennis hebben van het domein waarbinnen het algoritme wordt ingezet, van de vigerende juridische regels en de geldende technische standaarden.

8. Controleer op indirecte discriminatie
De controle op algoritmes moet niet alleen gaan om de vraag of het systeem expliciet besluiten neemt op basis van discriminerende gronden. Ook al houden automatische besluitvormingssystemen niet direct rekening met deze factoren, dan kunnen zij dat indirect doen. Als een predictive policing systeem bijvoorbeeld postcodegebieden gebruikt dan kan dat leiden tot indirecte discriminatie. Het risico op zichzelf vervullende voorspellingen is hier groot.

9. Check legitimiteit
Niet al het onderscheid is verboden, zelfs directe of indirecte discriminatie kan in voorkomende gevallen geoorloofd zijn. Een postcodegebied of andere factoren zoals geslacht, die mogelijk kunnen leiden tot indirecte discriminatie zijn niet in alle gevallen verboden, dat hangt af van de context. Daarom moet er altijd worden gecontroleerd, niet alleen of het systeem onderscheid maakt, maar ook hoe, waarom en of daar goede redenen voor zijn.

10. Documenteer alles
Documenteer alle beslissingen ten aanzien van de dataverzameling, selectie van de data, de ontwikkeling van het algoritme en de aanpassingen die daaraan worden gedaan. Documentatie moet zowel begrijpelijk zijn voor burgers die een beroep doen op hun rechten, voor de externe experts die een onafhankelijk audit doen en voor toezichthouders als de Autoriteit Persoonsgegevens die het systeem wil controleren.