Wanneer risicoscores zélf een risico vormen

Overheden, instanties en bedrijven werken graag met risicoscores. Aan de hand van algoritmen en formules wordt berekend wat de kans is dat een individu bepaald gedrag gaat vertonen. Is hij een mogelijke fraudeur? Een potentiële terrorist? Wat is de kans dat hij zijn studieschuld niet terugbetaalt? Is dit een kandidaat voor een levensverzekering?

In mei vorig jaar publiceerde het Amerikaanse platform ProPublica een indrukwekkend onderzoek naar het gebruik van risicoscores in het Amerikaanse rechtssysteem.

Rechtbanken in de VS maken in toenemende mate gebruik van risicoscores om mede te bepalen wat de kans is dat een verdachte weer de fout in gaat. Aan de hand van een berekening maakt de rechter een inschatting welke strafmaat gepast is. Heeft iemand een grote kans op recidive, dan moet-ie langer de gevangenis in.

Risicoscores zijn bevooroordeeld

ProPublica nam de data onder de loep van ruim tienduizend mensen die gearresteerd waren in een bepaald gebied in Florida. De journalisten kwamen tot een aantal heftige conclusies. Zo bleek, bijvoorbeeld, dat de risicoscores belabberd waren in het voorspellen van gewelddadige misdaad: van de groep veroordeelden die volgens het systeem grote kans hadden om weer geweld te gaan plegen, bleek maar 20 procent dat ook echt te doen.

Het systeem dat de risicoscores berekende discrimineerde

Maar het meest schokkend waren de verschillen in ras die de journalisten vonden. Kort gezegd: het systeem dat de risicoscores berekende discrimineerde. Zo werden zwarte veroordeelden twee keer zo vaak als witte veroordeelden foutief aangewezen als een hoog risico. En: witte veroordeelden werden veel vaker onterecht aangewezen als een laag risico dan zwarten.

Het kan eerlijker

Het journalistieke onderzoek van ProPublica is een geweldig voorbeeld dat laat zien dat blind vertrouwen in algoritmen en risicoscores grote risico’s met zich mee kan dragen. Dat data niet neutraal zijn. En dat de gevolgen voor individuen van dergelijke systemen, die onder het mom van ‘lekker handig en objectief’ worden ingevoerd, verstrekkend kunnen zijn.

Het onderzoek bleef ook niet onopgemerkt onder academici. Verschillende onderzoeksgroepen, met onderzoekers van de universiteiten van Stanford, Cornell, Harvard, Carnegie Mellon, Chicago en één van Google, hebben de afgelopen maanden een aantal interessante analyses gemaakt van de data van het ProPublica-onderzoek.

De wetenschappers kwamen tot de conclusie dat de risicoscores in dit systeem - maar ook in andere vergelijkbare systemen - zo worden berekend, dat zij gegarandeerd altijd zwarte veroordeelden vaker ten onrechte zullen aanwijzen als recidivisten dan witte veroordeelden.

Hoe zit het in Nederland?

Ook in Nederland worden risicoscores gebruikt, schreven Dimitri Tokmetzis en ik uitgebreid in ons boek Je hebt wél iets te verbergen. Een paar voorbeelden.

1. Bijna alle Nederlanders hebben een kredietscore op basis van kredietverleden, faillissementgegevens, data van de Kamer van Koophandel en, steeds vaker, data van sociale media en buurtgegevens. Die score bepaalt of jij een lening kunt krijgen en tegen welke rente.

2. Met de invoering van het Elektronisch Kinddossier krijgen alle nieuwe gezinnen een risicoscore toegewezen. Als er een opeenstapeling van risicofactoren is, kan worden ingegrepen.

3. Van iedere passagier die naar de Verenigde Staten vliegt, wordt een score berekend. Die komt tot stand aan de hand van ongeveer dertig verschillende databronnen. Wie hoog scoort, wordt aan extra controles onderworpen of, in het extreemste geval, geweigerd.

Laag waterverbruik kan bijvoorbeeld op fraude duiden

4. SyRI is een overheidssysteem dat als doel heeft om uitkerings- en belastingfraude te voorkomen. Uit gegevens over onder meer zorgverzekering, schulden, huisvesting en pensioenen tovert een algoritme een risicoscore voor iedere burger. Zo weet SyRI bijvoorbeeld dat laag watergebruik op fraude kan duiden.

5. Ook de Belastingdienst geeft prioriteit aan het opstellen van profielen en scores op basis van de enorme hoeveelheden data die de fiscus in huis heeft.

6. De gemeente Apeldoorn wil met behulp van inkomensgegevens, schoolverzuimdata, leeftijdsopbouw, politieaangiftes en voorzieningen in een bepaalde buurt voorspellen welke jongeren crimineel worden en daarop interventies gaan ontwerpen.

Ook hier liggen vooroordelen op de loer. Een belangrijke les van de Amerikaanse onderzoeken is dat het mogelijk is om een eerlijker systeem te bouwen met minder bevooroordeelde risicoscores. Ironisch genoeg moeten de verschillende groepen in de dataset dan ongelijk behandeld worden. In de VS is het zo dat zwarten vaker worden aangeklaagd voor nieuwe misdaden. Daar moet voor worden gecorrigeerd en de nadruk zou dan vooral moeten liggen op eerlijke uitkomsten.

Laten we hopen dat de Nederlandse bouwers van dergelijke systemen deze inzichten ook meenemen.

Meer lezen?