Kun je van algoritmes verwachten dat ze onbevooroordeeld zijn?

Kun je van algoritmes verwachten dat ze onbevooroordeeld zijn?

Dat was de vraag die collega Jesse Frederik opwierp onder mijn artikel, waarin ik de gevaren beschreef van de digitalisering van de verzorgingsstaat. Specifiek ging het over het Systeem Risico Indicatie (SyRI), waarvan de rechter in Den Haag vorige week verklaarde dat het in strijd was met de mensenrechten. SyRI koppelt allerlei persoonsgegevens aan elkaar – over uitkeringen, belastingen, toeslagen, enzovoorts – en laat er vervolgens een algoritme op los om op zoek te gaan naar mogelijke fraudeurs.

Een van de problemen met zo’n systeem: het is bevooroordeeld. SyRI werd letterlijk enkel ingezet in achterstandswijken. Maar ga je op bepaalde plekken zoeken, dan zul je ook alleen op die plekken iets vinden. De mensen die in rijke buurten de fout ingaan, zullen nooit in de database terechtkomen.

Dit is een bredere discussie als het over algoritmes gaat. In de Verenigde Staten bleek dat een algoritme om recidive te voorspellen zwarte mensen een hogere risicoscore gaf. En toen Amazon een algoritme gebruikte om sollicitanten te selecteren, gaf het systeem de voorkeur aan mannen.

Kortom, de systemen hadden een ‘bias’.

Mensen zijn ook biased

Maar Jesses punt: ‘Mensen zijn zelf ook hartstikke biased, en bovendien ook een zwarte doos.’ Hij verwijst hiermee naar de veelgehoorde kritiek op algoritmes, dat ze een black box zouden zijn. Met andere woorden, dat je geen idee hebt hoe ze tot een beslissing komen.

Hij geeft het voorbeeld van het Combiteam Aanpak Fraude (CAF), dat betrokken was bij de toeslagenaffaire. ‘[B]loedfanatieke opsporingsambtenaren die overal fraude zagen, en intern over "afpakjesdag" en "alles dichtdraaien" spraken. Dat was geen algoritmische, maar menselijke bias.’

Jesse maakt een belangrijk punt, dat breder speelt in de discussie over kunstmatige intelligentie. Want welke verwachtingen hebben we van nieuwe systemen? Moeten ze honderd procent foutloos werken?

Neem de zelfrijdende auto. We kunnen geschokt zijn als een autonome Uber auto een ongeluk maakt, maar mensen maken óók ongelukken. Het lijkt dus redelijker dat een zelfrijdende auto minder ongelukken maakt dan een mens, dan te verwachten dat zo’n auto nooit meer een ongeluk maakt.

Dus, om het terug te brengen naar SyRI: waarom zo kritisch op een algoritme als mensen ook feilbaar zijn? In de reacties op Jesse kwam een aantal redenen naar boven.

(1) Het is ontransparant

Voor het artikel gebruikte ik een toespraak van Maxim Februari – schrijver, filosoof en jurist. Extra bijzonder dat hij meedeed aan het gesprek onder het stuk en reageerde op Jesse.

‘Er is echt een cruciaal verschil tussen een bevooroordeelde ambtenaar die een afzonderlijke, betwistbare beslissing neemt en een heel fraudeopsporingssysteem dat zelfs voor de rechter ondoorzichtig is’, stelt Februari.

Hij verwijst hiermee naar de totale ondoorzichtigheid van SyRI. Het is niet duidelijk wie er precies worden doorgelicht, welke data worden gebruikt en welke modellen om die data te analyseren. Ook aan de rechter wilde de staat geen extra duidelijkheid verschaffen, want anders zouden mensen het systeem kunnen gaan ‘gamen’.

Dat gebrek aan transparantie is problematisch, stelt Februari in een volgende bijdrage. In een rechtsstaat moet de rechter het handelen van de overheid kunnen toetsen, en dat dit hier niet kan vindt hij onaanvaardbaar. ‘Als een systeem wel inzichtelijk is, kun je het veranderen, bijschaven, afschaffen...’

De rechtbank heeft bovendien in haar vonnis gezegd dat burgers hun data moeten kunnen volgen, stelt hij. De onduidelijke oorsprong en kwaliteit van de data is minstens zo problematisch als de werking van de algoritmes.

(2) Het gebeurt op grote schaal

Ook Christiaan van Veen reageerde. Hij werkte mee aan het VN-rapport over de digitale verzorgingsstaat dat ik in het stuk noem, en geeft leiding aan het Digital Welfare State and Human Rights Project aan New York University.

Hij is het helemaal eens met Jesse dat de analoge systemen ook niet ideaal waren. Maar: ‘Ik denk dat een van de redenen waarom deze zaak aanhangig is gemaakt is omdat SyRI veel vooroordelen en discriminatoire aannames ‘systematiseert’ en witwast.’

Een andere reden tot zorg, vindt van Veen: de schaal waarop dergelijke systemen opereren. ‘Belde een ambtenaar voorheen aan om je tandenborstel-situatie te controleren op basis van een tip of een andere aanwijzing, nu wordt een hele buurt onderwerp van onderzoek.’

Hij noemt het voorbeeld van Waterproof, een voorloper van SyRI waarin het waterverbruik van 63.000 mensen werd geanalyseerd, op zoek naar mogelijke fraude. ‘[E]en individuele ambtenaar is waarschijnlijk niet vrij van bepaalde vooroordelen, maar hoeveel kwaad kan één ambtenaar doen in vergelijking met een systeem dat 63.000 mensen doorlicht?’

Of, om het voorbeeld van Jesse erbij te pakken: ‘[W]at als de CAF, met haar "mindset", toegang krijgt tot SyRI-achtige systemen?’

(3) Het is allesbehalve intelligent

En wat ik vind? Ik vind het vooral storend hoe weinig er over dit soort systemen wordt nagedacht. Ik ben het helemaal met Jesse eens: als een algoritme bewezen betere beslissingen neemt dan een mens, dan moet je het absoluut overwegen.

Neem radiologie, waar academisch onderzoek hoopvol is over de mogelijkheden van AI. Zo verscheen er op 1 januari een artikel in Nature over het gebruik van deep learning bij het vinden van borstkanker op een mammografie. De conclusie: ‘In een onafhankelijk onderzoek met zes radiologen, deed het AI-systeem het beter dan alle menselijke lezers.’

Betekent dit dat we meteen AI moeten inzetten in ziekenhuizen? Niet zo snel. Zoals bij ander wetenschappelijk onderzoek, moet er replicaties worden gedaan om te zien of het systeem nog steeds correct blijkt.

Je moet stapje voor stapje, al evaluerend, bedenken welke systemen waar waardevol kunnen zijn

En soms blijkt de werkelijkheid rommeliger dan de academie. Zo beëindigde een onderzoekscentrum de samenwerking met IBM op het gebied van oncologie, omdat de aanbevelingen van het systeem niet alleen fout waren, maar ook gevaarlijk.

Zo moet je stapje voor stapje, al evaluerend, bedenken welke systemen waar waardevol kunnen zijn. Dit is het tegenovergestelde van wat er bij SyRI gebeurde. Het werd zonder democratische discussie in de wet geplempt, zonder aangetoonde meerwaarde.

Die meerwaarde gaat niet alleen over of SyRI ‘werkt’, maar ook over de vraag of zo’n systeem überhaupt wenselijk is. Welke beslissingen willen we wel aan een algoritme overlaten, en welke niet?

Deze in- en in-politieke vraag wordt alsmaar belangrijker nu kunstmatige intelligentie zo’n hype is. Dat er niet over na wordt gedacht, is allesbehalve intelligent. Het is oliedom. Maar misschien ben ik wel bevooroordeeld.