Algoritmes zijn even bevooroordeeld als de mensen die ze maken

Je hebt het vaak niet door, maar overal ter wereld, zeker ook in Nederland, worden mensen doorgemeten en ‘gescoord’ om hun toekomstige gedrag te voorspellen. Met behulp van big data proberen kredietbeoordelaars te berekenen of we met geld kunnen omgaan, de Belastingdienst of we fraude plegen, de politie of we een misdaad begaan, verzekeraars of we gezond blijven.

Telkens kunnen die berekeningen ingrijpen in ons dagelijks leven: je wordt geweigerd voor een lening, je krijgt een aanmaning, je wordt staande gehouden, je moet een hogere premie betalen.

Steeds vaker ligt ons lot in handen van zulke – ogenschijnlijk objectieve – cijfers. Kunnen we in tijden van enorme bergen data en slimme rekenmethoden blind vertrouwen op cijfers? Spoiler alert: nee. Het verhaal van kredietscores laat zien waarom.

Hoe een kredietscore je leven kan bepalen

Maak kennis met de 65-jarige Keniaanse Jenipher. Ze verdiende jarenlang haar geld door maaltijden te verkopen in het zakendistrict van Nairobi. De zaken liepen prima, maar ze kon niet investeren. Het probleem? De bedragen die ze via microfinanciering kon krijgen waren te klein, de rentes bij woekeraars te hoog. En een gewone bank zag een lening aan haar niet zitten, want ze had geen onderpand. Bovendien miste ze iets: een kredietscore.

Dit fenomeen stamt uit 1956. In dat jaar begonnen Bill Fair en Earl Isaac hun bedrijf Fair, Isaac and Company (FICO). FICO werd opgericht vanuit een simpele gedachte: met data kun je beter inschatten of mensen hun lening zullen terugbetalen.

Tot dan toe werd zo’n beslissing genomen op basis van wat mensen over je zeiden, hoe je overkwam in een gesprek en hoe de onderbuik van de bankier aanvoelde. Dat pakte niet voor iedereen goed uit. In oude Amerikaanse kredietrapporten kun je lezen dat ‘voorzichtigheid [geboden is] in grote transacties met Joden’.

Fair en Isaac bedachten een formule die niet keek naar je achtergrond, maar naar je financiën. Op basis van die gegevens berekenden ze een score die aangaf hoe groot de kans was dat je een lening zou terugbetalen.

De FICO-score bleek een uitkomst: miljoenen mensen kregen toegang tot leningen en kredietverstrekkers verdienden meer geld, omdat de score veel beter dan zijzelf voorspelde wie wanbetalers zouden zijn.

In Nederland hebben we sinds 1965 de stichting Bureau Krediet Registratie (BKR). Als je een nieuwe lening wilt afsluiten, is de bank verplicht je gegevens daar op te vragen. De stichting berekent op aanvraag van kredietverstrekkers ook een persoonlijke score.

Jenipher mocht dan tot een paar jaar geleden geen kredietscore hebben, ze had wel een mobiele telefoon die allerlei data over haar bijhield

Ook in veel andere landen worden kredietscores gebruikt. Toch hebben nog altijd miljoenen mensen er geen. Maar sinds een paar jaar bestaat er een mogelijkheid om ook de Jeniphers een kredietscore te geven, vertelt Shivani Siroya in 2016 in een TED-talk.

Siroya is de ceo van Tala, een start-up die big data gebruikt om aanvragen voor leningen te beoordelen. Jenipher mocht dan tot een paar jaar geleden geen kredietscore hebben, ze had wel een mobiele telefoon die allerlei data over haar bijhield.

Op een dag overtuigde Jeniphers zoon haar om de Tala-app te installeren. Ze vroeg een lening aan en, op basis van haar data, kreeg ze er snel eentje. Twee jaar later is haar leven compleet veranderd: ze runt drie kraampjes en heeft plannen voor een restaurant.

Het gevaarlijkste idee van dit moment

Jeniphers verhaal is hartverwarmend. En al is het een promotieverhaal van Tala, het vertelt alles over de ontwikkeling waar we nu middenin zitten: de big data-revolutie. Big data worden vaak omschreven met de vier v’s: volume, velocity, variety en veracity. Met andere woorden: veel, snel, gevarieerd en betrouwbaar.

De verwachtingen zijn hoog. Beleidsmakers, ondernemers en publieke intellectuelen stellen dat we met big data het klimaatprobleem kunnen oplossen, de gezondheidszorg kunnen transformeren en honger de wereld uit kunnen helpen.

Met big data zouden we zelfs de democratie kunnen redden. We hebben niets aan verkiezingen als veel mensen toch niet stemmen, stelde universiteitsbestuurder Louise Fresco in 2016 in NRC. ‘Wat als we democratische verkiezingen vervangen door een systeem van kunstmatige intelligentie?’

De aanname dat we cijfers prima kunnen laten beslissen over ons leven is gevaarlijk

Dit gedachte-experiment mag bizar lijken. Maar big data-algoritmes krijgen al steeds meer invloed. Verzekeraars gebruiken algoritmes om te berekenen welke premie je moet betalen, de Belastingdienst om in te schatten of je fraude zal plegen en Amerikaanse rechters om te beoordelen of een gevangene eerder mag worden vrijgelaten.

De aanname dat we cijfers prima kunnen laten beslissen over ons leven is echter gevaarlijk. Achter die opvatting gaat namelijk een groot misverstand schuil: dat de data altijd de werkelijkheid weergeven.

Waarover we praten als we over algoritmes praten

Maar eerst een kijkje onder de motorkap. Net zoals vroeger gemiddelden en grafieken werden bedacht om de grote bergen informatie te doorgronden, zo bedenken slimmeriken nu methoden om de triljoenen bytes aan informatie te temmen. Die technieken – algoritmes – beslissen welke zoekresultaten je krijgt op Google, welke posts je ziet op Facebook en wie er een lening krijgt van bedrijven als Tala.

Eigenlijk is een algoritme niet meer dan een aantal stappen die je zet om een bepaald doel te bereiken. Op een computerscherm ziet het er droogjes uit: regel na regel schrijft een softwareontwikkelaar in computertaal welke stappen er moeten worden gezet onder welke omstandigheden. Zo’n regel kan bijvoorbeeld een als-dan-commando zijn: ‘Als iemand haar lening heeft terugbetaald, dan gaat haar kredietscore tien punten omhoog’.

Hoe werkt een algoritme? De Amerikaanse wiskundige en auteur Cathy O’Neil legt het uit in haar boek Weapons of Math Destruction aan de hand van een praktisch voorbeeld: koken voor haar gezin.

Ze is tevreden als haar gezin (a) voldoende eet, (b) het eten lekker vindt en (c) genoeg voedingsstoffen binnenkrijgt. Door elke avond te evalueren hoe het er op die punten voor staat, weet ze hoe het beter kan. Dat haar kinderen spinazie laten staan maar broccoli verslinden, bijvoorbeeld, helpt haar hen gezonder te laten eten.

Om haar doelstellingen te bereiken, moet ze rekening houden met een aantal beperkingen. Zo mag haar man geen zout eten en een van haar zoons lust geen hamburgers. Ook heeft ze niet eindeloos veel budget, tijd en zin om te koken.

Na jaren oefening weet O’Neil precies wat ze moet doen. Stel nu dat een computer haar taak komt overnemen. Daarvoor moet ze een manier bedenken om haar doelstellingen te standaardiseren. Om te weten of haar gezin lekker, genoeg en gezond eet, kan ze bijvoorbeeld kijken naar (a) tevredenheidsscores, (b) het aantal calorieën en (c) het percentage van de aanbevolen dagelijkse hoeveelheid van elke voedingsstof dat haar gezinsleden binnen krijgen.

Als ze eenmaal heeft bedacht wat en hoe ze wil gaan standaardiseren, dan kan ze de data gaan verzamelen. Ze zou kunnen beginnen met een lijst van alle mogelijke recepten, inclusief bereidingstijd, prijs en voedingswaarde. Steeds kan ze noteren hoe het eten scoort op hoeveelheid en gezondheid, en kan ze haar gezinsleden vragen elk gerecht een cijfer te geven.

Met die data zou O’Neil een programma kunnen schrijven dat precies uitspelt wat haar gezin elke dag van het jaar moet eten. Ze kan het programma ook zelflerend laten worden. Zolang alles in cijfers gegoten is, kan de computer analyseren wat de samenhang is tussen de gerechten en de doelstellingen.

Uiteindelijk kan het algoritme misschien zelfs nieuwe gerechten gaan suggereren op basis van de doelstellingen die O’Neil heeft gegeven. Op die manier gebruikt haar computer machine learning, een vorm van kunstmatige intelligentie, om een taak te leren die niet stap voor stap voorgeprogrammeerd is.

Kortom, O’Neil maakte haar kooktaak meetbaar, verzamelde de cijfers en liet software de gegevens analyseren. Maar met de algoritmes die O’Neil schreef, kan veel misgaan. Het verhaal van kredietscores laat zien waarom.

1. Abstracte concepten worden in een cijfer gevat

Er zijn in de financiële sector meer bedrijven zoals Tala die big data gebruiken om iemands kredietwaardigheid in te schatten. Neem Zest Finance, dat sinds 2009 meer dan 300 miljoen individuen een score gaf. Het bedrijf, opgericht door de voormalig Googlebestuurder Douglas Merrill, stelt dat het traditionele kredietscoresysteem beperkt is door ‘little data’.

Conventionele kredietscores, zoals ooit bedacht door Fair en Isaac, maken gebruik van ‘minder dan vijftig datapunten’. Zest gebruikt daarentegen meer dan drieduizend variabelen om iemand te beoordelen, aldus het bedrijf.

Ook in Nederland gebruiken tal van bedrijven big data om de betaalmoraal van klanten te meten. Zo geeft de Nederlandse datahandelaar Focum iedereen een cijfer tussen één en elf. Heb je een rekening nog niet betaald? Tien punten eraf, of het nou om twintig of twintigduizend euro gaat.

Nu kun je je afvragen: wat is hier mis mee? Kredietscores bieden immers ook mogelijkheden, zoals het verhaal van Jenipher laat zien. Maar big data-algoritmes proberen vaak abstracte concepten te meten, en daar kan het fout gaan.

Als íets abstract is en lastig te meten, dan is het wel wat er in de toekomst gaat gebeuren

In het Amerikaanse rechtssysteem wordt berekend wat de kans is dat een veroordeelde opnieuw de fout ingaat. Die berekeningen hebben grote gevolgen: ze spelen mee bij de beslissing of iemand vervroegd wordt vrijgelaten. Maar als íets abstract is en lastig te meten, dan is het wel wat er in de toekomst gaat gebeuren. Als we vergeten dat zulke voorspellingen slechts een benadering zijn van iemands gedrag, veroordelen we mensen op basis van gebrekkige cijfers.

Bij kredietscores is nog iets aan de hand. Vaak worden ze gebruikt om iets anders uit te drukken dan toekomstig gedrag, iets dat minstens even abstract is: betrouwbaarheid. Uit een Amerikaans onderzoek onder HR-medewerkers uit 2012 bleek dat zo’n 47 procent van de werkgevers de kredietgeschiedenis van sollicitanten checkt.

Uit een ander onderzoek onder Amerikaanse huishoudens met creditcardschulden bleek dat een op de zeven respondenten met een slechte kredietgeschiedenis werd verteld dat hij of zij een baan niet kreeg vanwege zijn of haar verleden.

Deze onderzoeksbevindingen gelden voor bepaalde steekproeven en zijn dus niet representatief voor de hele Amerikaanse bevolking. Maar dat werkgevers de achtergrond van hun sollicitanten controleren, staat vast. Een blik op Amerikaanse online vacatures laat zien dat werkgevers kredietchecks eisen voor banen zo uiteenlopend als het verkopen van vuurwerk tot het verkopen van verzekeringen.

Terwijl er geen enkel bewijs is voor een verband tussen je leengedrag en je prestaties op de werkvloer. In een van de weinige beschikbare studies kijkt onderzoeker Jeremy Bernerth met collega’s naar het verband tussen kredietscores en frauduleuze praktijken. Conlusie: dat is er niet.

Niet voor niets is het in elf Amerikaanse staten inmiddels verboden om als werkgever naar kredietgegevens te vragen. In Nederland mogen alleen kredietverstrekkers die zijn aangesloten bij het Bureau Krediet Registratie je betalingsgeschiedenis inzien.

2. De herkomst van big data kan schimmig zijn

Big data kunnen helpen om fundamentele problemen op te lossen bij dataverzameling. Zo is steekproefgrootte geen zorg meer. Zeker in een land als Nederland zit intussen bijna iedereen op internet. Bovendien houden allerlei apparaten – thermostaten, auto’s, fitbits – bij wat we doen.

Ook de bedrijven achter kredietscores weten dat in tijden van big data de persoonlijke gegevens voor het oprapen liggen. Zij hoeven deze gegevens niet meer via de officiële wegen op te vragen, maar kunnen het internet afstruinen voor data.

Soms zijn de gegevens die ze verzamelen openbaar, zoals inschrijfgegevens bij de Kamer van Koophandel. Soms heb jij ooit – vaak zonder dat je het doorhad – toestemming gegeven om bepaalde informatie te gebruiken.

Regelmatig komen de data uit obscuurdere hoeken. In oktober 2017 publiceerden De Groene Amsterdammer en onderzoekscollectief Investico een onderzoek van journalisten Karlijn Kuijpers, Thomas Muntz en Tim Staal naar datahandelaren in Nederland. Ze ontdekten dat sommige bedrijven rechtstreeks gegevens ontvangen van incassobureaus. Zo kwamen schuldenaren zonder hun medeweten in een database terecht en kon hun financiële geschiedenis – ook lang nadat ze hun schulden hadden afbetaald – hen blijven achtervolgen.

Vaak is niet te achterhalen of de gebruikte data wel kloppen, omdat het onduidelijk is welke gegevens zijn gebruikt. Om de proef op de som te nemen, schakelden de journalisten tien mensen in die hun eigen gegevens bij drie databureaus opvroegen. Ze ontvingen bijna niets. Maar toen de journalisten zich vervolgens voordeden als een klant en de data over diezelfde mensen kochten, kregen ze ineens uitgebreide datarapporten.

Het staat buiten kijf dat er regelmatig fouten voorkomen in data. De Amerikaanse Federal Trade Commission constateerde in 2012 dat in hun steekproef bij maar liefst een kwart van de mensen een fout zat in een kredietrapport van een van de drie grote bureaus. Voor een op de twintig was de afwijking zo ernstig, dat deze mensen hierdoor waarschijnlijk een onterecht hoge rente moesten betalen voor leningen.

En tussen 2009 en 2010 leken er in het Verenigd Koninkrijk 17.000 zwangere mannen te wonen. Jawel, zwangere mannen. De code waarmee hun medische behandeling was geregistreerd, was verwisseld met eentje die alleen verloskundigen uitvoeren.

Uit iOverheid, een rapport uit 2011 van de Wetenschappelijke Raad voor het Regeringsbeleid, bleek dat zulke datafouten ook in Nederland gemaakt worden. Verkeerde adresgegevens in de gemeentelijke basisadministratie, foutieve inkomsten bij de Belastingdienst en het UWV, een onterechte registratie als crimineel in een politiedatabase – overal duiken missers op.

Een oud adagium in de statistiek luidt: ‘garbage in, garbage out.’ Je kunt nog zo’n glad machinelearning-algoritme bouwen, je hebt er niets aan als de gebruikte gegevens niet deugen.

3. Correlatie is nog altijd niet gelijk aan causaliteit

Een traditionele kredietscore, zoals de FICO-score, is gebaseerd op data over jou. Of je ooit geld hebt geleend, hoeveel je leende en of je het op tijd terugbetaalde. Die factoren, is de gedachte, kunnen voorspellen of je in de toekomst je lening zult terugbetalen.

Er is genoeg reden om deze redenering onrechtvaardig te vinden. Schulden worden regelmatig veroorzaakt door hoge medische kosten of ontslag. Sommige mensen kunnen zulke tegenslagen opvangen met hun spaargeld, maar niet iedereen heeft daar genoeg vermogen voor. Zo is een kredietscore niet alleen een maatstaf van betrouwbaarheid, maar ook van mazzel.

De berekening van bigdata-kredietscores gaat nog een stap verder. Neem weer Jenipher en haar eetkraam. Hoe bepaalde Tala dat de Keniaanse een lening mocht krijgen? Daarvoor moest Jenipher het bedrijf via een app toegang geven tot haar telefoon. Haar telefoongegevens lieten zien dat ze geregeld belde met familie in Oeganda.

Bovendien communiceerde ze met wel 89 verschillende mensen. Dat zijn factoren die volgens Tala’s algoritme de kans verhogen dat Jenipher haar lening gaat terugbetalen. Dat ze regelmatig contact heeft met dierbaren, bijvoorbeeld, verhoogt die kans volgens de analyse met 4 procent. Ook een vast dagelijks patroon en het hebben van meer dan 58 contacten zijn gunstige signalen volgens de data.

Bigdata-kredietscores werken dus anders dan traditionele scores. De algoritmes kijken niet alleen naar wat jij hebt gedaan, maar naar wat mensen zoals jij hebben gedaan. Ze zoeken naar verbanden – correlaties – in de data en voorspellen daarmee wat jij zal gaan doen. Daarbij zijn alle cijfers welkom, zolang ze maar goed voorspellen.

Zelfs hoe iemand de aanvraag formuleert, kan veel invloed hebben. Douglas Merrill van Zest Finance stelde in 2013 dat een aanmelding die alleen in hoofdletters is geschreven – of juist alleen in kleine letters – geldt als een indicatie van slecht betaalgedrag. Ook je koopgedrag of je socialemedia-accounts kunnen worden gebruikt om je betaalmoraal te voorspellen.

Ooit lieten bankiers hun beslissing om iemand al dan niet een lening te verstrekken beïnvloeden door vooroordelen over ras, sekse en klasse. De FICO-scores moesten daar een eind aan maken. Maar met bigdata-kredietscores lijken we weer precies hetzelfde te doen als die ouderwetse bankier: iemand beoordelen aan de hand van de groep waartoe hij of zij behoort.

Zo maken algoritmes vaak precies hetzelfde onderscheid als die ouderwetse bankier: laag- of hoogopgeleid, met of zonder baan, arm of rijk

Alleen worden die groepen nu gedefinieerd als de Hoofdletterschrijvers, de Koopjesjagers, de Vriendlozen. Kijk je onder het oppervlak van de cijfers dan zie je dat er weinig nieuws aan is. Het schrijven in hoofdletters is waarschijnlijk gecorreleerd met je onderwijsniveau. Het hebben van LinkedIn-contacten met het hebben van een baan. En waar je winkelt, zegt veel over je inkomen.

Zo maken algoritmes vaak precies hetzelfde onderscheid als die ouderwetse bankier: tussen laag- en hoogopgeleid, met en zonder baan, arm en rijk. Statistici noemen het correlaties, anderen noemen het vooroordelen.

Hoe zit het met correlatie en causaliteit nu we big data hebben? Volgens Chris Anderson, de voormalig hoofdredacteur van technologietijdschrift Wired, hoeven we ons daar geen zorgen meer over te maken. De verklaring voor bepaalde verbanden is onbelangrijk, schreef hij in 2008 in zijn invloedrijke artikel ‘The End of Theory’.

‘Googles basisfilosofie is dat we niet weten waarom deze webpagina [een] beter [zoekresultaat] is dan die: als de statistieken […] zeggen dat het zo is, is dat goed genoeg.’ Dat correlatie niet gelijk is aan causaliteit doet er volgens Anderson niet meer toe. ‘Petabytes staan het ons toe te zeggen: "correlatie is genoeg".’

Een naïeve uitspraak. Ook in het bigdatatijdperk is correlatie niet genoeg. Neem Google Flu Trends, het algoritme dat in 2008 met veel tamtam werd geïntroduceerd. Aan de hand van zoekopdrachten beloofde Google te kunnen voorspellen waar, wanneer en hoeveel griepgevallen er zouden komen.

Twee of drie jaar lang voorspelde het model vrij nauwkeurig wanneer en waar de griep zou toeslaan. Maar in de jaren die volgden zat het algoritme er steeds naast, met in 2013 het dieptepunt, toen het algoritme meer dan twee keer te veel griepgevallen voorspelde.

De bouwers van het algoritme hadden uit vijftig miljoen zoektermen de vijfenveertig gekozen die het sterkst correleerden met de bewegingen in de griepgolf. Vervolgens hielden ze de zoekacties op internet op die termen in de gaten. Dat klinkt logisch. Het probleem is echter dat als je maar lang genoeg zoekt, je altijd wel een verband vindt.

Sterker nog, juist bij big data heb je last van dit probleem. Want hoe meer datapunten je hebt, hoe meer verbanden je zult vinden die significant zijn. Zo vonden de onderzoekers een sterk verband tussen de zoekterm ‘high school basketball’ en de verspreiding van griep.

Een ander probleem met het algoritme was dat bouwers belangrijke ontwikkelingen negeerden. Veranderingen in het ontwerp van Googles eigen zoekmachine bijvoorbeeld. Zo liet de website vanaf 2012 mogelijke diagnoses zien als iemand ‘hoesten’ of ‘koorts’ opzocht. Een van die diagnoses? Griep. Hierdoor gingen mensen waarschijnlijk vaker op zoek naar informatie over de ziekte en overschatte het Googe Flu-algoritme de griepgolf.

Ook kredietbureaus, zoals we eerder zagen, doen aan voorspellen. In die voorspelling liggen net zo goed toevallige correlaties op de loer en kunnen belangrijke ontwikkelingen evenzeer roet in het eten strooien. Als eenmaal algemeen bekend wordt dat je bepaalde woorden in een aanmelding moet gebruiken, bijvoorbeeld, kunnen mensen daarop inspelen en zeggen de correlaties weinig meer.

Maar stel nu dat we ons in de toekomst over deze twee valkuilen geen zorgen meer hoeven te maken. Dat we manieren vinden om toevallige correlaties te herkennen en we veranderingen real time in de gaten houden. Kunnen we dan wél blind op cijfers vertrouwen?

Cijfers die de werkelijkheid niet vangen, maar vervangen

‘Ik ga echt niet jarenlang naar school als jij me toch niet wilt aannemen.’

‘Ik ga je niet aannemen als jij niet voldoende onderwijs hebt.’

In 2003 werd dit gesprek gehouden in de Amerikaanse staat Virginia. Het had een heftige discussie kunnen zijn tussen een werkgever en een sollicitant. Misschien werd de werkzoekende wel afgewezen op basis van huidskleur. Of had de werkgever een blik op het cv geworpen en geconcludeerd: onvoldoende onderwijs.

De sollicitant was alleen niet zwart, hij was paars. En de twee waren geen echte werkzoekende en werkgever, maar studenten. Ze deden mee aan een experiment van Harvard hoogleraar Roland Fryer en collega’s. Hun studie zou laten zien hoe snel een gelijke wereld kan ontsporen als je blind op cijfers stuurt.

In het experiment kregen studenten willekeurig een rol toegedeeld als ‘werkgever’, ‘groene werkzoekende’ of ‘paarse werkzoekende’. Elke ronde moest een werkzoekende kiezen of hij of zij zou investeren in haar of zijn eigen onderwijs of niet.

Aan de ene kant had zo’n investering een nadeel: de studenten ontvingen voor hun deelname aan het experiment een vergoeding maar als ze ‘onderwijs’ zouden kopen, moesten ze een deel van het geld inleveren. Maar zo’n investering verhoogde wel de kans op een hoge score op een bepaalde test, waardoor ze meer kans maakten op een baan. En dat werd weer beloond met een hóger bedrag.

De ‘werkgevers’ wilden het liefst ‘werkzoekenden’ met een hoge score, want een goed opgeleide werknemer leverde meer geld op. Toch was het nooit 100 procent duidelijk of de sollicitant daadwerkelijk onderwijs had genoten, want de testscore werd deels bepaald door geluk. En de werkgever kon alleen de testscore zien, niet het onderwijsniveau.

Zo lijkt het experiment op de werkelijkheid: een werkgever weet nooit zeker of een sollicitant geschikt is, maar kan het wel inschatten aan de hand van imperfecte graadmeters zoals schoolcijfers.

In de eerste ronde investeerden paarse werkzoekenden net wat minder geld in onderwijs. Dit had niets te maken met hun paarse kenmerk, want de kleur was willekeurig bepaald. In de volgende ronde konden werkgevers de statistieken inzien. Paarse werkzoekenden, dachten ze, konden ze beter niet hebben.

Toen de paarse deelnemers op hun beurt weer zagen dat hun groene collega’s vaker werden aangenomen, besloten ze minder te investeren. Want die investering leek niet hun kans op een baan te vergroten. Het resultaat: paarse deelnemers kregen steeds minder vaak een baan.

Het gekke was: iedereen gedroeg zich rationeel. Maar binnen twintig rondes ontstond een vicieuze cirkel, die uitmondde in een extreem ongelijke wereld. ‘Ik was verbaasd. De kids waren echt boos’, vertelde onderzoeker Fryer aan Tim Harford, die over het experiment schreef in zijn boek The Logic of Life. ‘De aanvankelijke ongelijkheden kwamen door toeval, maar mensen bleven zich eraan vastklampen en lieten niet meer los.’

De wereld is natuurlijk veel complexer. Maar het experiment illustreert: cijfers zijn zowel gevolg als oorzaak van hoe de wereld eruitziet. En hoe meer cijfers onze wereld gaan beheersen, zoals nu gebeurt met big data, des te meer zullen ze onze wereld veranderen.

Neem predictive policing, algoritmes die de politie inzet om uit te vinden wie er mogelijk crimineel is. Amerikaanse cijfers laten een duidelijk verband zien tussen zwarte arme jongemannen en criminaliteit. Op basis van die algoritmes zul je je als politie richten op de wijken en individuen die voldoen aan dit signalement.

Het gevolg? Etnisch profileren, waardoor ook veel onschuldige mensen worden aangehouden. En als je bepaalde mensen vaker aanhoudt, belanden ze automatisch vaker in de statistieken. De rijke witte criminelen zie je immers over het hoofd, want die vallen buiten je werkgebied. Niet vreemd dan, dat je ook in de volgende statistieken een – misschien nog wel sterker – verband ziet tussen huidskleur en criminaliteit.

Hetzelfde risico loop je bij kredietscores: mensen met bepaalde kenmerken krijgen moeilijker een lening dan anderen, waardoor deze mensen sneller in armoede terechtkomen, waardoor ze moeilijker een lening kunnen krijgen, waardoor ze nog sneller arm worden, enzovoorts.

De cijfers die de werkelijkheid hadden moeten vangen, hebben haar vervangen.

Wat wil je met cijfers bereiken?

Uiteindelijk draaien big data – net als kleine data – om dezelfde vraag: wat wil je met de cijfers bereiken?

We zagen eerder dat de Federal Trade Commission concludeerde dat een op de twintig kredietrapporten ernstige fouten bevatte. Consumer Data Industry Association (CDIA), de beroepsvereniging van onder meer kredietbureaus, zag dit als een positief bericht: 95 procent van de consumenten had immers geen last van fouten.

Maar is 5 procent nu veel of weinig? Het is maar net wat je beoogt met de scores. Kredietverstrekkers zijn over het algemeen commerciële partijen. Hun doelstelling: winst. Door die bril gezien is 95 procent inderdaad netjes. Of het rechtvaardig is, is voor hen minder belangrijk. De lener zien zij immers niet als klant, maar als product.

Daarom moeten we blijven opletten. Big data kunnen de wereld mooier maken. Kijk maar naar Jenipher, die dankzij een lening een beter bestaan kon opbouwen. Maar dezelfde algoritmes die mensen als Jenipher helpen, kunnen eeuwenoude ongelijkheden in stand houden en nieuwe creëren.

Het zijn dan ook niet de algoritmes die ‘goed’ of ‘slecht’ zijn, maar de manier waarop wij ze gebruiken. Daarom is het van levensbelang om mee te praten over de vraag: waar willen we de algoritmes voor gebruiken?

Algoritmes zullen nooit objectief zijn, hoe betrouwbaar de data ook mogen worden en hoe geavanceerd kunstmatige intelligentie ook zal zijn. Als we deze eigenschap van algoritmes vergeten, laten we morele beslissingen over aan mensen die toevallig een talent hebben voor computers. En die al programmerend beslissen over wat goed en fout is.

Dit artikel is een bewerkte versie van een hoofdstuk uit mijn boek Het bestverkochte boek ooit (met deze titel), dat op 30 oktober verschijnt. Voor meer informatie zie decorrespondent.nl/cijfers

Lees ook: