In Den Haag stond vandaag een algoritme voor de rechter.

Het zogeheten Systeem Risico Indicatie (SyRI) is sinds 2014 en moet allerlei soorten fraude met sociale voorzieningen opsporen. Met je uitkering, bijvoorbeeld, of je belastingen.

Daarvoor combineert SyRI allerlei databronnen – van gemeenten, UWV, de Sociale Verzekeringsbank, de Belastingdienst – en gooit die in een algoritme. Daaruit rollen verdachte personen (pardon, die onder de loep worden genomen omdat ze een verhoogd frauderisico zouden vormen. Ook de politie en het Openbaar Ministerie hebben toegang tot de analyses van SyRI.

Een coalitie van clubs als Privacy First en de FNV sleepte de staat voor de rechter. Ook schrijvers Maxim Februari en Tommy Wieringa sloten zich En vandaag bleek: SyRI is inderdaad in strijd met de wet, zo Volgens de rechter druist SyRI onder meer in tegen het Europees Verdrag voor de Rechten van de Mens, dat bepaalt dat elke burger recht heeft op bescherming van

Daarmee slaat de rechter een deuk in SyRI. Maar de uitspraak is ook belangrijk in de strijd tegen een grotere ontwikkeling: de digitalisering van de verzorgingsstaat. We zagen bij de toeslagenfraude al hoe machtig een computersysteem kan zijn. En ook buiten Nederland zie je een wildgroei aan dit soort systemen.

Overal ter wereld rukt de digitale verzorgingsstaat op. En deze zaak is een van de eerste die het tij kunnen keren.

Een digitale dystopie

‘Er bestaat een ernstig risico om zombie-achtig een dystopische digitale verzorgingsstaat binnen te strompelen.’

Deze woorden komen niet uit een ronkende column of een alarmistisch pamflet. Ze komen uit van de Verenigde Naties uit oktober 2019. Niet bepaald een plek waar je verwacht. Maar Philip Alston, de VN-Speciaal Rapporteur voor extreme armoede en mensenrechten, maakt zich ernstige zorgen.

Hij schrijft over Universal Credit, de eerste overheidsdienst in het Verenigd Koninkrijk die ‘digital by default’ is. Dat betekent dat mensen online hun uitkering moeten aanvragen, online moeten aantonen dat ze hebben gesolliciteerd, online bewijsstukken moeten aanleveren.

Alleen: 22 procent van de Britse bevolking heeft niet voldoende digitale vaardigheden, schrijft Alston, en nog eens 19 procent kan nog niet eens een app openen. De helft van de arme bevolking Zij worden buitengesloten van de verzorgingsstaat.

Ook noemt hij Australië, waar de overheid verregaande automatisering doorvoerde om te berekenen wie te veel aan uitkering of andere toeslagen had ontvangen. Signaleerde de overheid voorheen 20.000 onterechte betalingen per jaar, ten tijde van het ‘Robodebt’-programma werden dat wel

Prompt kregen mensen dikke boetes in de brievenbus. Niet de overheid, maar zijzelf moesten bewijzen dat de beschuldiging onterecht was. Intussen is duidelijk: het systeem klopte niet. De rechter besloot dat de methode achter de berekening Dat kan betekenen, dat wel 300.000 aantijgingen moeten worden ingetrokken en zoveel als moet worden terugbetaald.

Zo geeft Alston meer voorbeelden, van India tot Canada, van Zuid-Afrika tot Zweden. Telkens weer laat hij zien: de digitalisering van de verzorgingsstaat laat arme mensen in de kou staan. Dit is niet zomaar een beetje zielig, nee, hun mensenrechten lopen gevaar.

Welk voorbeeld Alston ook noemt? Nederland.

Een van de eerste rechtszaken in zijn soort

Alston noemt SyRI niet alleen in zijn rapport, maar besloot zich zelfs te mengen in de rechtszaak. In aan de rechtbank in Den Haag drukte hij de rechter op het hart het systeem kritisch te beoordelen vanwege de negatieve impact op de mensenrechten van arme en kwetsbare groepen in Nederland.

‘Ondanks de wereldwijde beweging naar een digitale overheid is er nog verbazingwekkend weinig jurisprudentie op dit gebied’, vertelt Christiaan van Veen, die als adviseur met Alston samenwerkt en leiding geeft aan het ‘De zaak tegen SyRI is bij mijn weten een van de eerste waarin een dergelijk systeem om uitkeringsfraude op te sporen op grond van mensenrechtenverdragen wordt betwist.’

Laten we daarom SyRI beter bekijken om die wereldwijde ontwikkeling – en de tegenbeweging – te begrijpen.

‘Laat mij eruit’

Je zit in een verhoorkamer. Daar, zittend onder het tl-licht, word je stevig ondervraagd. Er hangt een spiegel. Daarachter staat iemand, denk je. Wie het is, geen idee. Wat die daar doet, geen idee.

Het is een scène die je vast weleens hebt gezien in Flikken Maastricht of Baantjer. Maar het is ook een scène door Maxim Februari – bekend schrijver, filosoof en jurist – bij de lancering van de rechtszaak tegen SyRI begin 2018.

‘De paradox van de openheid’, noemde Februari het. De overheid weet alles van ons, wij weten niets van de overheid. Rond SyRI is belachelijk weinig bekend. Welke data worden gebruikt, van wie, op welke manier ze verwerkt worden… ‘De overheid hecht aan haar privacy’, merkte hij droogjes op.

De samenleving wordt langzamerhand een verhoorkamer met een wil hij maar zeggen. Daarom is Februari mede-eiser geworden in de rechtszaak. Omdat hij die ene vraag wil stellen: ‘Laat mij eruit.’

Februari geeft vier redenen, die opgaan voor SyRI maar ook voor digitale verzorgingsstaten wereldwijd.

1. Het bevordert een gevoel van onveiligheid

SyRI is tot nu toe vijf keer ingezet: in Eindhoven, Haarlem, Capelle aan den IJssel en twee keer in Rotterdam. In de Rotterdamse wijken Bloemhof en Hillesluis zijn bijvoorbeeld 12.000 adressen bekeken. Het orwelliaans genaamde ‘Inlichtingenbureau’ liet er een algoritme op los,

Welke data gebruikt zijn? Onduidelijk. Wettelijk gezien mogen er gegevens worden gebruikt, die vervolgens ook nog eens zo breed gedefinieerd zijn als ‘arbeidsgegevens’, ‘huisvestingsgegevens’ en ‘schuldenlastgegevens’. Dat is heel breed, vond ook de Rechtbank: ‘Er valt nauwelijks een persoonsgegeven te bedenken dat niet in aanmerking komt voor de verwerking in SyRI.’

Welke modellen voor het vaststellen van de ‘verwonderingen’ gebruikt zijn? Weer onduidelijk. Die modellen worden met opzet geheimgehouden. Volgens staatssecretaris Tamara van Ark van Sociale Zaken en Werkgelegenheid zouden anders De landsadvocaat gaf bij een eerdere zitting het voorbeeld van laag waterverbruik, wat erop zou kunnen wijzen dat iemand op een ander adres woont. Weet diegene dat zulke data worden gebruikt, dan laat hij of zij voortaan gewoon de kraan wat langer openstaan.

Maar weten de mensen dan tenminste dat ze onder de loep zijn genomen? Weer een nee. Maureen van der Pligt van de FNV concludeerde in ‘Veel bewoners bleken helemaal niet te ­weten dat hun gegevens zijn onderzocht.’ Je krijgt geen bericht; als SyRI ergens wordt ingezet, verschijnt alleen een berichtje in de Staatscourant – niet bepaald de krant van wakker Nederland.

Stel je voor: op elk moment zou een of ander datapunt over jou op een of andere manier kunnen leiden tot een verdenking

Stel je voor: op elk moment zou een of ander datapunt over jou op een of andere manier kunnen leiden tot een verdenking. Misschien heb je een burn-out gehad en blijkt dat een fraudevoorspeller (‘re-integratiegegevens’); heb je een ontluikende relatie en slaap je daarom weinig thuis (‘huisvestingsgegevens’); of heb je een foutje gemaakt bij je belastingaangifte (‘fiscale gegevens’).

Dit is wat Februari bedoelt met de verhoorruimte: je wordt constant in de gaten gehouden. Het is nu waarschijnlijk niet zo, maar de wet SUWI – waarin SyRI is opgenomen – maakt dit soort permanente surveillance mogelijk. Het gevolg: burgers voelen zich niet veiliger, maar onveiliger in de samenleving.

De rechter is het eens met de eisers dat het veel te onduidelijk is hoe het systeem werkt. ‘Zij oordeelt dat de wetgeving wat betreft de inzet van SyRI onvoldoende inzichtelijk en controleerbaar is’, staat er in het vonnis. En ze verwees ook naar het ‘chilling effect’. ‘Zonder vertrouwen in voldoende privacybescherming zullen burgers minder snel gegevens willen verstrekken of zal daarvoor minder draagvlak bestaan.’

2. Het werkt niet

De tweede reden van Februari: SyRI werkt niet. Sinds Februari’s speech heeft het bewijs hiervoor zich alleen maar verder opgestapeld. De Volkskrant maakte vorig jaar een rondgang langs de projecten en kwam tot de conclusie:

Vaak kwam het niet eens tot dataverzameling: in Eindhoven waren er technische problemen, de voorbereiding in Haarlem duurde te lang en voor de Afrikaanderwijk in Rotterdam was er onvoldoende capaciteit.

Bij geen van de 41 adressen die in Capelle aan den IJssel uit het systeem rolden, kwam er een vervolgonderzoek. En die data uit Bloemhof en Hillesluis? Na onenigheid over de doeleinden besloot de Rotterdamse burgemeester Ahmed Aboutaleb de stekker uit het project te trekken.

Vergelijkbare systemen laten ook nog eens zien: er worden fouten gemaakt. In Zweden werd in 2019 een digitaal systeem voor werklozenuitkeringen teruggedraaid, toen bleek dat tussen de 10 en 15 procent van de geautomatiseerde beslissingen

In Ontario, Canada, werd het Social Assistance Management System (SAMS) gebruikt om in te schatten of mensen recht hadden op een uitkering. De waarbij hij verwachtte dat er nog zo’n aan vergissingen zou moeten worden rechtgezet.

Op de effectiviteit van SyRI ging de rechter vandaag niet in. Logisch ook, want zelfs als een systeem wel ‘werkt’, kan het problematisch zijn.

3. Het is oneerlijk en onrechtvaardig

Februari vertelt hoe hij laatst zo’n twee weken rondreed in een auto met een kapot dimlicht. Geen politie die ernaar kraaide. Een Roemeense pompbediende en automonteur van Marokkaanse afkomst schoten hem uiteindelijk te hulp bij een verlaten tankstation. ‘Kijk maar uit, je kunt er geen dag mee rondrijden’, drukten ze hem op het hart.

Niet elke Nederlander wordt in dezelfde mate doorgelicht. SyRI is letterlijk alleen maar ingezet in achterstandswijken.

Dit is een breder probleem met data: ga je alleen op bepaalde plekken zoeken, dan zul je ook alleen op bepaalde plekken iets vinden. Dan kun je vervolgens naar de data wijzen en zeggen – hé, zie je wel, fraude komt vooral voor in dat soort buurten. Laten we daar maar vaker zoeken. Terwijl andere overtredingen – denk aan Februari’s kapotte dimlicht – nergens in de data zijn terug te vinden.

De rechter ziet ook bij SyRI ‘het risico dat met de inzet van SyRI onbedoeld verbanden worden gelegd op basis van zoals een lagere sociaal-economische status of een immigratieachtergrond’.

‘Maar in arme wijken zijn toch ook meer uitkeringen?’ vraag ik aan Van Veen, de adviseur die met Alston samenwerkte. ‘Klopt, maar in Bloemendaal ontvangen mensen weer vaker hypotheekrenteaftrek en andere belastingvoordelen, daar is ook mee te frauderen.’

Hij verwijst ook naar een pilot bij de Belastingdienst, die kentekens scande om te controleren op fraude met de bijtelling op leaseauto’s. Dat werd al snel teruggedraaid omdat er sprake was van inmenging ‘Bij SyRI is er sprake van een veel significantere inbreuk op de privacy van inwoners van armere wijken’, zegt Van Veen. ‘Hele buurten en hun inwoners elektronisch surveilleren mag, maar nummerborden scannen op openbare wegen gaat de overheid blijkbaar te ver. Dat is meten met twee maten.’

Het lijkt erop alsof sommige mensen meer recht hebben op privacy dan anderen

Zo lijkt het erop alsof sommige mensen meer recht hebben op privacy dan anderen. Kijk ook eens naar programma’s in Nieuw-Zeeland, Australië en Zuid-Afrika waar uitkeringen alleen beschikbaar zijn via aparte elektronische betaalpassen. Dat maakt het een stuk gemakkelijker om betaalgegevens te verzamelen en gebruiken.

SyRI past – net als de toeslagenfraude – bij het beeld van de arme burger als ‘uitkeringstrekker’ of die in de gaten moet worden gehouden. Niet als iemand met rechten, goede bedoelingen en waardigheid. Zo ontstaat een digitale onderklasse.

Het recht op privacy betekent niet alleen dat een inmenging van de staat in iemands privéleven een gedegen wettelijke basis moet hebben, maar ook dat er volgens het Europees Verdrag voor de Rechten van de Mens een ‘fair balance’ moet zijn. Kortom: doel en middelen moeten in verhouding zijn.

Het doel – bestrijden van fraude – vond de rechtbank ‘legitiem’, omdat het bijdraagt aan het economisch welzijn. Maar aan de redelijke verhouding tussen doel en middel voldoet SyRI niet, was het oordeel. Er zijn ‘onvoldoende waarborgen om te kunnen spreken over een voldoende gerechtvaardigde inmenging in het privéleven in het geval van de inzet van SyRI.’

4. Het is onvolwassen

Het verontrustende van SyRI en dit soort digitale systemen, zegt Februari, ‘is de naïviteit van de gebruikers en degenen die het opzetten en inzetten.’ De systemen worden gezien als makkelijk inzetbare speeltjes, waarvan de gebruikers de consequenties onvoldoende lijken te bevatten.

De overheid beschouwt de digitalisering van de verzorgingsstaat als een technisch onderwerp, dat gemakkelijk kan worden uitbesteed aan het bedrijfsleven. Maar Big Tech houdt geen rekening met mensenrechten, stelt ook de VN-rapporteur in zijn rapport. ‘Big Tech operates in an almost human rights free-zone.’

Systemen als SyRI gaan over de kern van de democratische rechtsstaat. In hoeverre mag je individuele rechten inperken? Hoe balanceer je rechtvaardigheid met veiligheid? Hoe ga je om met mensen die het minder goed hebben getroffen? Dit zijn geen statistische, maar politieke vragen.

Toch zat geen Kamerlid op te letten toen SyRI in 2014 werd doorgevoerd. De Tweede Kamer was grotendeels leeg, de voorzitter meldde dat de nieuwe wet ‘zonder beraadslagen en zonder stemming aangenomen’ was. Ondanks een kritisch advies van zowel de Raad van State als het was SyRI een hamerstuk.

Laten we hopen dat de SyRI-rechtszaak zulke belangrijke vraagstukken weer bij de politiek legt. Niet alleen in Nederland, maar ook internationaal. De eisers haalden internationale mensenrechtenverdragen aan die in veel landen van toepassing zijn. De SyRI-uitspraak kan dus ook in die landen relevantie hebben.   

Volgens Maxim Februari wacht ons een eeuw waarin machines steeds meer beslissingen zullen nemen en moeten we dus nu gaan nadenken wat dit voor de rechtsstaat betekent.

‘Dit hele SyRI – in het geniep met geheime modellen naar burgers gaan zitten loeren – is niet het begin zo’n volwassen eenentwintigste-eeuws rechtsdenken. Dat is precies waarom ik uit die kamer weg wil: ik wil naar een veilige en volwassen toekomst.’

An algorithm was taken to court – and it lost (which is great news for the welfare state) Read this article in English Op de hoogte blijven van mijn artikelen? Als correspondent Ontcijferen onderzoek ik de getallenwereld. In mijn wekelijkse mail houd ik je op de hoogte van wat ik schrijf, hoor en lees. Een vast onderdeel: #NerdAlert, voor de getallenliefhebbers. Schrijf je in voor mijn nieuwsbrief