Deze wetenschappers luiden de noodklok: Big Data heeft een tegenmacht nodig

In juni 2012 meldt de 36-jarige Rus Alexander Dolmatov zich bij een asielzoekerscentrum. Dolmatov is in zijn moederland gearresteerd bij een demonstratie tegen president Vladimir Poetin. Hij vreest voor zijn leven.

In december 2012 bepaalt de IND dat de asielzoeker niet in Nederland mag blijven. Dolmatovs advocaat gaat in beroep. Alleen: INDiGO, het systeem dat de IND gebruikt, registreert dit niet. Het vakje dat in dit geval moet worden aangevinkt, werkt niet. Een softwarefout. Volgens INDiGO is Dolmatov ‘verwijderbaar.’

Een paar weken later bellen medewerkers van het asielzoekerscentrum de politie. Dolmatov is dronken, verward en suïcidaal. De agenten brengen hem naar een opvanglocatie in Dordrecht. Hierna wordt Dolmatov overgebracht naar het Detentiecentrum Rotterdam om te worden uitgezet. Zijn advocaat wordt niet ingelicht. Vier dagen daarna vinden medewerkers Dolmatov dood in zijn cel. Zelfmoord.

De Inspectie Veiligheid en Justitie velt later een vernietigend oordeel. ‘Het onzorgvuldig handelen [...] is niet alleen toe te schrijven aan het handelen of nalaten van functionarissen, maar ook aan de afhankelijkheid van - en het vertrouwen in - de systemen, procedures en formulieren,’ schrijft de Inspectie. En die bevatten te vaak ‘summiere, onduidelijke en soms zelfs onjuiste informatie’ - terwijl ze ook nog eens ‘onderling onvoldoende accuraat en actueel op elkaar aansluiten.’ En, last but not least: deze ‘systeemomissies’ zijn bekend.

Het cruciale rapport dat zo’n dramatische fout al had voorspeld

Eén vakje dat niet aangevinkt kon worden en gebrekkige communicatie tussen verschillende overheidsinstanties. Het klinkt als een ongelukkige samenloop van omstandigheden. Maar in retrospect leest een cruciaal rapport dat twee jaar voor Dolmatovs dood werd geschreven als een angstaanjagende voorspelling van de zelfmoord.

Dennis Broeders en Corien Prins waren beiden in 2011 co-auteur van dit rapport, iOverheid, van de Wetenschappelijke Raad voor het Regeringsbeleid (WRR). Na jaren onderzoek kwamen zij tot de conclusie dat het erbarmelijk is gesteld met de manier waarop de Nederlandse overheid omgaat met de privégegevens van alle Nederlanders. De overheid voert handige digitale ontwikkelingen in, zoals online belastingaangifte en DigiD. Tegelijkertijd tuigt zij honderden digitale databases en applicaties op om maatschappelijke problemen op te lossen, zoals het Elektronisch Kind Dossier.

Maar wat daarbij over het hoofd wordt gezien, stelden de auteurs, is de samenhang tussen deze systemen. Losse databases en systemen zijn aan elkaar gekoppeld. Informatie stroomt van de ene database naar de andere, van het ene overheidsorgaan naar het volgende.

Niemand is verantwoordelijk voor het geheel aan datastromen. Er is geen enkel overzicht, geen overkoepelende visie, te weinig transparantie en veel te weinig mogelijkheden voor burgers om grip te krijgen op hun privégegevens. En bij het verzamelen en koppelen van informatie worden fouten gemaakt. Fouten mét consequenties.

De dood van Dolmatov is een tragische uitzondering, de fouten die eraan ten grondslag lagen, zijn systemisch.

Van burgers die onterecht geregistreerd staan als crimineel en dit maar niet weten te herstellen tot Nederlanders die uitgeschreven worden uit het bevolkingsregister en daardoor geen aanspraak meer kunnen maken op hun rechten. Van zzp’ers die per abuis als fraudeurs bestempeld worden door een foutieve databasekoppeling tot Alexander Dolmatov.

Die fouten, waarschuwden de auteurs in iOverheid, zijn geen uitzonderingen. ‘Over de hele linie moet de assumptie dat informatie juist is vervangen worden door het besef dat de informatie op onderdelen hoogstwaarschijnlijk niet accuraat, verouderd en soms zelfs misbruikt en gemanipuleerd zal zijn.’ En de burger? Die raakt verstrikt in die informatiestromen. De dood van Dolmatov is een tragische uitzondering, de fouten die eraan ten grondslag lagen, zijn systemisch.

Voor ons, journalisten die over onderwerpen als privacy en overheidssurveillance schrijven, was iOverheid in 2011 een enorme eyeopener. We schrokken van de harde lessen die de auteurs erin trokken. Voor het boek over privacy en surveillance waar wij nu aan werken, putten wij gretig uit de inzichten uit iOverheid. Wij zijn benieuwd hoe de auteurs terugkijken op het rapport en wat er in hun ogen de afgelopen jaren is veranderd.

We ontmoeten Dennis Broeders en Corien Prins in Villa Augustus, een oude Dordtse watertoren die tegenwoordig dienstdoet als hotel en restaurant. Prins is hoogleraar recht en informatisering aan de Tilburg University en decaan van de rechtenfaculteit. Broeders is bijzonder hoogleraar Technologie en Samenleving aan de Erasmus Universiteit Rotterdam. Het is een plek waar beiden warme herinneringen aan bewaren. Hier kwamen zij jaren geleden samen om te werken aan hun rapport.

Corien Prins (1961) - kort haar, scherpe blik - trapt af met een anekdote. Enkele maanden geleden sprak zij met een hoofdcommissaris van de politie. Hij vertelde dat hij verwachtte dat grote delen van de informatie over burgers die de politie in 2020 tot haar beschikking heeft, afkomstig zijn van digitale observatie. Deze data worden voornamelijk aangeleverd door de private sector. De hoofdcommissaris zei tegen Prins dat hij vanuit de ideeën over de iOverheid wilde nadenken over de grenzen daarvan en de manier waarop hij zijn organisatie hiervan kon doordringen. Binnen de politie is het rapport invloedrijk geweest, concludeert Prins. ‘Alleen heeft de politiek zich er weinig van aangetrokken.’

Dennis Broeders (1974) - jongensachtig uiterlijk - vult aan: ‘Dat enorme techno-optimisme, waarbij voor ieder probleem een database moet worden opgericht en informatie moet worden uitgewisseld, is nog steeds alive and kicking. Ict zit bij de meeste politici gewoon nog in de instrumentendoos. We hebben pennen, potloden, paperclips én ict.’

Terwijl het belangrijkste inzicht van hun rapport juist was: deze iOverheid groeit en groeit maar, semi-autonoom, database voor database. ‘Dat besef ontbreekt volledig,’ zegt Broeders. ‘Er is niemand die zegt: deze databases met gevoelige medische informatie gaan gekoppeld worden aan andere databases, wat vinden wij daar eigenlijk van?’

Vijf jaar later: de enorme rol van Big Data

Vijf jaar later is er bovendien een cruciale technologische ontwikkeling bij gekomen: Big Data. Speelde deze ontwikkeling in hun iOverheid-rapport nog geen noemenswaardige rol, recent richtten beide hoogleraren hun aandacht op Big Data. Waar Big Data precies voor staat, daar zijn de meningen over verdeeld, maar in essentie gaat het over enorme hoeveelheden gegevens die worden geanalyseerd en waaruit lessen worden getrokken over het gedrag van grote groepen mensen. De afgelopen jaren heeft de Nederlandse overheid allerlei Big Data-toepassingen omarmd. Van inlichtingendiensten die er terroristen mee pogen op te sporen tot de Belastingdienst en het ministerie van Sociale Zaken die er fraudeurs mee proberen te detecteren.

Een Big Data-overheid, ontdekken wij tijdens het gesprek met de twee professoren, is een iOverheid on steroids. Broeders en Prins sommen enkele fundamentele problemen op.

Zo vereist de analyse van grote datasets kennis van statistiek en algoritmes. Juist in Big Data-sets zitten bijvoorbeeld veel vuile en incomplete data - ‘ruis’, in de woorden van Broeders. Daar kun je voor compenseren als je iets wilt zeggen over groepen mensen, maar die conclusies zijn niet zomaar door te trekken naar individuen. En dat is precies wat politici wel graag willen, zegt Broeders. ‘Er kan veel goeds uit Big Data-analyses komen, mits je rekening houdt met de beperkingen. Maar ga dat maar eens aan een politicus uitleggen. Voordat je bij het woord ‘ruis’ bent aanbeland, is het gesprek al klaar.’ Een terrorist opsporen met datamining? Nee dus. ‘Er zijn te weinig data om een betrouwbaar profiel te maken, een terrorist is een té grote uitzondering. Maar die kennis hindert een hele hoop mensen niet.’

Corien Prins: ‘Er is de laatste jaren heel veel wetenschappelijke kennis opgebouwd over algoritmen en datamining. Maar de wetenschappelijke wereld zit niet aan tafel als dergelijke systemen worden opgetuigd. De techniek die wel aanschuift in Den Haag bestaat uit dezelfde bekende commerciële bedrijven die dit soort systemen altijd voor de overheid bouwen.’

Dennis Broeders: ‘Wet- en regelgeving is gericht op het verzamelen en delen van informatie, niet op de analyse of het gebruik: wat doet men met die data? De meeste Big Data-systemen van de overheid, en zeker die voor opsporings- en veiligheidsdiensten, zijn black boxes. Niemand bij de overheid begrijpt echt hoe ze werken. Daar komt nog bij dat private partijen die algoritmen bouwen. Ze zijn bedrijfsgeheim. Om het even dramatisch aan te zetten: een overheidssysteem dat uiteindelijk ingezet wordt op basis van de zwaardmacht van de overheid, heeft een kern, een algoritmisch hart, waar de overheid zelf ook niet in mag kijken.’

Corien Prins: ‘Juist, maar we willen wel dat de black boxes die door private partijen gemaakt zijn geopend worden. Desnoods in de rechtszaal. En dan kom je op het volgende probleem. Onze rechterlijke macht is onvoldoende in staat om dit te doordenken, te doorzien en aan de kaak te stellen. Als je rechters hebt die er geen verstand van hebben, dan ben je als tegenmacht niet geëquipeerd om deze ontwikkeling te controleren en eventueel een halt toe te roepen.’

De meeste Big Data-systemen van de overheid zijn black boxes. Niemand begrijpt echt hoe ze werken

Dennis Broeders: ‘Dit geldt ook voor de externe toezichthouders, zoals de toezichthouder op de inlichtingendiensten, de CTIVD, en de Autoriteit Persoonsgegevens. Daar werken voornamelijk juristen die niet naar de technologie kijken, maar alleen de rechtmatigheid beoordelen. Zij kijken naar de voorkant van het proces, in plaats van naar de achterkant. Dat is ook hun taak, maar die taak past steeds slechter bij hoe de wereld zich ontwikkelt.’

Corien Prins: ‘Wat ik het meest vrees, is dat steeds meer van die systemen geautomatiseerd werken. Dat de mens er überhaupt niet meer aan te pas komt. Dat een rechtbank een volledig geautomatiseerde uitspraak doet. Dat is hét doemscenario. Want op een gegeven moment is het uit je handen, dan heb je er niets meer over te zeggen.’

Dennis Broeders: ‘Ja, in het Amerikaanse rechtssysteem gebruiken ze geautomatiseerde data-analyse om de kans op recidive te berekenen. Ze crunchen de data en bepalen zo of iemand wel of niet vervroegd vrijkomt. Ik krijg een knoop in mijn maag als ik dat hoor.’

Dan zegt Corien Prins opeens: ‘Ik begin er steeds meer van overtuigd te raken dat wij niet meer zo sterk moeten leunen op de rechten van de burger.’ Dat klinkt hard, maar haar redenering is als volgt. Burgers hebben volgens de wet controle over hun eigen persoonsgegevens. Er bestaat een recht op inzage van je gegevens bij bedrijven en overheden en de mogelijkheid om fouten te corrigeren. ‘Op papier is dat heel goed geregeld,’ zegt Prins, ‘maar in de praktijk kun je daar niets meer mee. Ik heb mijn studenten weleens als studieproject een inzageverzoek laten doen bij overheden en bedrijven. Ze keerden gefrustreerd terug, velen kregen überhaupt niet eens antwoord, laat staan inzage in hun gegevens. Dat recht werkt gewoon niet. We leggen de verantwoordelijkheid nu te veel bij de burger zelf, terwijl die burger niet zoveel kan doen.’

Prins noemt de nieuwe Europese regels voor de bescherming van persoonsgegevens die over twee jaar van kracht worden. Hier ging een enorm lobbyproces aan vooraf, waarop veel invloed is uitgeoefend door technologiebedrijven als Google. ‘Die bedrijven werden veel sterker vertegenwoordigd dan de belangen van de burger. Tegenover dergelijke machten moet een tegenmacht van hetzelfde niveau komen, sterke en slagvaardige onafhankelijke toezichthouders en een rechterlijke macht die goed geëquipeerd is.’

Dennis Broeders: ‘Eens. In ons Big Data-rapport schrijven we daarom dat de bewijslast moet liggen bij de partij die data gebruiken en niet andersom, zoals nu, bij de burger. Partijen die data over ons verwerken moeten kunnen uitleggen waarom jij in een bepaald hokje bent geplaatst. Dat zou verankerd moeten worden in de wet.’

Een voorwaarde voor een sterke tegenmacht, zeggen beide hoogleraren, is dat er afscheid wordt genomen van de dominante visie op privacy: dat het een puur individuele aangelegenheid is. Alleen dan, als privacy ook gezien wordt als een collectieve waarde, zal de politiek zich er serieus iets van aantrekken.

Maar ja, leg dat maar eens uit.

Corien Prins: ‘Als ik een lezing geef, zeg ik dit: stel dat we allemaal zouden zeggen: ‘Ik heb niets te verbergen.’ De optelsom daarvan is dat we privacy afschaffen. Dat wil niemand. Of stel dat iedereen zou zeggen: ik heb geen behoefte aan de vrijheid om mij in het openbaar te uiten. De optelsom is dan dat we de vrijheid van meningsuiting afschaffen. En dat willen we ook niet. Als ik dit vertel, ontstaat er altijd een discussie. Het is niet de verantwoordelijkheid van de individuele burger. Het is óók het type samenleving dat wij willen zijn en daarbij hoort een overheid die voor privacy moet staan.’

Dennis Broeders: ‘Dat privacyschendingen niet zo sterk gevoeld worden, komt beleidsmakers ook wel goed uit. Risico is de impact maal de kans dat het voorkomt. Neem de atoombom. De kans daarop is niet groot, maar als het gebeurt, dan is de impact immens. Privacyschending zit helemaal aan de andere kant. Het komt duizenden keren per dag voor, maar de impact is meestal klein. Je hebt er als individu weinig last van. Het is makkelijk te denken: het gaat om kleine dingetjes: waar heb je het over? Maar als je het bij elkaar optelt, heb je een knettergroot maatschappelijk risico.’

Kansen en verantwoordelijkheden

Beiden benadrukken dat Big Data ook belangrijke, mooie toepassingen kunnen hebben. ‘Je ziet dat Big Data voornamelijk ingezet worden aan de repressieve kant, in veiligheid en in efficiency, terwijl er ook andere wegen te bewandelen zijn,’ zegt Dennis Broeders. ‘Je zou ook kunnen kijken hoe Big Data meer in het voordeel van de burger kunnen werken.’

Corien Prins: ‘Nee, zo makkelijk moeten we het de overheid niet maken. Met die nieuwe kennis uit Big Data krijgt de overheid er een nieuwe verantwoordelijkheid bij. Soms vraag ik me af of we met privacy niet gewoon de verkeerde discussie voeren, een die wij toch al min of meer verloren hebben. We zouden een discussie moeten voeren over wat we van een overheid mogen verwachten die zoveel over ons weet. Een voorbeeld. De Belastingdienst kan met 70 procent waarschijnlijkheid voorspellen welke mkb’ers volgend jaar failliet gaan. De fiscus kan met die kennis jou daadwerkelijk failliet laten gaan, maar kan de toekomst ook te vlug af zijn door jou de helpende hand te bieden.’

Dennis Broeders: ‘Het is wel vrij vervelend als je tot die 30 procent behoort en je de Belastingdienst over de vloer krijgt die je vertelt: u gaat volgend jaar failliet, terwijl dat niet zo is.’

Je zou ook kunnen kijken hoe Big Data meer in het voordeel van de burger kunnen werken

Corien Prins: ‘Waarom mogen we die discussie niet voeren? Zorgverzekeraars weten bijvoorbeeld op basis van Big Data-analyse dat mensen die in hun naaste omgeving een verlies te verwerken hadden en binnenkort een operatie moeten ondergaan, waarschijnlijk minder dagen ziekenhuisopname nodig zullen hebben als zij voorafgaand aan de operatie een gesprek met hun huisarts hebben. Waarom zou het erg zijn als de verzekeraar die kennis gebruikt en mensen adviseert de arts te bezoeken?’

Dennis Broeders: ‘De toepassing van Big Data in verzekeringen kan een heel groot probleem opleveren. Als je via data-analyse steeds scherper de goede en de slechte risico’s van elkaar kunt onderscheiden, is dat de bijl aan de wortel van de solidariteit die onder elk verzekeringssysteem ligt. Juist dat je niet weet hoe het je zal vergaan, maakt solidariteit mogelijk. Hoe meer Big Data de toekomst zegt te kennen, hoe lastiger dat wordt.’

Het gesprek over Big Data en privacy moet kantelen, zeggen beiden. Om de politiek van die noodzaak te doordringen, zouden verschillende organisaties en partijen de handen ineen moeten slaan, zegt Dennis Broeders. ‘Het is essentieel dat er nu een coalitie ontstaat. Je ziet wel dat daar momentum voor is. Amnesty International is bijvoorbeeld nu het onderwerp aan het verkennen.’

Corien Prins: ‘Die coalitie is er wel. De grote vraag is: kunnen we de politiek wakker schudden?’

Meer interviews over privacy: