Is AI nou zo slim, of zijn wij nou zo dom? Een goed gesprek over de (on)veiligheid van AI

Het was een boeiend gesprek tussen Rishi Sunak en Elon Musk. Begin november zaten de Britse premier en de Zuid-Afrikaanse techbaas samen op het podium van de AI Safety Summit in het Verenigd Koninkrijk te praten over de gevolgen van kunstmatige intelligentie. Sunak stelde nederige vragen en Musk grossierde in groteske antwoorden (‘AI maakt al het werk overbodig’).

Roel Dobbe had in zijn werkkamer aan de TU Delft geïntrigeerd naar zijn scherm gekeken. De veiligheidsonderzoeker was meer geboeid door het gegeven dát Musk de hoofdgast was op deze internationale bijeenkomst dan door de inhoud van het gesprek. De top ging over de veiligheid van kunstmatige intelligentie, over AI safety, over de vraag wat te doen tegen de vermeende risico’s van deze technologie. En Musk is zo ongeveer de antichrist voor academische veiligheidsonderzoekers als Dobbe.

Dat zit ’m in Musks ‘erbarmelijke staat van dienst’ op het gebied van veiligheid. De baas van X en Tesla staat erom bekend zich weinig aan te trekken van wettelijke veiligheidsnormen – en ook het advies van zijn veiligheidsadviseurs  negeert hij graag.

Het zit ’m ook in Musks overtuiging dat kunstmatige intelligentie een existentieel risico vormt,^* dat de technologie een eigen wil kan ontwikkelen en de mensheid uit kan roeien.

Kul, vindt Dobbe.

Het idee is dat als de softwarecode en de modellen veilig zijn, het veiligheidsboxje is afgevinkt en de risico’s zijn afgewend

Maar het zit ’m er vooral in dat Musk een benadering van veiligheid vertolkt die het tegenovergestelde is van de benadering waar Dobbe voor staat. Musks visie op veiligheid – de ‘AI-safety-benadering’ – ziet veiligheid vooral als technologisch vraagstuk. De aanhangers ervan willen veiligheid in de AI-modellen en software programmeren, zoals Musk ook de veiligheidsissues van zijn Tesla via de software denkt op te kunnen lossen. Het idee is dat als de softwarecode en de modellen veilig zijn, het veiligheidsboxje is afgevinkt en de risico’s zijn afgewend.

Dobbes discipline – het academisch veld van de systeemveiligheid, dat zijn oorsprong kent in de luchtvaartindustrie – ziet veiligheid daarentegen als een ‘emergente’ eigenschap, wat zoveel betekent als dat risico’s van technologie in de praktijk ontstaan. Dan draait het dus niet alleen om hoe het systeem technisch in elkaar zit, maar ook om hoe het ‘interacteert’ met de werkelijkheid. Met gebruikers, met wetgeving, met de bedrijfscultuur.

Neem de twee vliegtuigcrashes met de Boeing 737 MAX^* in Indonesië (2018, 189 doden) en Ethiopië (2019, 157 doden). Daar lagen technische fouten aan ten grondslag. Dan kun je denken: als we de technologie op orde krijgen, storten er geen vliegtuigen meer neer. Maar systeemveiligheidsonderzoekers vragen zich af: hoe ontstaan die fouten?

Bij Boeing bleek de veiligheidscultuur niet te deugen.^* Klokkenluiders konden nergens heen, standaardchecks werden genegeerd. Onder financiële druk werden er verschillende veiligheidsstappen overgeslagen, waaronder de bijscholing van piloten die het vernieuwde vliegtuig moesten besturen. ‘Het waren niet-technische aspecten die uiteindelijk leidden tot onveilige technologie’, duidt Dobbe.

Dataverzamelwoede

Kortom: veiligheid kun je niet programmeren en context is belangrijk. Dit klinkt als een cliché, maar toch is de AI-safety-benadering vrijwel volledig technocentrisch, legt Dobbe uit.

Neem OpenAI, de bouwer van ChatGPT die de mond vol heeft van ‘AI safety’ en inzet op ‘alignment’, een populair begrip in de AI-industrie. Daarbij gaat het erom dat de technologie van AI op één lijn komt te liggen met menselijke waarden, met als doel te voorkomen dat de technologie zich tegen de mens keert.

Het ‘superalignment team’ van OpenAI, zegt Dobbe, wordt geleid door computerwetenschappers die gericht zijn op het AI-model van OpenAI. Zij moeten ervoor zorgen dat ChatGPT acceptabelere en betrouwbaardere uitkomsten krijgt. Veiligheid voor OpenAI is technologische veiligheid.

Daar is overigens wel wat op aan te merken: Dobbe wijst op een recente studie^* die laat zien dat de huidige alignment-methode makkelijk te omzeilen is. Met een relatief eenvoudig trucje slaagden onafhankelijke onderzoekers erin om grote hoeveelheden data te achterhalen waarmee ChatGPT is getraind – data die door OpenAI angstvallig geheim worden gehouden, omdat er veel auteursrechtelijk materiaal tussen zit^* en bakken vol persoonlijke data van internetgebruikers. ‘Dit is potentieel een mega-privacy- en securityprobleem.’

De claims van het bedrijf over veiligheid kloppen dus niet, zegt Dobbe. Daarnaast richt OpenAI schade aan die losstaat van technologie. Denk aan de auteursrechten- en privacyschendingen als gevolg van de dataverzamelwoede van het bedrijf. Denk aan de omstandigheden waaronder microworkers tegen een laag tarief de data van OpenAI opschonen.^* Denk aan de enorme hoeveelheden energie die nodig zijn om de modellen te bouwen en draaiende te houden.^*

Techbedrijven zijn het tegenovergestelde van transparant. We zouden beter over ClosedAI kunnen spreken

Daarbij komt dat producten als ChatGPT en DALL-E lijden aan wat veiligheidsonderzoekers de ‘flexibiliteitsvloek’ van software noemen. ‘Als je een vliegtuig bouwt, zijn er veel fysieke beperkingen’, zegt Dobbe. ‘Je moet bijvoorbeeld goed nadenken over het gewicht van het materiaal dat je gebruikt. Door die beperkingen wordt ook de complexiteit van het systeem ingeperkt.

‘Bij software heb je veel minder fysieke beperkingen, waardoor het systeem steeds verder uitdijt. En we weten dat software onveilig wordt als het te complex wordt, omdat op een bepaald punt niemand meer begrijpt hoe het precies werkt en wat je er wel en niet van kunt verwachten.’

Slimme tech of domme mensheid?

Die inherente onveiligheid van complexe systemen als GPT ligt dus niet zozeer aan de intelligentie van het systeem, zoals sommige AI-denkers claimen, maar aan de grenzen van de denkkracht van de mens om het systeem te kunnen begrijpen.

Dit is, benadrukt Dobbe, geen hogere wiskunde. ‘Als OpenAI veiligheid echt zo belangrijk zou vinden, dan zouden ze hun producten niet zomaar op de markt gooien.’

Toch is dat precies wat er gebeurt – niet alleen door OpenAI, maar door veel techbedrijven die de AI-boot niet willen missen. In plaats van dat zij in alle rust over de risico’s van het systeem in de echte wereld nadenken, worden de systemen ‘online geplempt’ en ‘over ons uitgerold’, waardoor er eigenlijk geen tijd meer is om aan ‘systeemveiligheid’ te doen, legt Dobbe uit. Het is vergelijkbaar met een vliegtuig op laten stijgen zonder afspraken te maken met de luchtverkeersleiding, na te denken over de geluidsoverlast of je te verdiepen in de Luchtvaartwet.

Wat daarbij niet helpt, is dat techbedrijven verwikkeld zijn in een wedstrijdje verplassen. Ze willen de eerste, de snelste en de grootste worden. Die (financiële) belangen, zegt Dobbe, botsen met het belang van veiligheid. En terwijl ze zeggen dat safety een topprioriteit voor hen is, laten ze tot dusver geen onafhankelijke pottenkijkers toe. ‘Ze zijn het tegenovergestelde van transparant’,^* zegt Dobbe. ‘We zouden beter over ClosedAI kunnen spreken.’

Is wettelijke veiligheid de oplossing?

Wetgevers in Europa weten inmiddels dat je veiligheid van AI niet aan de techbedrijven over kunt laten. Op 9 december bereikte het Europees Parlement een akkoord over de AI Act, een Europese wet voor veilige AI. Wat vindt de veiligheidsonderzoeker daarvan?

Dobbe is voorzichtig positief. Hij wijst erop dat de wettekst nog niet openbaar is en dat veel afhangt van de details die daarin staan. Bijvoorbeeld over de veiligheidsstandaarden die gehanteerd worden. Wat wordt als ‘veilige AI’ in de zorg beschouwd, of in het onderwijs? En op basis van wat of wiens input zijn die standaarden opgesteld? Ook staat in de wet de productveiligheid van AI centraal – hoe veilig is een AI-toepassing in een bepaald domein? – maar niet de systeemveiligheid.

Bovendien, benadrukt Dobbe, geldt voor de AI Act hetzelfde als voor andere Europese wetgeving: hoe wordt de wet geïmplementeerd? Hoe gaan toezichthouders en organisaties ermee om?

Maar het gaat hoe dan ook nog wel een tijd duren – de AI Act moet in 2027 volledig geïmplementeerd zijn.^* In de tussentijd heeft Dobbe twee voorstellen om kunstmatige intelligentie echt veiliger te maken.

Allereerst kan aan organisaties worden gevraagd om bewezen methoden te gebruiken die helpen om de risico’s van software beter te analyseren – zowel de technische als de niet-technische risico’s. ‘Op die manier kunnen organisaties in kaart brengen wat de invloed is van een AI-systeem en hoe het gesteld is met de kennis en cultuur om die risico’s op tafel te krijgen en te verhelpen. Ons onderzoek reikt daarvoor al concrete tools en inzichten uit de praktijk aan.’^*

Daarnaast pleit de onderzoeker ervoor om ‘als land met een vitale mkb-traditie en een historisch sterk maatschappelijk middenveld’ minder afhankelijk te worden van grote internetbedrijven en hun opvattingen over wat veilige kunstmatige intelligentie is.

Grote spelers als Google, Microsoft en OpenAI proberen volgens Dobbe hun macht te vergroten door hun veiligheidsstandaarden in publieke en private domeinen op te leggen. Dobbe, die niet voor niets in het bestuur zit van PublicSpaces, een organisatie die werkt aan publiek internet, pleit voor het ‘smeden van coalities van burgers en professionals’ om zelf veiligheidsstandaarden te creëren. ‘Alleen op die manier kunnen we grip houden op de publieke ruimte en op publieke goederen in de digitale samenleving.’