De nieuwste wapenwedloop gaat niet om bommen, maar om algoritmes (en hoe die te foppen)

Vietnam, 1968. Een Amerikaans marinevliegtuig scheert laag over de jungle, en laat honderden kleine apparaatjes vallen. Akoestische microfoons, die stemmen, trucks of voetstappen kunnen detecteren, maar ook sensoren die de geur van urine ‘ruiken’ en detectoren die seismische trillingen van passerende mensen of vrachtwagens oppikken.

De machientjes zenden de informatie die ze oppikken naar vliegtuigen die constant boven de jungle cirkelen. Die sturen op hun beurt de gegevens door naar gigantische computers honderden kilometers verderop. Zo gauw de algoritmes van die computers hebben bepaald dat het niet om onschuldige boeren of langslopende olifanten gaat maar om guerrilla’s, stijgt er een vliegtuig op om het gebied plat te bombarderen.

Operatie Igloo White was bedoeld om de zogeheten Ho Chi Minh-route van Laos naar Zuid-Vietnam af te sluiten. Communistische guerrilla’s gebruikten de route – een systeem van paden, wegen en rivieren – om vanuit Noord-Vietnam hun troepen in het door de Amerikanen bezette zuiden te bevoorraden. Igloo White kostte het Amerikaanse leger 2 miljard dollar (omgerekend zo’n 20 miljard in 2015) om op te zetten, en een kleine 1 miljard dollar per jaar om te gebruiken (10 miljard in 2015). De operatie was zo geheim dat zelfs het Amerikaanse Congres er vrijwel geen weet van had.

Een klein dingetje: het werkte niet.

Het kostte de guerrilla’s slechts een week om te achterhalen wat de vreemde apparaatjes waren, en hoe ze onschadelijk te maken: bijvoorbeeld door koeien langs de route te sturen en urine te verspreiden op plekken die de guerrilla’s helemaal niet gebruikten. Af en toe lieten ze trucks langs de sensoren rijden om de Amerikanen het gevoel te geven dat de route werd gebruikt. Tegelijkertijd stuurden de communisten ongemerkt via de havens van het Cambodjaanse Sihanoukville ladingen wapens naar Zuid-Vietnam. De VS bombardeerden vijf jaar lang de verkeerde plekken in Vietnam.

Igloo White is een vroeg voorbeeld van de digitalisering van militaire operaties. In de decennia na de Vietnamoorlog bleven militaire machten experimenteren met semi-automatische oorlogsvoering. En hoewel veel experimenten mislukten, is het geloof erin nooit verdwenen. Sterker nog: het idee om via sensoren data te verzamelen en die met superkrachtige computers en ingewikkelde algoritmes te analyseren om zo de vijand steeds een stap voor te zijn, is actueler dan ooit. Dezer dagen is de hoop gevestigd op nieuwe ontwikkelingen in kunstmatige intelligentie (AI).

Zijn de hoge verwachtingen deze keer wel terecht? Of is dit de zoveelste dure hype in militaire technologie?

Nepwapen om een raketdetectiesysteem te misleiden. Uit de serie Disguise and Deception, 2014, Anika Schwarzlose

Krachtiger computers, slimmere algoritmes en oneindig veel data

Er spelen op dit moment drie technologische ontwikkelingen die de samenleving ingrijpend zullen veranderen, zegt Andrea Gilli, onderzoeker aan het NATO Defense College in Rome, waar hij zich bezighoudt met het moderniseren van de strijdkrachten.

Ten eerste neemt de rekenkracht van computers de komende jaren extreem toe. Daardoor zullen (2) steeds slimmere algoritmes op basis van (3) steeds meer beschikbare data steeds complexere beslissingen kunnen nemen, zegt Gilli. En daardoor worden machines steeds beter in staat ‘menselijke’ taken uit te voeren, zoals redeneren en het nemen van beslissingen.

AI zelf is niet nieuw, maar door bovenstaande ontwikkelingen kunnen de mogelijkheden veel beter worden benut. En dat komt vooral door vooruitgang op het gebied van van nieuwe machine-learning-technieken, met name ‘deep learning’. In een notendop houdt dat in dat computers niet door mensen wordt verteld hoe ze moeten handelen, maar dat ze zichzelf leren hoe ze moeten handelen.

Machines kunnen sommige taken veel nauwkeuriger en vooral sneller uitvoeren dan mensen

Dat wekt de interesse van legers. Machines kunnen sommige taken veel nauwkeuriger en vooral sneller uitvoeren dan mensen. Zo maken sommige luchtverdedigingssystemen al jaren gebruik van algoritmes om op aanvallen te reageren die te groot zijn en te snel gaan voor mensen om af te slaan. Er is veel media-aandacht voor ‘killerrobots’, zoals autonome tanks of (zwermen) drones die zelfstandig op zoek gaan naar een doelwit en dit zonder tussenkomst van een mens kunnen aanvallen. Maar machine learning kan ook ingezet worden bij het afslaan van cyberaanvallen, het herkennen van nepnieuws of om de groeiende hoeveelheid beelden van militaire drones en satellieten door te spitten.

Machine learning kan mogelijk ook een rol spelen in militaire besluitvorming. Northern Arrow, een tool gebouwd door het Israëlische AI-bedrijf Uniqai, verzamelt enorme hoeveelheden informatie over militaire missies, zoals vijandelijke posities, het bereik van wapens, de snelheid waarmee tanks zich verplaatsen op bepaald terrein, en het weer. Een algoritme draagt vervolgens razendsnel verschillende opties aan om een missie uit te voeren en berekent de verwachte gevolgen. Als militairen dat zelf zouden doen, kost het ze tussen de twaalf en vierentwintig uur, stelt het bedrijf.

Door machine learning kan oorlogsvoering in de toekomst zo snel en complex worden dat gewone mensen het niet of amper nog kunnen volgen. Daardoor dreigt een scenario dat mensen taken wel móéten overdragen aan machines, om tijdig en effectief te kunnen reageren.

Als de vijand maar niet eerder is

Of oorlogsvoering ooit echt zo drastisch zal veranderen staat alleen nog lang niet vast. Voorlopig worden de ontwikkelingen vooral gedreven door de angst voor elkaar, zegt Kenneth Payne, die aan het Londense King’s College onderzoek doet naar de invloed van kunstmatige intelligentie op oorlogsvoering.

‘Het idee dat tegenstanders een heel krachtig wapen in handen krijgen waarvan je niet precies weet wat het kan doen en hoe effectief het is, is de belangrijkste aanjager van investeringen in AI’, zegt hij.

Eind 2018 waarschuwde de toenmalige Amerikaanse minister van Defensie Jim Mattis president Trump dat de VS achterlopen op het gebied van AI voor militaire doeleinden. En dus besloot de regering-Trump fors te investeren. Alleen al in 2020 besteedde het Pentagon 927 miljoen dollar aan AI en specifieker machine learning, en ruim vier miljard dollar aan onbemande en autonome voertuigen die ervan afhankelijk zijn.

De waarschuwing van Mattis kwam niet onverwachts. China ziet AI als een manier om de militaire achterstand op de VS in te lopen. President Xi Jinping riep zijn land in 2017 op om wereldleider op het gebied van AI te zijn in 2030. De Russische president Poetin deed daar een schepje bovenop door te stellen dat het land dat zal leiden in AI, ‘zal heersen over de wereld’. De Russen zelf ontwikkelden onder meer een onbemande robottank die werd ingezet in Syrië.

Maar ondanks de hoge verwachtingen rammelt de technologie nog aan alle kanten. De Russische robottank kon doelwitten slecht identificeren, en het contact met de basis viel twee keer anderhalf uur weg. Het veelbesproken ‘project Maven’, een Amerikaans samenwerkingsproject tussen het Pentagon, Google, Microsoft en Amazon dat machine learning gebruikt voor het identificeren van objecten en mensen in dronefoto’s, levert volgens een hoge Amerikaanse generaal nog weinig op.

Maar er klinken ook fundamentelere zorgen. Want is AI wel slim genoeg om oorlog te voeren? Of blijven mensen de technologie te slim af zijn, zoals de guerrilla’s dat eerder ook waren tijdens Operatie Igloo White?

Verstopte tank #6. Uit de serie Disguise and Deception, 2014, Anika Schwarzlose

Is het een machinegeweer, of toch een schildpad?

Zomer 2017. In het studiecentrum van de prestigieuze universiteit MIT in Cambridge in de Amerikaanse staat Massachusetts hangt een groepje tweedejaars informaticastudenten onderuitgezakt op een bank. Ze doen wat ze het liefste doen: discussiëren over techniek. Deze middag over het deep-learning-algoritme waarmee Googles zelfrijdende auto objecten classificeert.

Dat algoritme neemt objecten niet waar zoals mensen dat doen, maar leert zichzelf patronen herkennen in enorme hoeveelheden beelden. In de loop der tijd herkent het algoritme patronen in de opbouw van pixels die samen een object vormen, zoals een huis of een mens. Met allerlei wiskundige rekenmodellen scherpt het die patronen steeds opnieuw aan, zodat de uitkomst dichter bij de werkelijkheid ligt.

Maar in die kracht schuilt ook zijn zwakte. Want net zoals het mogelijk is om te berekenen hoe het model een object juist classificeert, is het ook mogelijk om te berekenen hoe minimale aanpassingen in beelden ervoor kunnen zorgen dat het model een object verkeerd inschat. Daardoor kun je de Google-auto iets laten zien wat er niet is, zonder dat mensen dat kunnen zien, menen de studenten.

Net als de guerrilla’s in Vietnam hopen de studenten zo het Google-algoritme gemanipuleerde data te voeren

Op het moment dat de studenten bij elkaar zitten is dat nog een theoretisch probleem, want in de echte wereld neemt een beeldclassificatiesysteem een gemanipuleerd object vanuit meerdere gezichtspunten waar. Zou je de beeldinformatie manipuleren, dan heeft het systeem dat vrij snel door, stelt een toonaangevend onderzoek dat in juli van dat jaar is gepubliceerd. Maar de jongens geloven dat niet. En dus gaan ze aan de slag.

Hun doel: een algoritme ontwikkelen waarmee je met behulp van een 3D-printer een object kunt maken waarmee je het beeldclassificatiesysteem van de Google-auto vanuit ieder gezichtspunt voor de gek kunt houden. Net als de guerrilla’s in Vietnam hopen ze zo het Google-algoritme gemanipuleerde data te voeren, waardoor de uitkomst van de berekeningen niet meer klopt.

En dat lukt. Door een paar pixels van een beeld aan te passen weten ze het Google-algoritme te overtuigen dat een foto van een kat een hond is. Daarna printen ze een 3D-schildpad die het algoritme aanziet voor een machinegeweer, en een honkbal die het systeem vrijwel niet kan onderscheiden van een kop koffie.

Wanneer algoritmes voor dit soort ‘adversarial examples’ vallen, ‘hallucineren’ ze niet – ze zien simpelweg iets anders dan mensen zien, legt een van de studenten later uit aan technologiemagazine Wired. ‘Het is geen fout van het model, maar de dingen die [voor het model] heel voorspelbaar zijn, zie jij niet. Het gaat erom dat mensen niet in staat zijn dit in de data te zien.’

De vondst van de studenten heeft mogelijk grote gevolgen voor de militaire bruikbaarheid van de technologie. Want stel dat je deze methode inzet voor het misleiden van met AI uitgeruste satellieten? Dan kun je ze dingen laten zien die er niet zijn – of dingen verbergen die er wél zijn. Je tegenstanders kunnen dan investeren in zoiets als ‘adversarial algoritmische camouflage’, die soldaten (of militair materiaal) onzichtbaar maakt voor de AI-algoritmes van drones of tanks.

Landmijn- en granaat-imitaties. Uit de serie Disguise and Deception, 2014, Anika Schwarzlose

Kunnen we de techniek vertrouwen?

De kwetsbaarheid die de studenten ontdekten bleef niet onopgemerkt. Het Amerikaanse militaire onderzoekslaboratorium DARPA kondigde in augustus 2019 enkele grote AI-onderzoeksprojecten aan, waaronder een programma dat zich richt op ‘adversarial machine learning’: Guaranteeing AI Robustness Against Deception (GARD). Daarmee hopen de onderzoekers machine-learning-modellen weerbaarder te maken tegen aanvallen met gemanipuleerde data.

Hava Siegelmann, professor aan de University of Massachusetts Amherst en programmamanager van GARD, benadrukt dat dit soort ‘adversarial’ aanvallen vernietigende effecten kunnen hebben in militaire situaties, omdat mensen zo’n aanval niet kunnen herkennen. ‘We zijn als het ware blind’, zei ze tegen technologiemagazine MIT Technology Review. ‘Dat maakt het erg gevaarlijk.’

Volgens Kenneth Payne van King’s College is dit soort misleiding slechts een van de zwakke punten van deep-learning-technologie die tegenstanders zullen proberen uit te buiten. Hij somt op: AI is niet bijzonder goed in het begrijpen van de context. Ze kan aangeven wat er op een foto staat, maar ze kan je niet vertellen wat dat op enig diepgaand niveau betekent. Bovendien begrijpen we niet goed hoe AI-beslissingen tot stand komen, vooral niet bij deep-learning-systemen.

Payne: ‘Deep learning is een soort "black box", waarvan je de innerlijke werking niet precies begrijpt. Dus ik denk dat het moeilijk zal zijn om volledig op deze systemen te vertrouwen, omdat we weten dat ze beperkt en kwetsbaar zijn. Die kwetsbaarheid zal nooit helemaal verdwijnen. Er blijft altijd een mogelijkheid dat het systeem de verkeerde beslissing neemt. En er is altijd de kans dat het wordt verslagen.’

Waarom Europa de race om AI verliest

De kwetsbaarheid verklaart ook waarom het Pentagon nauw samenwerkt met grote techbedrijven, zoals Google en Amazon. Die hebben veel meer kennis, financiële middelen, data, en talent dan de traditionele defensie-industrie om de technologische ontwikkelingen bij te houden en zo rivalen voor te blijven.

Hoe zit dat aan deze kant van de Atlantische Oceaan? Europa heeft dat soort big tech-bedrijven helemaal niet, zegt Raluca Csernatoni, onderzoeker bij denktank Carnegie, waar ze zich bezighoudt met Europese veiligheid en defensie. Bovendien ontbreekt het in Europa aan het risicokapitaal dat het Amerikaanse AI-onderzoek aanjaagt, en zijn er geen gigantische staatsfondsen zoals in China beschikbaar. Daarnaast bezuinigen de Europese Commissie en EU-lidstaten fors op defensie en de ontwikkeling van nieuwe militaire technologie, waaronder AI.

‘In de race om AI heeft Europa eigenlijk al verloren’

Csernatoni: ‘Als het gaat om het innemen van de koppositie in de race om AI, heeft Europa eigenlijk al verloren.’

En dat leidt tot een lastig dilemma, zegt Patrick Bolder, strategisch analist bij het The Hague Center for Strategic Studies. ‘De AI-techniek is er en zal in meer of mindere mate worden toegepast. Dat draai je niet meer terug. Wanneer je die systemen niet zelf maakt, loop je het risico dat anderen ze tegen je gebruiken, of dat je afhankelijk bent van anderen om de technologie te kopen.’

Daarmee verlies je ook de controle op hoe de systemen werken, vervolgt hij. ‘De Amerikanen zullen vermoedelijk geen inzicht geven in hun algoritmes, want als ze dat uit handen geven, verdwijnt hun strategisch voordeel. Daardoor weet je ook niet welke data zijn gebruikt om de modellen te trainen en hoe dat mogelijk van invloed is op hoe beslissingen tot stand komen.’

Maar zelf investeren in iets waarvan je niet weet of het werkt is ook niet zonder risico, zegt hij. ‘Als je te snel zelf gaat ontwikkelen, ontstaan fouten. Dan creëer je een schijnveiligheid waar je niets aan hebt.’

Camouflage-testkaarten. Uit de serie Disguise and Deception, 2014, Anika Schwarzlose

De waarde zit niet in het wapen, maar in kennis over de kwetsbaarheden

Net als de duizenden machientjes die in 1968 boven de jungle van Vietnam werden afgeworpen, zijn de verwachtingen rondom de militaire inzet van AI hooggespannen, maar voorlopig blijft het daarbij. Want net als de microfoontjes en sensoren die door Vietnamese guerrilla’s voor de gek werden gehouden met langslopende koeien en urine, zijn ook AI-algoritmes kwetsbaar voor het menselijk vernuft.

Maakt dat de militaire toepassingen van AI een hype? Wel als je bedenkt dat er miljarden worden besteed aan een technologie waar vrijwel niemand echt op zit te wachten, die niemand volledig begrijpt en die kwetsbaar is in militaire situaties. Als je kijkt naar eerdere pogingen om oorlogsvoering te automatiseren, is het maar zeer de vraag of de hoge ambities deze keer wel zullen worden waargemaakt.

Maar de kans – hoe klein ook – dat het wel lukt om een soort superwapen te maken dat legers een onoverbrugbare voorsprong geeft op rivalen, is niet uit te sluiten. En precies daarom klotst het geld tegen de plinten. Niet per se om die wapens zelf in handen te krijgen, maar ook om de kans dat het een ander wél lukt zo veel mogelijk uit te sluiten.

Het gaat niet om het meest indrukwekkende wapen, maar om het manipuleren van software

En helemaal nutteloos is zo’n programma nooit, want je leert ook waar de kwetsbaarheden van het systeem zitten – kennis die je vervolgens kunt gebruiken om wapens van tegenstanders onschadelijk te maken. Bij de AI-oorlog van de toekomst gaat het vermoedelijk niet om wie de meest indrukwekkende wapens produceert, maar wie het beste de software van die wapens kan manipuleren. Die strijd speelt zich grotendeels af buiten de fysieke wereld, en draait om kennis van de besturingssystemen. Daarbij is kennis van de kwetsbaarheden van die systemen misschien wel net zo waardevol als kennis over technologie die wél werkt.

Toch denkt Andrea Gilli van het NATO Defense College in Rome, dat het zo’n vaart niet zal lopen met de militaire toepassing van AI. ‘AI is de toekomst, maar de angsten en zorgen dat ze oorlogsvoering radicaal zal veranderen zijn overdreven.’

‘Ik ben vooral sceptisch over de snelheid waarmee de veranderingen zullen gaan, zeker omdat elke technologie een ondersteunend ecosysteem vereist, dat heel moeilijk en tijdrovend is om op te bouwen. Zo’n ecosysteem vereist een extreem ontwikkelde wetenschappelijke, technologische en industriële basis die de meeste landen helemaal niet hebben.’

Hij verwacht daarom dat AI langzaam zal worden geïntegreerd in de krijgsmacht, waarbij landen steeds meer middelen zullen investeren om de gebreken te corrigeren. ‘Anders lopen ze het risico kwetsbaarder te worden, in plaats van sterker.’

Want al zou Rusland een poging doen om wereldleider te worden op het gebied van AI, om – zoals Poetin voorspelde – over de wereld te kunnen heersen, dan zal het daarvoor eerst geld moeten weghalen bij andere militaire systemen, zoals kernwapens, ballistische raketten en nucleaire onderzeeërs.

En dat maakt de Russen voorlopig vooral minder sterk, zegt hij: ‘Als de Russen bezuinigen op andere systemen om geld te investeren in een serie tot nu toe onbewezen, onbetrouwbare en voor oorlogsvoering ineffectieve technologieën, dan moeten we daar zeker niet tegen zijn, en het waarschijnlijk zelfs aanmoedigen.’