Robotsoldaten zijn allang geen sciencefiction meer (en dus bouwt Nederland ze ook)

Zeg ‘robotsoldaat’ en je denkt ‘Terminator’. En dat is dus precies wat je niet moet doen, mailde luitenant-kolonel Martijn Hädicke van de Koninklijke Landmacht toen hij mijn nieuwsbrief las, waarin ik dat precies wél deed.

Hädicke geeft leiding aan de eerste en enige roboteenheid van de Nederlandse Landmacht: de ‘Robots and Autonomous Systems’-eenheid, kortweg RAS. Zijn team onderzoekt of – en hoe – robots het Nederlandse leger kunnen helpen. Het stoort hem dat het debat over robots en autonome wapens wordt gevoerd alsof het over een soort sciencefiction gaat. Want dat is het hem nou net: het is geen sciencefiction meer. Robotsoldaten komen er echt aan.

En dus nodigde hij me uit voor een gesprek. Zo stond ik op een zonnige herfstdag aan de poort van de Bernhardkazerne in Amersfoort met een lijst vragen die jullie, Correspondentleden, vooraf hadden gesteld. Klaar om de man die aan de wieg staat van het Nederlandse robotleger aan de tand te voelen.

Hoe robots functioneren in verschillende situaties

Hädicke haalt me op bij de poort en samen rijden we naar een uit baksteen opgetrokken kazerne. Binnen geen hypermoderne laboratoria of verstrooide wetenschappers in witte jassen, zoals in de film, maar een oude koffiemachine waar militairen in uniform de week doornemen. 

Het zeventien leden tellende RAS-team werd in 2017 opgericht en ondergebracht bij de 13 Lichte Brigade van de Koninklijke Landmacht. Hädicke en zijn collega’s werken nauw samen met drie technische universiteiten, TNO en bedrijven als IBM en KPN. Samen bouwen ze prototypes van onbemande voertuigen waarmee ze simulaties uitvoeren om te achterhalen hoe robots functioneren in verschillende situaties.

Robots, zegt Hädicke als we even later in een kantoortje met bosbehang zitten, kunnen taken van soldaten overnemen en de krijgsmacht veiliger en effectiever maken. Ook zijn ze belangrijk bij het in stand houden van de technologische voorsprong op onze rivalen, die allemaal ook bezig zijn met autonome wapensystemen, en bovendien hun territoria steeds ontoegankelijker maken voor ‘gewone’ militairen van vlees en bloed. Volgens Hädicke komt op dit moment de grootste dreiging – ook op AI-gebied – ‘uit het oosten’.

Eind 2020 moet het RAS-team advies uitbrengen aan de top van de Landmacht over hoe de samenwerking tussen mens en machine er precies uit gaat zien. Eén van de belangrijkste voorwaarden bij de ontwikkeling van robots en autonome systemen is dat een mens altijd bepaalt wat een robot kan en mag. De belangrijkste onderzoeksvraag van het team is dan ook: hoe gaan robots zich daaraan houden? Waar ligt de grens van hun autonomie? 

Hoe ziet die autonomie er volgens jullie uit? 

Hädicke: ‘Ten eerste moet er altijd een reden zijn voor autonomie. Bijvoorbeeld als er geen contact meer mogelijk is met een onbemand voertuig. Of bij een grootschalige aanval met veel vuurkracht, als het heel gevaarlijk is en er snel moet worden beslist. Dan heeft autonomie nut en meerwaarde.’ 

Maar, vervolgt Hädicke, een mens bepaalt altijd vooraf het doel. De machine moet zo geprogrammeerd zijn dat hij – binnen een vast kader – zelfstandig kan handelen om dat doel te bereiken. Zo kun je bijvoorbeeld zeggen dat een robot alleen in een vooraf gedefinieerd gebied objecten met een bepaalde vorm mag aanvallen – een bepaald type tank, bijvoorbeeld.

Hädicke: ‘Het is als een getrainde bokser die heeft leren stoten en aanvallen binnen de boksring, met als vijand de tegenstander die ook in die ring staat. Hij mag dus niet het publiek en de scheidsrechter aanvallen. En hij mag alleen maar vechten in die ring.’

Om die beslisprocessen in kaart te brengen, werken Hädicke en zijn onderzoekers met allerlei scenario’s. Zoals: een vijandelijke raket wordt op een stad afgeschoten. Een onbemand verdedigingssysteem kan ingrijpen, maar ook dan zullen er – in de simulatie – burgers omkomen. Hädicke: ‘We willen erachter komen hoe een onbemand systeem intelligente keuzes kan maken die we als mens acceptabel vinden. Als de machine kan berekenen wat de gevolgen zijn als die raket doorgaat, én een berekening van het aantal slachtoffers als hij ingrijpt, dan zal hij kiezen voor de optie die tot de minste doden leidt. Wij evalueren vervolgens of die keuze geoorloofd en acceptabel is.’

Vertrouwen we die systemen wel genoeg om ze zoveel vrijheid te geven?

‘Niet zomaar. In het verleden zijn dingen misgegaan met soortgelijke systemen, zoals een te nauwe koppeling tussen sensor en shooter. Daardoor zag in 1988 bijvoorbeeld een Amerikaans marineschip in de Straat van Hormuz een Iraans passagierstoestel aan voor een vijandelijke straaljager en schoot hij het neer. We moeten ons afvragen hoe we die systemen kunnen organiseren om dat te voorkomen. De kritieke functies vinden. Daarom voeren we ook gesprekken met tegenstanders van dit soort technologieën. Waar zitten volgens hen de zwakke plekken? Wat zijn de zorgen? Dat dwingt ons om met een tegenantwoord te komen.’

Het verzet tegen autonome wapens groeit

Die tegenstanders worden de laatste jaren steeds luidruchtiger. Deskundigen roepen op tot een algeheel verbod op autonome wapens, omdat ze vrezen dat het niet duidelijk is hoe de systemen precies werken en bang zijn dat ze zich tegen onschuldige mensen kunnen keren. Ook wordt gewaarschuwd voor een wapenwedloop, en het gevaar dat de technologie in de verkeerde handen valt.

Hädicke ergert zich soms aan de manier waarop het debat wordt gevoerd: ‘Het lijkt soms alsof mensen denken dat wij als krijgsmacht alle waardes uit het raam gooien zodra het over robottechnologie gaat. Dat wij killer robots maken die geen onderscheid maken. Dat snap ik niet. Wij zijn een waardengedreven organisatie die groot belang hecht aan het humanitair oorlogsrecht. Natuurlijk, het gaat wel eens fout. Maar daar leggen we verantwoording over af. Waarom zouden we daarmee stoppen als het over robottechnologie gaat?’

De Amerikanen kiezen soms op twijfelachtige juridische gronden doelwitten voor hun drones. Ik kan me voorstellen dat dit nog sneller gebeurt als robots die taak zelfstandig gaan uitvoeren.

‘Als de Amerikanen dat doen in Pakistan of Afghanistan of waar dan ook, dan wil dat niet zeggen dat wij dat ook zullen doen, ook al hebben wij exact dezelfde technologie. Wij maken onze eigen ethische afwegingen.’

Is er nieuwe internationale wetgeving nodig om problemen te voorkomen? 

‘Veel bestaande wetgeving is goed toepasbaar op het inzetten van geautomatiseerde systemen. Maar het is misschien wel goed om een betere invulling te geven aan wat precies ‘menselijke controle’ is, en om aanvullende regels te hebben voor het verifiëren en valideren van de algoritmes, zodat we zeker weten dat die werken zoals ze zijn bedoeld. Maar daarvoor moeten we kijken naar de hele keten: de fabrikant van de systemen, maar ook de politiek die het mandaat geeft, de militaire besluitvorming, en uiteindelijk de persoon die het wapen inzet.’

Is het in de huidige wereld nog wel mogelijk om afspraken te maken?

‘We hebben de verplichting om het in elk geval te proberen.’ 

Heeft u twijfels over de ethische verantwoordelijkheid van andere landen?

‘Dat is een zorg. Andere landen gaan ethiek uit de weg. Ze bekennen geen kleur en zijn niet aanwezig in het gesprek of bij het debat. Ze hebben het steeds over op afstand bestuurde machines, waar altijd mensen achter de knoppen zitten. Maar dat is niet voldoende. Die systemen zijn inherent kwetsbaar omdat ze afhankelijk zijn van een datalink die verstoord kan worden, en niet altijd snel genoeg kunnen reageren op aanvallen.’ 

‘Autonomie heeft militair nut en kan toegevoegde waarde creëren, maar de vraag blijft: hoe ga je ermee om? Een antwoord daarop is vaak complex en niet zomaar te geven, maar ik vind niet dat je geen antwoord kan hebben. Mijn standpunt is: wij doen het waardengedreven. Geoperationaliseerd, zodat het praktisch bruikbaar wordt. Het is mijn rol om te laten zien hoe. Het is daarna aan de politiek om het debat te voeren en vervolgens besluiten te nemen.’

Nederlands eerste defensierobot

Vorig jaar kocht Nederland haar eerste onbemande grondvoertuig, vooral bedoeld voor tests. Op dit moment is het voertuig alleen op afstand te besturen, maar er wordt hard gewerkt aan software waarmee het voertuig ook zelfstandig taken kan uitvoeren.

Het team van Hädicke werkt daarbij samen met Nederlandse kennisinstituten en bedrijven. Dat is noodzakelijk omdat er niet één partij is die alle kennis en middelen in huis heeft om de technologie eigenhandig te ontwikkelen, maar ook omdat Hädicke en zijn team er zeker van willen zijn dat de software op de juiste manier werkt. 

Hädicke: ‘Wij als defensie willen altijd de controle houden over de software, met name de kritieke functies, zoals het identificeren van doelwitten. We willen het redeneringsproces van zo’n systeem helemaal doorzien. Wij zijn immers verantwoordelijk als er iets niet goed gaat.’

Kunnen jullie dat inderdaad, het hele beslissingsproces van zo’n robot doorzien?

‘Het is de mens die de wegingsfactoren van een robot bepaalt, honderd procent. Dat geeft accountability, transparantie en enige voorspelbaarheid. Maar de mogelijkheid blijft dat het systeem een andere beslissing neemt dan we wenselijk vinden, ook al dachten we dat we het goed hadden geprogrammeerd. Daarom doen we al die simulaties. Het is 10 procent bouwen, 90 procent simuleren.’ 

Gaan jullie in de toekomst ook software kopen van buitenlandse bedrijven?

‘Dat doen we nu al. Maar voordat we tot aanschaf overgaan, stellen we eisen op. De software moet, ongeacht wie het maakt, altijd door ons validatie- en verificatieproces heen om een juiste en veilige werking te kunnen garanderen. Een eis die we straks aan buitenlandse leveranciers kunnen stellen is inzage in de werking van het algoritme, om het zonodig aan te passen. Daarover gaan we dan in gesprek.’

Ik kan me goed voorstellen dat ze zeggen: dat doen we niet.

‘Wij als organisatie zouden eisen moeten stellen aan de juiste werking van het algoritme van een leverancier. Ons onderzoek richt zich op de vraag wat die eisen dan precies moeten zijn.’ 

Als tegenstanders zich niet aan ethische maatstaven houden, en Nederland wel, staan onze wapensystemen dan niet op achterstand?

‘Ja, dat speelt bij deze technologie.’

Dwingt dat ons niet om uiteindelijk ook andere ethische maatstaven te hanteren?

‘Wat andere landen doen is niet onze zorg. Wij maken onze eigen afwegingen en voeren betekenisvolle menselijke controle in, ongeacht of daar passende regelgeving voor is. Dat kan in de praktijk buitengewoon complex zijn, maar die dynamiek kennen we al. In Afghanistan was ik verantwoordelijk voor het aanwijzen van doelwitten voor piloten tijdens een gevechtssituatie. Een keer lag het doel midden in een dorp en moest ik zorgen dat de kans op burgerslachtoffers zo klein mogelijk zou zijn. Ik heb uiteindelijk toestemming gegeven voor het droppen van een geleide bom. Ik draag daarvoor de verantwoordelijkheid. Die ervaring neem ik mee bij het ontwikkelen van ethische maatstaven voor onbemande systemen.’

Is dergelijke oorlogservaring belangrijk?

‘Ik denk van wel.’

Je zou kunnen zeggen: als robots steeds meer gevechtstaken uitvoeren, heeft een volgende generatie militairen die slagveld-ervaring niet meer. Die weten alleen nog hoe ze van afstand een robot kunnen besturen. 

‘Zo kijk ik er niet naar. Ik wil juist voorkomen dat het een videogame wordt. Een van de dingen waar ik over nadenk is: wat voor soort persoon of militair heb je straks nodig om autonome systemen in te zetten? Meestal zeggen ze: jonge mensen, want die zijn goed in videogames, goed met die joysticks. Ik breng daar tegenin: oudere mensen hebben een beter ontwikkeld waardenkader. We moeten ze niet vragen om goed een joystick te bedienen, maar om fundamentele keuzes te maken over leven en dood.’ 

Verder lezen: