Heeft de zelfrijdende auto een geweten nodig?

Stel: je rijdt op een smalle slingerweg in de Alpen in een zelfrijdende auto. De auto is comfortabeler, veiliger en een stuk goedkoper dan je eigen auto. Terwijl jij een film zit te kijken, steekt iets verderop een kind de weg over. Het kind struikelt en valt op de grond nét wanneer jij de bocht om komt.

De auto kan niet op tijd remmen om het kind te redden, maar kan zichzelf wel van de weg af het ravijn in sturen - en daarmee jou opofferen om het kind te redden. Wat moet zo’n auto kiezen?

Dit spannende dilemma lijkt regelrecht uit sciencefictionboeken te komen. Vandaar ook dat het keer op keer terugkomt in de discussie over zelfrijdende auto’s en verkeersveiligheid. Rij je het kind aan (of bijvoorbeeld een groep van tien mensen) of offert de auto zichzelf inclusief inzittenden op?

Elke keer wordt de auto voor een moreel dilemma gezet - terwijl daar eigenlijk geen goede reden voor is.

Voor alle duidelijkheid: verkeersveiligheid is belangrijk en zelfrijdende auto’s zullen ongetwijfeld in lastige situaties terechtkomen. Hoe de auto daarop reageert, zal het verschil kunnen maken tussen leven en dood. Wat we dus zoeken is een goede manier om zelfrijdende auto’s ethisch te laten rijden. Maar het voorbeeld hierboven - hoe pakkend ook - is misleidend.

Een verkeerssituatie is geen dilemma

In bijna elk ethisch dilemma met zelfrijdende auto’s moet je kiezen tussen het aanrijden van de ene of de andere groep mensen. Of tussen het kind aanrijden of jezelf het ravijn in storten - er zijn telkens maar twee mogelijkheden. Echte verkeerssituaties daarentegen zijn vaak veel ingewikkelder. Hoe je in zo’n situatie handelt, hangt sterk van de situatie af.

Neem de omgeving. Hoe ziet de weg eruit, hoeveel grip heb je? Hoe lang is die bocht eigenlijk? Welke verkeersregels gelden hier? Is er een vangrail? Hoe ziet de berm eruit?

De auto zit in een verkeerssysteem dat volledig wordt genegeerd

Het weer speelt vaak ook een rol. Misschien staat de zon laag, heeft het net gesneeuwd of liggen er bladeren op de weg. Daarnaast maakt het ook uit hoeveel andere weggebruikers er zijn, waar die zich bevinden en wie het zijn. Kinderen, bejaarden, whatsappende fietsers, pizzakoeriers, afgeleide automobilisten of aangeschoten studenten: allemaal gedragen ze zich anders in het verkeer.

Om de auto heen zit dus een heel verkeerssysteem dat volledig wordt genegeerd als we het alleen maar over hypothetische dilemma’s hebben.

De werkelijkheid is complexer, maar daarom ook beter behapbaar

Het spannende dilemma versimpelt de verkeerssituatie, alsof de morele keuze de enige keuze is die ertoe doet. Een nadeel van zo’n versimpeld beeld is dat het moeilijk wordt om tot goede oplossingen te komen.

‘Ethische, abstracte dilemma’s werken vaak verlammend: niemand weet wat je in zo’n situatie precies moet doen,’ zegt filosoof Filippo Santoni de Sio. ‘Als je kijkt naar hoe het complexe systeem echt werkt, dan wordt de situatie een stuk beter behapbaar.’

Om een zelfrijdende auto op een ethische manier te laten rijden, moet de auto dus leren omgaan met het hele verkeerssysteem. Dat maakt het probleem zowel lastiger als makkelijker.

Het maakt het lastiger omdat de auto in benarde situaties met van alles rekening moet houden: onvoorspelbare weggebruikers, kwaliteit van het wegdek, de weersomstandigheden, verkeersregels en hoe de omgeving eruitziet. Misschien sneeuwde het in de Alpen, misschien heeft de auto last van een bumperklever of doen de remmen het niet goed. Of misschien loopt er een eend op de weg.

Tegelijkertijd is er ook veel meer mogelijk dan zo’n dilemma doet vermoeden. De auto reageert sneller dan wij en kan misschien hard genoeg remmen om het kind te redden. De auto kan tegen de vangrail of tegen een rotswand schuren om sneller af te remmen. Misschien past de auto er nog nét langs of kan hij met twee wielen in de berm eromheen rijden. Zo zijn er tientallen mogelijke routes die wij in zo’n kort tijdsbestek niet kunnen overwegen, maar een zelfrijdende auto wel.

Natuurlijk kan zo’n specifieke situatie zoals in de Alpen wel voorkomen, maar waarschijnlijk zeer zelden. Santoni de Sio: ‘Misschien eens in de honderd jaar. Het is een fascinerend onderwerp voor filosofische discussies, maar waarschijnlijk niet het meest urgente probleem.’

Kan een auto ethisch denken?

Toch komt een zelfrijdende auto wél vaak in andere situaties terecht waarin mensenlevens in gevaar kunnen zijn. Kan een zelfrijdende auto dan eigenlijk de waarde van die levens afwegen - met andere woorden, kan een auto dus ethisch denken?

Ik vroeg het Marieke Kassenberg, die het WEpods -project in Wageningen leidt: ‘Dat soort afwegingen zijn veel te ingewikkeld. Hoe meer mensen je hierover spreekt, hoe meer je in zo’n afweging zou kunnen meenemen. Je zou bijvoorbeeld willen meenemen hoeveel jaren iemand nog te leven heeft. Maar dan kom je direct op privacygevoelig terrein.’

En zelfs als je al die informatie wel hebt, is het vrijwel onmogelijk om te bepalen wat dan zwaarder weegt. ‘Wat we nu bij de WEpods ingeprogrammeerd hebben is heel simpel: gewoon remmen. We rijden maximaal 25 kilometer per uur en dan is remmen eigenlijk altijd goed genoeg.’

Omdat het zo lastig is de waarde te berekenen van alle verkeersdeelnemers, gebruikt de WEpod dus een simpele regel voor alle gevallen: remmen. Kunnen zelfrijdende auto’s dan misschien op basis van ethische regels leren anders te handelen? Ook dat is vrij lastig.

Kunnen zelfrijdende auto’s op basis van ethische regels leren anders te handelen?

Omdat er in het verkeer zoveel kan gebeuren, is het onmogelijk om voor elke situatie regels te bedenken. Op bijna elke regel (bijvoorbeeld: niet over een doorgetrokken streep rijden) is wel een uitzondering te bedenken (een boom op de weg). Wij gebruiken ons gezond verstand om te bepalen of we een regel kunnen overtreden, maar een zelfrijdende auto heeft dat niet.

Wat kan een zelfrijdende auto dan wel? Ze komen in vele vormen en maten, maar werken vrijwel allemaal aan de hand van vier belangrijke stappen: meten, herkennen, voorspellen en plannen.

Van meten naar plannen

Meten gebeurt via allerlei sensoren. Zo is Googles zelfrijdende auto onder meer uitgerust met camera’s, een 360-gradenlaserscanner, radars en zelfs meerdere microfoons. Die sensoren zijn niet perfect. Daarom gebruikt de auto statistiek: hij berekent de kans dat zijn meting ook echt klopt. Hoe meer sensoren en metingen, hoe zekerder de auto van zijn zaak is.

Vervolgens verwerkt de auto deze informatie om objecten in de omgeving te herkennen. Waar zijn andere weggebruikers? Hoe zien ze eruit? Op wat voor soort weg rijdt de auto, met welke snelheid? Zijn er stoplichten en verkeersborden waar hij rekening mee moet houden?

Als alles in de omgeving herkend is, kan de auto voorspellingen maken. Voor alle objecten in de omgeving wordt berekend waar ze naartoe kunnen gaan en hoe groot de kans is dát ze daar heen gaan. Die voorspellingen bepalen dan waar de auto heen kán gaan (en waar niet).

Dan slaat de zelfrijdende auto aan het plannen. De algoritmes berekenen hoe veilig de tientallen routes zijn die de auto kan nemen. Waar dat op neerkomt is dat de auto alle risico’s om zich heen inschat en alle botsingen probeert te voorkomen.

En de ethische stap?

Een zelfrijdende auto herkent dus objecten, voorspelt waar ze heen gaan en vermijdt botsingen. Wat misschien opvalt, is dat er geen ‘ethische denkstap’ is. De planningstap zou deze kunnen bevatten, maar dit is zeker geen vereiste. Ethisch verantwoord rijden kan namelijk ook zonder de auto ethisch te laten denken. Als je goed kan voorspellen waar andere weggebruikers naartoe gaan en goed weet hoe de omgeving eruitziet, kun je ontzettend ver komen.

Ook daarom zal het dilemma uit de intro bijna niet voorkomen: de auto hoort gevaarlijke situaties en weggebruikers vroeg genoeg te herkennen om botsingen te vermijden.

De uitdaging voor technici is om de vier stappen betrouwbaar te maken in allerlei omstandigheden, zodat de auto bijna altijd de veiligste route plant - en dus per definitie ethisch rijdt. Zelfs op smalle bergwegen.

Wat er dit jaar misging bij een zelfrijdende Tesla

Toch: perfect zullen zelfrijdende auto’s waarschijnlijk nooit worden. Eerder dit jaar kwam een bestuurder van een Tesla om bij een ongeluk, terwijl de Autopilot van de auto aanstond. Wat ging er mis? En belangrijker: wie is in zo’n geval verantwoordelijk?

De Tesla reed op een snelweg waar een vrachtwagen overstak - de chauffeur zag de Tesla niet aankomen. De Tesla gebruikt radar en een camera om op snelwegen zelf te rijden. Beide sensoren konden de situatie niet aan: de camera zag het verschil niet tussen de witte vrachtwagen en de witte lucht. De radar zag een metalen balk (de oplegger) boven de weg, maar de auto dacht dat het een bord boven de weg was en probeerde er dus onderdoor te rijden.

In een persverklaring stelt Tesla dat zijn systeem werkt zoals het is bedoeld - terwijl het een vrachtwagen niet zag aankomen

Ook het laatste redmiddel, de bestuurder van de Tesla, had zijn aandacht niet op de weg en greep dus niet in. Daarnaast reed de auto ook nog eens te hard.

Er ging dus van alles mis. Wie is dan de schuldige? Zowel Tesla, de truckchauffeur als de autobestuurder maakte fouten. In een persverklaring stelt Tesla dat zijn Autopilot-systeem werkt zoals het bedoeld is - terwijl het dus een vrachtwagen niet zag aankomen.

Dat komt grotendeels omdat Tesla’s maar twee sensoren gebruiken om gevaren te spotten, veel minder dan andere zelfrijdende auto’s. Of Tesla ook vanwege die keuze verantwoordelijkheid draagt voor dit soort ongelukken, moet nog blijken.

Wie is er verantwoordelijk als het fout gaat?

Wat het nog eens lastiger maakt, is dat er naast Tesla en de beide bestuurders nog meer verantwoordelijken aan te wijzen zijn. Santoni de Sio: ‘Bij ongelukken met zelfrijdende auto’s wordt de verantwoordelijkheid vaak gelegd bij de bestuurder óf de programmeur. Maar in werkelijkheid zijn er nog veel meer mensen, bedrijven, overheden en organisaties verantwoordelijk.’ Denk bijvoorbeeld aan de RDW, die de Autopilotfunctie van Tesla hier al heeft goedgekeurd.

Hoe we die verantwoordelijkheid precies verdelen over bestuurders, bedrijven en instanties, is nog de vraag. De overheid zou hier een rol in kunnen spelen door heel strenge standaarden en normen op te stellen. Santoni de Sio stelt voor om naast technische ook juridische professionals te betrekken, omdat die ervaren zijn in het afwegen van belangen, waarden en verantwoordelijkheden in ingewikkelde situaties.

Het is in ieder geval geen goed idee om de ontwikkeling van de zelfrijdende auto volledig over te laten aan de autobouwers. Juist vanwege de complexe techniek moeten we kritisch blijven op de keuzes die deze bedrijven maken - nu we de technologie nog de goede kant op kunnen sturen.

Lees meer over zelfrijdende auto’s en kunstmatige intelligentie