Of ze mogen doden. En 8 andere kritische vragen over robotauto’s

Elk nadeel heb zijn voordeel: onder een onbeholpen bozig stukje dat ik twee weken geleden schreef naar aanleiding van het doodrijden van een vrouw door een robotauto in Arizona ontstond een geweldige discussie.

De 200+ bijdragen van vele tientallen Correspondentleden die elk eigen ervaringen, boerenverstand en specifieke kennis en expertise inbrachten, leverden een berg aan nieuwe gezichtspunten op.

Dat gaat verder dan het technologische perspectief. Ze laten namelijk samen iets zien van wat er met het concept ‘robotauto’ aan de horizon van de maatschappij verschijnt en wat we daarvan willen, verwachten, hopen en vrezen.

Voor wie het miste, of de draad kwijtraakte: hieronder vind je mijn selectie van mooie en nuttige bijdragen terug. Ik heb ze gegoten in de vorm van negen kritische vragen:

Hoe veilig zijn robotauto’s precies en wat weten we daarvan?
Mogen er nu een paar mensen doodgaan, als dat straks veel doden scheelt?
Waarom zouden de roboticawetten van Isaac Asimov niet opgaan voor echte robotauto’s?
Waarom zou de klassieke auto de basis moeten zijn voor een zelfrijdend systeem?
Zullen we gaan redeneren vanuit de belangen van de mens en de stad?
De autopiloot van een schip zet je toch ook uit als je aankomt in de haven?
Waarom accepteren we doden in de luchtvaart niet en in het autoverkeer wel?
Wat betekent het voor de maatschappij als we verantwoordelijkheid uit handen geven aan technologie?
Is het een zelfrijdende auto of een robotauto of...?

Dit is een door mijn eigen vragen gekleurde samenvatting van de discussie, en ik voegde ook een paar inzichten toe die ik tegenkwam buiten De Correspondent. Ik hoop dat het debat gaande blijft en zich verder zal uitbreiden.

De oorspronkelijke bijdragen vind je hier. In mijn nieuwsbrief van deze week meer over hoe ik hier als journalist in sta.

1. Hoe veilig zijn robotauto’s precies en wat weten we daarvan?

Op dit moment komen er jaarlijks 1,25 miljoen mensen wereldwijd om in het verkeer. Het gros daarvan zijn doden door auto’s.

Ict’er en econoom Rob Smits schrijft dat de autopiloot van Tesla het veel beter doet:

‘Tesla’s hebben al honderden miljoenen kilometers autonoom gereden en de statistieken wijzen uit dat er veel minder ongelukken gebeuren als die auto’s in autopilootmodus rijden.’

Een ander lid schrijft hetzelfde over Waymo (Google):

‘Alleen al Waymo, het zelfrijdende-autobedrijf van Google, heeft al meer dan 5 miljoen mijl op de weg gereden. Zonder dodelijke ongelukken blijkbaar, als dit de eerste is. Halen mensen dat ook?’

Een wetenschapsjournalist brengt hier tegen in dat de kilometers die robotauto’s maken niet representatief zijn:

‘De kilometers die tot nu toe door ‘zelfrijdende’ auto’s gemaakt zijn, zijn geen representatieve selectie van de autokilometers die mensen wereldwijd maken. Het zijn bijna allemaal autokilometers in de VS, op snelwegen, onder vrijwel ideale omstandigheden, door gloednieuwe, perfect onderhouden auto’s. Ook menselijke rijders maken dan zeer weinig ongelukken. Maar hoe doet de zelfrijdende auto het op bochtige bergweggetjes, in een sneeuwstorm, met roekeloos inhalende tegenliggers? Hoe ver is de techniek met zelfrijdende motoren en brommers?’

2. Mogen er nu een paar mensen doodgaan, als dat straks veel doden scheelt?

Dilemma: mag er nu iemand sterven bij het verbeteren van dat systeem, als dat op de lange termijn veel méér doden scheelt? Vervoerseconoom Pieter Onderwater vindt van wel. Hij noemt het een doodzonde om de introductie van robotauto’s uit te stellen. Uit zijn bijdrage:

‘Ja, de AV [Autonomous Vehicle, robotauto] is nog steeds in ontwikkeling, en er treden nog kinderziektes op. Moeten we daarom maar wachten op de ‘perfecte’ AV (met 90 procent minder ongelukken; toch nog steeds 10 procent = 125.000 slachtoffers)? Of mogen we de AV pas introduceren als die 99 procent veilig is (toch nog 12.500 slachtoffers), 100 procent (onmogelijk)? Nee, want in de tussentijd zijn er nog steeds meer dan 1 miljoen slachtoffers per jaar (vermijdbaar!) te veel. Sterker nog: ik denk dat het een doodzonde is, om de introductie van AV uit te stellen.’

Dus: hoe veilig moet een robotauto zijn voor die de weg op mag en hoe bepaal je dat? Planoloog Marco te Brömmelstroet stelt een voorzorgsprincipe voor zoals dat ook voor het op de markt brengen van medicijnen geldt:

‘Toon eerst aan dat de negatieve effecten klein, of veel kleiner zijn dan de positieve. In plaats van de huidige tendens naar omgekeerde bewijslast: ‘Het komt nu eenmaal, dus testen met die hap.’

3. Waarom zouden de roboticawetten van Isaac Asimov niet opgaan voor echte robotauto’s?

Dezelfde planoloog vraagt zich op Twitter af waarom de drie wetten van de robotica uit het werk van sciencefictionschrijver Isaac Asimov niet zouden opgaan voor echte robotauto’s. En of de grens dan dus niet toch gewoon bij nul doden ligt.

Eerste wet: een robot mag een mens geen letsel toebrengen of door niet te handelen toestaan dat een mens letsel oploopt. (Klik op de pijltjes voor de tweede wet en de derde wet.)

Deze drie wetten leveren in Asimovs verhalen voortdurend dilemma’s en conflicten op: het is het vertelmechaniek waar zijn verhalenserie I, Robot op draait.

In de echte wereld werd de eerste wet van de robotica in Arizona op 18 maart 2018 door een robotauto overtreden: een robot heeft een mens dodelijk letsel toegebracht.

Kunnen we een voorbeeld nemen aan fictie? Zo ja, wat beslissen we als mensheid dan nu?

4. Waarom zou de klassieke auto de basis moeten zijn voor een zelfrijdend systeem?

Per Hassel Sørensen, een Noorse uitvinder, schreef in antwoord op de vraag over Asimov dat hij de auto ongeschikt basismateriaal vindt om zelfrijdende robots van te maken:

‘Ze zijn gewoon te snel en zwaar om onmiddellijk te stoppen als een mens, fietser of dier zich onvoorspelbaar gedraagt. Tegelijkertijd wordt van auto’s verwacht dat ze zich snel bewegen, want een langzame robotauto veroorzaakt woede op de weg. Daarom is er een veel lichter mobiel robotplatform nodig, dat zich gedraagt volgens de roboticawetten, een systeem dat geen woede en ergernis opwekt als het langzaam gaat. En dat snel genoeg is om onmiddellijk te kunnen stoppen wanneer dat nodig is. Het moet ook licht genoeg zijn om geen serieuze schade te veroorzaken als er iets misgaat.’

Sørensens bedrijf is bezig met het ontwikkelen van autonome voertuigen op basis van de elektrische fiets, maar dan met vier wielen en een gesloten carrosserie.

Waarom zou een robotauto niet van een compleet andere, veel lichtere en wendbaarder vervoersklasse kunnen worden? En wie beslist dat?

5. Zullen we gaan redeneren vanuit de belangen van de mens en de stad?

De wereld verstedelijkt in rap tempo - steeds meer mensen leven daar dicht op elkaar. Hoe werkt de robotauto daarbinnen? En werkt de gewone auto daar eigenlijk wel?

Een docent schrijft:

‘De zelfrijdende auto wordt ontwikkeld als oplossing voor de gevaren die snelrijdende rotsblokken in de openbare ruimte creëren. Hoewel dat een goed doel is, lijkt het me terecht dat je, bij de evaluatie van een technische oplossing daarvoor, je ook eens afvraagt of je wel snelrijdende rotsblokken in de openbare ruimte zou moeten willen.’

Sjoerd Linders, die van beroep ‘Ontwerper Verkeersregelingen Amsterdam’ is, voorziet problemen met interacties in de stad:

‘De positieve impact op stedenbouw (minder parkeerplekken) hoor ik vaak terug, maar de negatieve impact (meer bewegingen = meer beweegruimte) en de onmogelijkheden (met veel interacties in de stad kan een voertuig niet omgaan) veel minder. Verstandiger is het om te stellen dat een voertuig alleen binnen een streng afgebakend gebied mag ‘zelfrijden’, zoals de snelweg, maar hoeveel extra veiligheid/gemak biedt dat dan ten opzichte van de investeringen? In een leefomgeving zie ik de zelfrijdende auto niet voor me (tenminste niet in een omgeving waar ik zou willen leven).’

Een ander lid vraagt zich af of de snelwegen die geschikt zijn voor zelfrijdende auto’s ook in de stad passen, zonder ongewenste gevolgen voor de leefgemeenschap:

‘Fantastische uitspraak: ‘Ik ben bang dat ‘smart cars’ ‘dumb cities’ nodig hebben!’ De toepassing van zelfrijdende auto’s lijkt het meest aantrekkelijk op gladde, afgeschermde snelwegen. Willen we inderdaad dat die aantrekkelijker worden, of willen we levendige ‘communities’ waar mensen samen wonen, leven en werken? En is dat dan nog verenigbaar met het gebruik van auto’s, zelfrijdend of anderszins?’

6. De autopiloot van een schip zet je toch ook uit als je aankomt in de haven?

Een Correspondentlid dat werkt met gps voor scheepvaart legt uit: schepen worden handmatig havens ingevaren. Waarom zou dat niet ook gelden voor auto’s op automatische piloot in de stad?

‘Zelfvarende schepen en zelfsturende vliegtuigen zijn eenvoudiger te realiseren dan zelfrijdende auto’s. ‘Autopilots’ voor schepen en vliegtuigen werken al jaren erg goed. Toch wordt er, bij het stijgen en landen en het in en uit varen van havens, nog steeds overgeschakeld op handbediening vanwege te groot risico van onvoorziene omstandigheden.’

Zijn conclusie: autopiloot voor auto’s op snelwegen: ja. Van de snelweg af: terug naar handbediening.

7. Waarom accepteren we doden in de luchtvaart niet en in het autoverkeer wel?

In de luchtvaart accepteren we geen doden. Uit een artikel op City Lab:

‘We kunnen gewoon zeggen dat voetgangersdoden onacceptabel zijn, net als we dat doen voor de luchtvaart, waar elk incident intensief wordt bestudeerd, en commerciële luchtvaartdoden wereldwijd zijn afgenomen van 2.469 mensen in 55 crashes in 1972 tot slechts 44 doden in 2017 - waarvan geen één in een passagiersvliegtuig. Bij Amerikaanse luchtvaartmaatschappijen zijn geen doden meer gevallen sinds 2009.’

Waarom accepteren we wel doden in het autosysteem? Is dit niet een goed moment om dáár vragen over te gaan stellen, nu we er algoritmes voor gaan schrijven? Een lid schrijft:

‘Ik vind je vraag in een bredere (filosofische?) context superinteressant, namelijk hoeveel risico vindt een maatschappij acceptabel? Hoeveel doden accepteren overheden of de maatschappij bij een vervoerssysteem zoals auto’s? [...] Mooi om te verkennen op dit onderwerp, omdat het bij geautomatiseerde processen expliciet naar boven komt en er ineens aan gerekend en gemodelleerd kan worden.’

8. Wat betekent het voor de maatschappij als we verantwoordelijkheid uit handen geven aan technologie?

Mensen voelen zich niet zonder reden onrustig over het idee dat mensen de verantwoordelijkheid voor het autorijden gaan laten overnemen door technologie. Dat heeft namelijk ook consequenties voor de sociale interacties van mensen. Uit de bijdrage van de hierboven al aangehaalde docent:

‘Doden door zelfrijdende auto’s laten zien dat technologie niet alleen gebruikt wordt om ons klusjes uit handen te nemen (zoals opletten en het stuur vasthouden als je rijdt) maar ook verantwoordelijkheden (wie let er dan wel op als je rijdt en wie is verantwoordelijk als het misgaat?). En de onrust daarover is volgens mij óók terecht: want een samenleving bestaat toch bij de gratie van voortdurend verantwoordelijkheid nemen, door je te houden aan gestelde regels, maar ook door een beetje opzij te gaan voor iemand die haast heeft, vriendelijk te zijn tegen de groenteboer en niet over iemand heen te rijden die zich niet helemaal aan het zebrapad heeft gehouden.’

En een programmeur stelt vragen over de gevolgen van het feit dat verantwoordelijken voor beslissingen zichzelf via de robotauto op afstand plaatsen:

‘Door het creëren van de afstand zijn de mensen die de fouten maken niet degenen die doodgaan en ook niet degenen die voor de rechter komen. Er zijn al aardig wat dubieuze situaties ontstaan door softwareproblemen en -aanpassingen bij auto’s. In hoeverre hebben we daar grip op? Dat is niet het probleem met zelfrijdende auto’s op zich, maar wel de context waarin de software ontworpen en getest wordt. Is die goed? Blijft die goed als ongelukken niet meer voorpaginanieuws zijn?’

9. Is het een zelfrijdende auto of een robotauto of...?

Is ‘zelfrijdende auto’ een nauwkeurige term? Ikzelf heb inmiddels een milde voorkeur voor de term robotauto - daaruit komt duidelijk naar voren dat de auto voorgeprogrammeerde handelingen uitvoert.

Ik kwam hierop dankzij dit filmpje van een YouTube-filosoof, dat gepubliceerd werd een paar dagen voor het ongeluk in Arizona.

Hij zegt, en ik vertaal het even niet: we hebben het feitelijk over een unsupervised pre-driven car. De video is een echte must see voor het debat over verantwoordelijkheid bij de robotauto.