‘Het is orwelliaans als het werkt, het is kafkaësk als het niet werkt.’ Dat zei Frederike Kaltheuner, expert op het gebied van technologiebeleid, vorige week tijdens over ‘geautomatiseerde discriminatie’. Ze had het over gezichtsherkenning.

De kafkaëske kant van de technologie werd tijdens de sessie concreet gemaakt door Nakeema Stefflbauer. Nadat ze een creditcard aangeboden had gekregen van haar bank, moest ze zich identificeren. Ze stuurde een scan van haar rijbewijs, dat werkte niet. Toen een selfie, weer niks. Nadat ze uiteindelijk een scan van haar paspoort had gestuurd, kreeg ze te horen: ‘We kunnen je niet identificeren.’ Niemand wist waarom, maar het lukte niet.

Ook verwees Stefflbauer naar een student die werd beschuldigd van betrokkenheid bij aanslagen in Sri Lanka. De overheid zette haar foto online om de daders op te sporen, alleen: naast haar foto stond niet haar eigen naam, maar die van Fathima Qadiya. Gezichtsherkenningssoftware had haar ten onrechte ‘herkend’. De politie gaf de fout toe, maar het was al te laat. Majeed ontving doodsbedreigingen.

Maar werkt gezichtsherkenning wél, dan kan ze net zo angstaanjagend zijn. Zo gebruikt de Chinese overheid de technologie om de Oeigoerse minderheid te volgen. Met behulp van camera’s wordt bijgehouden waar Oeigoeren gaan en staan. ‘Een nieuw tijdperk van geautomatiseerd racisme’, volgens

Tweede golf

Ik zat zelf ook in een panel tijdens de sessie in het Europees Parlement. Een van mijn punten: we moeten technologie niet alleen eerlijker willen maken, maar ons ook afvragen of we bepaalde technologie überhaupt wel willen gebruiken.

Gezichtsherkenning is daar een goed voorbeeld van. De software worstelt op dit moment met zwarte gezichten, die hij vaak niet herkent. Is het dan zaak om de databases aan te vullen met foto’s, zodat ook een donkere huidskleur wordt herkend?

Dat leidt soms tot zoals een bedrijfje dat voor Google foto’s moest verzamelen van donkere mensen. Naar verluidt misleidden ze daarbij onder anderen daklozen om hun gezicht te laten scannen.

Zelfs als het materiaal voor gezichtsherken-ningssoftware ethisch wordt verzameld, kan het voor immorele doeleinden worden gebruikt

Maar zelfs als het materiaal wel ethisch wordt verzameld, dan kan het voor immorele doeleinden worden gebruikt. Dat zie je aan het voorbeeld van de Chinese overheid. Wil je gezichtsherkenning dan eigenlijk wel inzetten?

Onlangs verscheen van Frank Pasquale over ‘the second wave of algorithmic accountability’. In de eerste golf vroegen wetenschappers, journalisten en juristen zich vooral af hoe algoritmes eerlijker konden worden. De tweede golf gaat over de vraag of je ze überhaupt wel wilt gebruiken.

‘Al waren ze in het begin verkikkerd op de computerevaluaties van personen, zelfs veel leden van het establishment van het bedrijfsleven en de overheid geven nu toe dat data bevooroordeeld, inaccuraat of ongepast kunnen zijn.’

En nu moeten we doorpakken, volgens Pasquale. Daarbij citeert hij ‘Welke systemen verdienen het om gebouwd te worden? Welke problemen moeten opgelost worden? Wie kan ze het best bouwen? En wie beslist?’

In 2020 presenteert de Europese Commissie een plan voor kunstmatige intelligentie. Het zal mij benieuwen.

#NerdAlert

ELMo, Grover, Big BIRD, twee ERNIE’s, een ERNIE 2.0... Er zijn een hele hoop AI-systemen vernoemd naar een muppet. Maar waarom? Daar las ik over op The Verge.

Het gaat om machinelearningmodellen die iets met taal doen. Het begon allemaal met ‘Embeddings from Language Models’ van het Allen Institute in 2017. Met een beetje fantasie af te korten tot ELMo.

Het jaar daarop kwam Google met Bidirectional Encoder Representations from Transformers. Jup, daar was BERT. En zo ging het door. Niet voor niets wordt dit type AI ook wel ‘Muppetware’ genoemd.

Is het alleen een grapje? Nee, betoogt James Vincent, de auteur van het artikel. Het laat zien hoezeer verschillende teams op elkaars werk leunen bij het ontwikkelen van AI én naar elkaar verwijzen door hun eigen werk ook een Muppetnaam te geven.

Nu maar wachten op Oscar Mopperkont.

Tot slot...

van econoom Sendhil Mullainathan die aan het denken zet: ‘Bevooroordeelde algoritmes zijn gemakkelijker te fixen dan bevooroordeelde mensen’.