Als ik kinderen zou hebben, zou ik die dan ongebreideld rond laten struinen op internet?

Iemand of iets, of een of andere combinatie van mensen en dingen gebruikt YouTube om kinderen systematisch bang te maken, te traumatiseren en te mishandelen. Het gebeurt automatisch en op grote schaal, en dat dwingt me om op elk denkbaar niveau vraagtekens te zetten bij

Om te beginnen: de kinderhoek op YouTube is totaal bizar. Vorig jaar verschenen er een paar artikelen over de gekte rond verrassingseieren, Kinder Surprises. In soms hemeltergend lange filmpjes is te zien hoe mensen verrassingseieren of ander speelgoed uitpakken. Meer is het niet, maar kinderen zijn erdoor gefascineerd. Er zijn binnen het Engelse taalgebied, en misschien ook wel daarbuiten, duizenden en duizenden van dit soort filmpjes. En misschien wel miljoenen kinderen die er naar kijken.

YouTube

Ooit gehoord van Sinds 2010 heeft hij 3,7 miljoen abonnees weten te krijgen en net geen zes miljard views, zo

En dat met een kinderkanaal dat volledig is gewijd aan het openmaken van verrassingseieren en het uitpakken van speelgoed. De titels van de video’s zijn een aaneenschakeling van obscure merknamen: ‘Surprise Play Doh Eggs Peppa Pig Stamper Cars Pocoyo Minecraft Smurfs Kinder Play Doh Sparkle Brilho’, ‘Cars Screamin’ Banshee Eats Lightning McQueen Disney Pixar’, ‘Disney Baby Pop Up Pals Easter Eggs SURPRISE.’

Op het moment van schrijven heeft hij in totaal 4.426 video’s gemaakt, en er komen er meer bij. Met zoveel views - ter vergelijking: het officiële kanaal van Justin Bieber heeft meer dan tien miljard views, full-time YouTube-celeb PewDiePie heeft er bijna 12 miljard - is het goed voorstelbaar dat deze man kan leven van een paar zachtjes mompelende handen die verrassingseieren uitpakken (Surprise Egg-video’s zijn allemaal voorzien van pre-roll advertenties, soms ook in het midden van de video, eromheen staan ook advertenties).

Dit zou je enig idee moeten geven hoe maf die wereld van online kindervideo’s is.

Een ander gigantisch ding, vooral voor de allerkleinsten: filmpjes met kinderliedjes.

YouTube

dat bovenstaand filmpje maakte, is het op YouTube. Het heeft 515 video’s uitgebracht, die leverden volgens sites die zulke informatie in kaart brengen maar liefst 11,5 miljoen abonnees en 13 miljard views op. Of deze getallen precies kloppen is een tweede, maar het is hoe dan ook een enorme industrie.

‘Video on demand’ trekt zowel ouders als kinderen aan, en dus ook contentmakers en adverteerders. Kleine kinderen worden betoverd door deze filmpjes, of het nu om bekende figuren en liedjes gaat, of gewoon om simpele vrolijke kleuren en rustgevende geluiden. Dit zijn lange filmpjes - een populaire strategie van de makers is het aan elkaar plakken van een hele rits kinderliedjes of afleveringen van tekenfilms tot compilaties van meer dan een uur. Dat deze filmpjes juist om hun lengte worden aangeprezen, toont aan hoeveel tijd kinderen eraan spenderen.

YouTubers zetten nog meer van dit soort tactieken in om kinderen en ouders te lokken naar hun filmpjes en de bijbehorende advertentie-inkomsten. Eén ervan is het simpelweg illegaal kopiëren van andere content. Even op YouTube zoeken op ‘Peppa Pig’ levert ‘ongeveer 10.400.000 resultaten’ op. De eerste pagina bestaat bijna volledig uit filmpjes van het officiële Peppa Pig-kanaal; eentje is van het niet-geverifieerde kanaal Play Go Toys, wat je waarschijnlijk niet eens zou opvallen als je er niet op zou letten.

Het kanaal van bestaat - vermoed ik - uit illegaal gekopieerde filmpjes van onder meer Peppa Pig, uitpakvideo’s van speelgoed (nog iets wat kinderen schitterend vinden) en filmpjes van, naar ik aanneem, de kinderen van de eigenaar van het kanaal. Niks ten nadele van Play Go Toys, overigens. Het laat vooral zien hoe YouTube, door de manier waarop het is vormgegeven, content en maker van elkaar losweekt.

Disneyfilms en Peppa Pig worden met zorg gemaakt - dit niet

Dat maakt het moeilijker om de herkomst te begrijpen van de filmpjes die we kijken. En het maakt het moeilijker om ze te vertrouwen.

Een van de traditionele eigenschappen van zogeheten ‘branded content’ is dat de afzender betrouwbaar is. Of het nu Peppa Pig is of een Disneyfilm, en wat je ook vindt van het verdienmodel van dit soort entertainmentproducten: je kunt erop vertrouwen dat ze zorgvuldig worden gemaakt. Dat er wordt gecontroleerd of ze geschikt zijn voor kinderen. Zulks gebeurt niet wanneer een videoplatform (in dit geval dus YouTube) ervoor zorgt dat merk en content worden

Een tweede manier waarop YouTubers hun hits opkrikken is via keywords en hashtags, een duistere kunst op zich. Als een bepaalde trend aanslaat, zoals met die verrassingseieren, duiken contentmakers er allemaal bovenop en maken ze duizenden en duizenden van dit soort filmpjes, in allerlei mogelijke varianten. Daar komt die rare lijst met namen hierboven vandaan: de namen van kinderliedjes en het woord ‘verrassingsei’ worden allemaal in dezelfde woordensoep gemikt om hoog uit te komen in de zoekresultaten, in de zijbalk en in het ‘up next’-lijstje.

YouTube

Nog zo’n voorbeeld van dit soort rare dingen zijn de Finger Family-filmpjes (hierboven staat een onschuldige variant). Ik heb geen idee waar ze vandaan komen of waar het kinderliedje waarop de filmpjes zijn gebaseerd überhaupt vandaan komt, maar er zijn op YouTube maar liefst 17 miljoen versies van. In elk genre,

Wat ik verontrustend vind aan deze wildgroei van is dat het onmogelijk is om in te schatten wat er geautomatiseerd aan is, en uit machines komt, en aan welk aspect wel mensen te pas komen. Op het voorbeeld hierboven, afkomstig van een kanaal dat Bounce Patrol Kids heet en dat ongeveer twee miljoen abonnees heeft, zie je dat effect goed. Het kanaal publiceert ongeveer wekelijks een professioneel gemaakte video, met echte, menselijke acteurs.

Contentproductie in tijden van algoritmes: je moet doen wat de machine voorschrijft

Het heeft wat vreemds om een groep mensen te zien die eindeloos stukjes speelt op basis van algoritmisch gegenereerde keywords:

‘Halloween Finger Family & more Halloween Songs for Children | Kids Halloween Songs Collection’, ‘Australian Animals Finger Family Song | Finger Family Nursery Rhymes’, ‘Farm Animals Finger Family and more Animals Songs | Finger Family Collection - Learn Animals Sounds’, ‘Safari Animals Finger Family Song | Elephant, Lion, Giraffe, Zebra & Hippo! Wild Animals for kids’, ‘Superheroes Finger Family and more Finger Family Songs! Superhero Finger Family Collection’, ‘Batman Finger Family Song — Superheroes and Villains! Batman, Joker, Riddler, Catwoman’, enzovoort, enzovoort.

Dit is contentproductie in tijden van algoritmes: al ben je menselijk, uiteindelijk moet je toch doen wat de machine voorschrijft.

Andere kanalen maken überhaupt geen gebruik van menselijke acteurs om eindeloze variaties te kunnen maken op dezelfde video. Wat je daar ziet is duidelijk geautomatiseerd. Stock animaties, geluidstracks en lijsten met trefwoorden worden met duizenden tegelijk aan elkaar geplakt om een eindeloze stroom filmpjes te maken. Bovenstaand kanaal, Videogyan 3D Rhymes - Nursery Rhymes & Baby Songs, publiceert een handvol filmpjes per week, met steeds ingewikkelder combinaties van trefwoorden. Het kanaal heeft abonnees, meer dan twee keer zoveel als Bounce Patrol.

Dit systeem is gigantisch, én internationaal. Er zijn varianten van Finger Family- en Learn Colour-filmpjes op basis van Indiase mythen en er zijn Maleisische cartoons die niet snel zullen opduiken in Engelstalige zoekresultaten. Deze onbestemdheid en dit enorme bereik zijn essentieel. Dit fenomeen heeft zoveel dimensies dat het moeilijk is het echt te bevatten, of er werkelijk over na te denken.

Volledige automatisering heeft al vaker voor schokkende resultaten gezorgd. Neem het verhaal van de ‘Keep Calm en Rape A Lot’-t-shirts (net als de ‘Keep Calm and Knife Her’- en de ‘Keep Calm and Hit Her’-shirts): die werden gemaakt door een algoritme dat als opdracht had gekregen om de bekende slogan ‘Keep calm and…’ te combineren met populaire woorden.

Dat het uiteindelijk ook dit soort bizarre prints uitspuwde is deprimerend en verontrustend, maar nog wel te verklaren. Het was niemands bedoeling deze t-shirts te maken, er werden gewoon ongecontroleerde lijsten met werkwoorden en voornaamwoorden gekoppeld aan een online beeldgenerator. Het is goed mogelijk dat deze t-shirts nooit echt fysiek hebben bestaan, nooit zijn gekocht of gedragen, en dat er dus geen kwaad is geschied. Maar: de mensen die deze content creëerden hadden niets in de gaten, en de distributeur ook niet. Ze hadden letterlijk geen idee wat ze aan het doen waren.

YouTube is een enorm systeem, en dit soort filmpjes zijn het gevolg

Dat brengt me bij mijn centrale punt: de schaal en logica van deze systemen zijn medeplichtig aan dit soort uitkomsten. En dat dwingt ons om na te denken over de ervan.

Laten we eens kijken naar uit de stapel kindervideo’s en proberen uit te vogelen waar het vandaan komt.

De automatisering die ik beschreef, brengt ons op hele, hele vreemde plekken. Onderstaand filmpje vond ik toen ik diep was afgedaald in de donkere krochten van internet. Waar het onmogelijk was om te achterhalen hoe dit filmpje tot stand is gekomen.

Een waarschuwing vooraf: dit filmpje is totaal niet schokkend, maar er is wel heel duidelijk iets niet pluis, en er zitten dingen in die je zomaar storend zou kunnen vinden.

YouTube

Bovenstaand filmpje is genaamd Wrong Heads Disney Wrong Ears Wrong Legs Kids Learn Colors Finger Family 2017 Nursery Rhymes. Die titel alleen geeft al aan dat het door machines is gegenereerd.

Ik heb geen idee waar het ‘Wrong Head’-idee vandaan komt, maar net als met de Finger Family Song kan ik me voorstellen dat er ergens een volledig originele en onschuldige versie is die zoveel kinderen aan het lachen heeft gemaakt dat hij hoog in de algoritmische lijsten is gekomen. Om vervolgens in de woordsoep-lijsten te komen, gecombineerd te worden met populaire termen als Learn Colors, Finger Family en Nursery Rhymes, en met vervolgens met al die dingen - niet alleen als woorden, maar ook als beelden, processen en handelingen - vermengd te worden tot wat we hier zien.

Het filmpje is een normale versie van het Family Finger-liedje, en dat liedje wordt afgespeeld bij een animatie waarin de lichamen en hoofden van figuren uit de Disneyfilm Aladdin worden gehusseld. Het gevoel dat er iets niet pluis is, ontstaat als er ineens een figuurtje verschijnt dat niet uit Aladdin komt: Agnes, het kleine meisje uit de film Despicable Me. Agnes is de scheidsrechter van het spelletje: als het hoofd niet op het bijbehorende lichaam zit, huilt ze. Als er een match is, juicht ze.

De maker van het filmpje, heeft een heleboel vergelijkbare filmpjes geproduceerd. Alle Wrong Heads-filmpjes die ik kon kijken voordat ik gek werd, werken op exact dezelfde manier. Het meisje Hope uit de film Inside Out huilt bij de husseling van smurfen- en trollenhoofden. Het gaat maar door. Ik snap het spelletje, maar het overlappen en door elkaar heen gooien van verschillende ideeënwerelden kruipt onder je huid.

De vraag is dus: hoe is dit ontstaan? In de ‘Bad Baby’-filmpjes op BABYFUN TV zit hetzelfde huilgeluidje. Hoewel ik het ongemakkelijk vind, kan ik me voorstellen dat deze content echte baby’s een soort ritme of kadans biedt, een soort herkenbaarheid - ook al is het vervormd en gemangeld en opnieuw samengeplakt door allerlei algoritmes op manieren die niemand eigenlijk wil.

En dan zijn er nog de horrorfeestjes met Peppa Pig

Dan is er nog een groep van wat ik noem ‘door mensen bestierde video’s’ die nog veel schokkender zijn dan de vooral smakeloze filmpjes Een vrij mild, maar nog altijd akelig voorbeeld zijn de Peppa Pig-filmpjes die YouTube eerder deze maand heeft verwijderd.

Dit soort nep-varianten gaat een stap verder dan de eerder genoemde illegale kopieën. In de officiële Peppa Pig-filmpjes gaat de hoofdpersoon, het varkentje Peppa, inderdaad een keer naar de tandarts. In de (inmiddels dus verwijderde) nep-variant op dat werd Peppa op haar gemak gesteld door een vriendelijke tandarts. In de illegale versie werd ze feitelijk gemarteld, waarop ze in een verzameling Iron Man-robots verandert en een dansje doet. Als je zocht op ‘peppa pig dentist’, kwam deze video op de eerste pagina te staan, en vanaf dat punt werd het alleen maar erger.

Eerder dit jaar bleek dat de schokkende Peppa Pig-filmpjes, die draaien om extreem geweld en angst, met Peppa die haar vader opeet of bleekwater drinkt, enorm wijdverspreid zijn. Ze vormden een complete subcultuur op YouTube. Veel ervan waren overduidelijk parodieën, of zelfs parodieën op zichzelf, in de vrij bekende grove en opzettelijk kwetsende stijl die het internet eigen is.

Het is misschien naïef om dit soort opzettelijk schokkende versies niet te zien aankomen, maar veel van dit soort filmpjes lijken zo erg op het origineel en geven zo weinig waarschuwingssignalen - zoals het voorbeeld van de tandarts -

Het gaat hier niet alleen om de kinderen. Natuurlijk is deze content voor hen ongeschikt, natuurlijk bestaan er kwaadwillende types, natuurlijk moeten sommige van deze video’s worden verwijderd. Natuurlijk roept dat op zijn beurt weer vragen op over fair use, over toeëigening, de vrijheid van meningsuiting, enzovoort. Maar wie dit probleem alleen maar door zo’n lens bekijkt, gaat voorbij aan de machinaties en mechanismen van het systeem erachter, en kan de volledige implicaties ervan niet bevatten - laat staan er accuraat op reageren.

Niemand snapt nog wat hier aan de hand is

In de stukken die in en andere Amerikaanse en Britse media de afgelopen maanden verschenen over dit soort filmpjes, ging het vooral over gebrekkig toezicht en rammelende regelgeving. YouTube Kids, een officiële app die veilig voor kinderen claimt te zijn maar dat overduidelijk niet is, werd daarin aangewezen als de schuldige. De videodienst zou onterecht vertrouwen wekken bij gebruikers. Journalisten nemen klakkeloos van YouTube aan dat dit soort filmpjes maar weinig voorkomen en dat de kwalijke video’s snel verwijderd worden. Gezien de wildgroei van nieuwsverhalen over dit fenomeen en de toenemende hoeveelheid social media-posts van verontruste ouders die eraan ten grondslag liggen, is daar niks van waar.

Maar wat me zorgen baart bij de Toy Freaks- en Peppa-video’s, is het samenspel tussen enerzijds de overduidelijke parodieën en de schimmiger nepvarianten en anderzijds al die algoritmische contentproducenten. Dat samenspel maakt het onmogelijk om te zien wat er precies gebeurt.

Ik wil de term ‘door mensen bestierd’ hier eigenlijk niet meer gebruiken, hoewel in al deze filmpjes dezelfde soort verhaaltjes zitten en het echte mensen zijn die erin spelen. Ik heb geen idee meer wat hier precies aan de hand is, ik wil het eigenlijk echt niet weten en ik begin langzaam te denken dat dat zo’n beetje de bedoeling is. Er zit veel werk in het maken van dit soort dingen.

Zou dit meer opbrengen dan spam? Wie schrijft deze scripts, wie monteert

Een paar dingen die mij verontrusten:

  • De mate van horror en geweld die wordt getoond. Soms is het gewoon trol-achtige gore zooi, maar meestal gaat het dieper dan dat, op een onbewuster niveau. Het internet is in staat om veel van onze latente verlangens te versterken en te stimuleren. Sterker nog: het lijkt ervoor gemaakt. Ik maak me daar geregeld hard voor, zeker als het gaat om seksuele vrijheid, de individuele identiteit en andere dingen. Maar op dit gebied voelt deze eigenschap van internet steeds gewelddadiger en destructiever.
  • De mate waarin kinderen worden uitgebuit. Dat verontrust me niet zozeer omdat ze kinderen zijn, maar vooral omdat ze machteloos zijn. Geautomatiseerde beloningssystemen zoals de algoritmes van YouTube leiden automatisch tot uitbuiting, net zoals kapitalisme vanzelf leidt tot uitbuiting - en als je iemand bent wiens nekharen normaal gesproken overeind gaan staan van uitbuiting door kapitalisme, dan kan dit verhaal je misschien van de waarheid overtuigen.

In de systemen die we bouwen, is uitbuiting ingebouwd. Dat maakt het steeds moeilijker om het te zien, om erover na te denken en het uit te leggen, om je ertegen te verzetten en je ertegen te beschermen. We hebben het niet over een verre toekomst met kunstmatig intelligente eindbazen en fabrieken vol robots, maar over het hier en nu, op je scherm, in je woonkamer, in je broekzak.

In de systemen die we bouwen, is uitbuiting ingebouwd

Veel van deze laatste voorbeelden maken gehakt van de tegenwerpingen dat niemand daadwerkelijk naar deze filmpjes kijkt, dat dit allemaal bots zijn. Er zijn hier mensen bij betrokken, alleen al bij het produceren ervan. En over hen maak ik me ook best zorgen.

Een vriend van me die in de wereld van video werkt, legde me uit wat er voor nodig is om zoiets als dit te maken: een kleine studio met een man of zes (misschien iets meer) die een groot volume content van lage kwaliteit produceren, met als doel advertentie-inkomsten te genereren. Dat doen ze door bepaalde eisen van het systeem te foppen. Lengte bijvoorbeeld - dat schijnt een factor te zijn. Volgens mijn vriend is op kinderen gerichte content een van de weinige manieren om geld te verdienen met 3D-animatie. De esthetische eisen zijn laag en onafhankelijke producenten kunnen snel opschalen.

Het gebruikt bestaande en makkelijk te vinden content (zoals modellen van tekenfilmpersonages en bibliotheken vol motion capture-bestanden) en het kan eindeloos worden herhaald en herzien tot grotendeels betekenisloos materiaal; de algoritmes maakt het niks uit, en de kinderen ook niet.

Er moet iets gebeuren. Want dit is misbruik

Kinderen blootstellen aan dit soort content is misbruik. We hebben het hier over hele jonge kinderen, die vrijwel vanaf hun geboorte doelmatig worden bestookt met traumatische en schokkende content, via netwerken die extreem kwetsbaar zijn voor precies dit soort misbruik. Het gaat niet om trollen, maar over een soort geweld dat inherent is aan het samengaan van digitale systemen en kapitalistische prikkels.

Het systeem is medeplichtig aan dit misbruik. En YouTube en Google zijn medeplichtig aan het systeem. Ik vind dat Google en YouTube om hier iets aan te doen.

Blijft de vraag: wát precies?

Eerlijk gezegd weet ik het niet. Ik kan geen manier bedenken waarop we er iets aan kunnen doen zonder het hele systeem uit te schakelen. We hebben een wereld gebouwd op zo’n grote schaal dat menselijk toezicht simpelweg onmogelijk is. De verantwoordelijkheid voor de gevolgen ervan is onmogelijk toe te schrijven aan iets of iemand.

Maar wat ik wel weet: dit systeem beschadigt mensen. Echte mensen.

Dit artikel is eerder, in een langere versie, verschenen op Het is uit het Engels vertaald door Hans Pieter van Stein Callenfels.

Meer lezen?

Wat er gebeurt wanneer kunstenaars de wereld moeten redden Klimaatverandering, vervuiling, ongelijkheid: voor het oplossen van zulke grote problemen doen we steeds vaker een beroep op de verbeeldingskracht van kunstenaars. Twee nieuwe projecten geven het goede voorbeeld - hoe klein de stapjes ook zijn. Lees het verhaal van Lynn hier terug Als data je rechten gaan bepalen Onze data worden steeds vaker gebruikt om te bepalen welke rechten je hebt. Volgens de Amerikaanse onderzoeker John Cheney-Lippold gaan we toe naar een algoritmisch burgerschap. Lees het verhaal van Dimitri hier terug