Eerst geven we een korte verantwoording voor ons onderzoek, dat leidde tot Wil je meteen de uitgebreide versie lezen, begin dan hier.

De onderzoeksverantwoording in het kort

Heeft YouTube een ‘rechts radicaliseringsprobleem’, zoals een groeiende groep onderzoekers stelt? Om die vraag te beantwoorden sloegen De Correspondent en de handen ineen. Het afgelopen jaar verzamelden we circa 1.500 kanalen, 600.000 video’s, 120 miljoen reacties, 15 miljoen aanbevelingen en 440.000 transcripties van video’s. Deze data hebben we met behulp van data-analytici, mediawetenschappers en algoritmedeskundigen geanalyseerd.

We onderzochten onder meer de verbindingen tussen duizenden videokanalen met een reactionair-rechtse inslag, variërend van gematigd (politiek conservatief) tot extremistisch (neonazistisch, alt-right). Deze kanalen volgen elkaar, verwijzen naar elkaar en doen soms ‘gastoptredens’ bij elkaar.

Waarom namen we de rechtse uitwassen onder de loep en niet de linkse? De aanwezigheid van militant links (revolutionaire marxisten, antifascisten) is vrij marginaal vergeleken met extreemrechts op YouTube, blijkt uit onze data. Daarbij gaf de opkomst van rechtspopulisme in Europa en de VS, die volgens verschillende studies niet los kan worden gezien van de rol van sociale media, ook aanleiding de blik op rechts te richten.

We wilden ook weten welke routes kijkers in de reactionair rechtse YouTube-scene afleggen en of die hun ideeën beïnvloeden

We wilden ook weten welke routes kijkers in de reactionair rechtse YouTube-scene afleggen en of die hun ideeën beïnvloeden. Om dat te kunnen bepalen, richtten we ons op de miljoenen comments. We onderzochten welke gebruikers reacties op meer dan tien kanalen achterlieten en welke van hen dat het meeste deden, en wisten zo 175 Nederlanders te selecteren. Van hen konden we gedetailleerd reconstrueren welke video’s ze bekeken en welke opvattingen ze op dat moment blijk gaven.

We weten niet hoe representatief deze groep is voor de gemiddelde kijker in de reactionair rechtse wereld. Er zijn veel YouTube-gebruikers die nooit een reactie plaatsen: 20 procent van de gebruikers is verantwoordelijk voor 80 procent van de comments. Wel viel op dat de onderzochte groep divers is (qua geslacht en leeftijd), en relatief hoog opgeleid lijkt. Drie commenters hebben we uitgebreid geïnterviewd. Daarnaast hebben we drie studenten gesproken die eveneens veel video’s uit dit universum bekijken.

De lange versie

Al enkele jaren is er een levendige discussie over de rol van sociale media bij de opkomst van rechtspopulistische bewegingen in Europa en de VS. Vooral Facebook en Twitter staan volop in de belangstelling vanwege de verspreiding van propaganda, nepnieuws, complottheorieën en hatelijke ideologieën. Vreemd genoeg is er maar weinig bekend over de rol van YouTube, terwijl die van de sociale media een van de grootste is – en onder jongeren de populairste.

Dit riep bij ons een aantal vragen op over YouTube:

  1. Wat is er aan extreme video’s te vinden op YouTube? Wat is daar precies zo extreem aan? Kortom: over wat voor radicalisering hebben we het precies?
  2. Hoe kom je als gebruiker bij die extreme content? Hoe werkt dit soort online radicalisering? Wat is de rol van de makers, de gebruikers en het platform daarin?
  3. Moet daar iets aan gebeuren? Zo ja, wat dan en tot welke dilemma’s kan dat leiden?

Naar deze vragen is, voor zover ons bekend, weinig wetenschappelijk onderzoek gedaan en als dat al plaats had, is het soms alweer verouderd omdat het YouTube-platform in de tussentijd

Wel verscheen vlak voor en gedurende ons onderzoek, waarmee wij in de eerste maanden van 2018 begonnen, een aantal artikelen in Engelstalige media over de rol die het aanbevelingsalgoritme zou spelen in de radicalisering van gebruikers. Die zouden door die aanbevelingen in steeds extremere hoeken van het platform worden getrokken en zodoende radicaliseren. De verhalen richtten zich op de verspreiding van complottheorieën, nepnieuws en rechtsextremisme.

In september 2018 publiceerde de Amerikaanse technologiedenktank Data & Society Alternative Influence: Broadcasting the Reactionary Right on YouTube. Onderzoeker Becca Lewis bekeek over een periode van een jaar wat bekende rechtse en extreemrechtse vloggers op het platform deden om een zo groot mogelijk publiek te bereiken.

We hebben echter besloten om ons onderzoek zoveel mogelijk zelf uit te voeren en een open blik te houden. Op sommige punten komen we dan ook tot andere conclusies dan het eerder verschenen werk hierover.

Belangrijk is dat ons onderzoek nog niet is afgelopen. In dit verantwoordingsstuk richten we ons vooral op de eerste twee vragen: wat is dat extremisme dan en hoe kom je daar?

We staan uiteraard open voor feedback. Alle code en stellen we beschikbaar, zodat anderen het onderzoek kunnen repliceren, of die gegevens kunnen gebruiken om een eigen onderzoeksrichting in te slaan.

Waarom de nadruk op rechts?

Er is een aantal goede redenen om op dit moment meer aandacht te besteden aan rechts dan aan links.

In Europa en de Verenigde Staten is vooral populistisch, radicaal- en extreemrechts in opkomst. Niet de linkse varianten. Vanuit rechtse hoek wordt er vaak op gewezen dat er geringe aandacht zou zijn voor Die is echter summier vertegenwoordigd op platforms als Facebook en YouTube.

Uit de data die wij vergaard hebben, blijkt dat bij links de extreme stromingen, zoals marxisme, anarchisme, maoïsme en antifa, vrij marginaal aanwezig zijn. Bij de meer gematigde kanalen vind je onderwerpen die ook in de mainstreammedia worden behandeld: veel over duurzaamheid, racisme en uiteraard Donald Trump. De linkerflank op YouTube lijkt daarmee minder als een alternatief mediaplatform te fungeren, zoals dat bij rechts wél het geval is.

Het bestaande wetenschappelijk onderzoek naar radicalisering op YouTube richt zich op twee terreinen: rechts- en islamitisch extremisme. De betreffende onderzoekers constateren ook dat er op de linkerzijde niet zoveel spannends lijkt te gebeuren.

Wat is dan rechts?

Een exacte categorisering van kanalen en makers is praktisch onmogelijk, want:

  1. Wat extremistisch is, verschilt per land. In Nederland maken de inlichtingen- en veiligheidsdiensten bijvoorbeeld een Grofweg opereert radicaalrechts binnen de parlementaire democratie, terwijl extreemrechts ook bereid is buitenparlementaire middelen in te zetten. In veel andere landen maken ze dit onderscheid niet.
  2. Er zijn ook verschillen in wetgeving. Wat in Duitsland als extreem geldt en verboden is, is dat in de Verenigde Staten of Nederland bijvoorbeeld niet. Om internationale kanalen en makers te categoriseren volgens Nederlandse standaarden kan nuttig zijn, maar voelt ook erg geforceerd omdat YouTube een internationaal platform is.
  3. Kanalen en videomakers ontwikkelen zich in de loop der tijd. Neem een populaire vlogger als Stefan Molyneux. Hij is bekend geworden als libertariër, maar is zich steeds meer gaan profileren op het thema ras en IQ, en kwam onlangs uit de kast als een witte nationalist (dan streef je een ‘blanke etnostaat’ na). Als je kanalen en makers gaat categoriseren, moet je dus ook een tijdsaspect toevoegen. Dat is ondoenlijk voor de grote hoeveelheid video’s waar het hier over gaat.
  4. Sommige ideeën en makers laten zich niet makkelijk in een hokje stoppen. Op sommige punten zijn ze misschien extreemrechts, op andere juist weer links. En soms is er een verschil tussen wat makers zeggen en hoe ze zich gedragen.
  5. Enkele bewegingen zou je op het eerste gezicht niet snel onder extreemrechts scharen, tenzij als je er diepgaande kennis van hebt. Dit geldt bijvoorbeeld voor de zogenoemde manosphere, de beweging van mannen die zich – vaak vrij heftig – afzetten tegen het feminisme en zich inzetten voor mannenrechten. Het antifeminisme zelf is weliswaar wijdverbreid onder zeer rechtse vloggers, maar niet per se het opvallendste kenmerk van extreemrechts. In de praktijk is de manosphere wel met extreemrechts verbonden. Bij de waren bijvoorbeeld veel leden van de manosphere aanwezig. De term die in het extreemrechtse YouTube-veld gebruikelijk is, komt oorspronkelijk uit de mannenrechtenbeweging.
  6. Tot slot heeft classificeren niet zoveel zin als je daarmee maar een heel kleine kern van kanalen en makers overhoudt die voor 100 procent aan de eisen voldoet om extreemrechts genoemd te kunnen worden. We zijn namelijk geïnteresseerd in de ontwikkeling bij gebruikers van YouTube. We willen weten hoe ze bij die extreme video’s terechtgekomen zijn. Dat veronderstelt dat er ook een tijd was dat ze minder extreme video’s keken. Die video’s wilden we ook meenemen in de analyse.

We vonden de benadering van onderzoeker Becca Lewis, die in de zomer van 2018 het rapport Alternative Influence over rechtse influencers op YouTube publiceerde, nuttig. Zij hanteert de term ‘reactionair rechts’, een aanduiding voor vloggers en kanalen waarin de felle afkeer van progressieve waarden als een rode draad door de video’s loopt. Diversiteit, feminisme, (kortweg sjw’s) – reactionair rechtse YouTubers hebben er over de gehele linie een broertje dood aan.

Bovendien ontwaren ze een gemeenschappelijke vijand in de reguliere media, die alles vanuit een politiek correcte bril zouden benaderen. De term ‘reactionair rechts’ maakt het mogelijk verschillende stromingen – van gematigd tot extreem – aan elkaar te verbinden, maar ook om de grenzen met een meer gematigde of linkse buitenwereld te bepalen.

Hoe we alle data verzamelden

We zijn maanden bezig geweest om alle data te verzamelen. We hebben ervoor gekozen om voor zowel ‘reactionair rechts’ als voor ‘gematigd’ en ‘extreemlinks’ data te verzamelen. De selectie van kanalen was erg belangrijk, omdat die bepaalde welke video’s, transcripties, commentaren en aanbevelingen er nog meer verzameld werden.

Voor de rechterkant zijn we begonnen een lijst te maken van organisaties die door academici, en toonaangevende media worden aangemerkt als rechtsradicaal of -extremistisch. Van deze organisaties hebben we alle socialemedia-accounts verzameld, waaronder hun YouTube-account.

Vervolgens hebben we gekeken op welke kanalen zij zelf zijn geabonneerd, of welke kanalen zij tonen in de zogenoemde featured channels op hun YouTube-homepage. De abonnementen zeggen iets over de interesses van de beheerders van de kanalen. De featured channels zijn aanbevelingen die het kanaal zelf selecteert voor zijn gebruikers. Daarmee kunnen die gelijkgezinde kanalen vinden.

Met behulp van de YouTube Data Tools verzamelden we duizenden kanalen. Die hebben we met de hand gefilterd

Met behulp van de ontwikkeld door Bernhard Rieder van het Digital Methods Initiative van de Universiteit van Amsterdam, haalden we deze informatie over abonnementen en featured channels op. Dit leverde enkele duizenden kanalen op. Deze lijst hebben we handmatig gefilterd. Vervolgens hebben we een nieuwe run in YouTube Data Tools gedaan met de gewijzigde lijst, en dit proces herhaald. Uiteindelijk leverde dit een

Bij links zijn we iets anders begonnen. We hebben vooral gekeken welke kanalen in de media linksextremistisch genoemd worden (we vonden weinig wetenschappelijke publicaties om op terug te vallen). Daarnaast hebben we op enkele linkse fora, zoals en gekeken welke kanalen er werden aanbevolen. Vervolgens hebben we het proces van hierboven – kijken naar abonnementen en featured channels, vervolgens filteren – een paar keer achter elkaar toegepast. Dat leverde een lijst met een

Zijn deze selecties perfect? Waarschijnlijk niet. Ongetwijfeld hebben we kanalen gemist en zitten er kanalen tussen die er niet bij horen. De grote kanalen met veel views en video’s hebben we zoveel mogelijk handmatig gecheckt. De kleine, zeer marginale kanalen hebben we vooral gecontroleerd door handig te sorteren en te filteren. Mochten we belangrijke kanalen hebben gemist, dan horen we dat graag.

Video’s

Van deze circa 1.500 kanalen (ruwweg de helft links en de helft rechts) hebben we via de meer data opgehaald. Hiervoor hebben we een Python- geschreven die een lijst met kanalen als input neemt en de bijbehorende video’s, transcripties, commentaren en aanbevelingen als output levert. De code, uitgebreid gedocumenteerd en met gebruiksaanwijzing, is in te zien

We gebruikten de API om metadata van alle video’s van onze geselecteerde kanalen op te vragen, zoals:

  • unieke id’s van video’s
  • hoe vaak die video’s bekeken waren, geliked en becommentarieerd
  • wanneer die video’s waren geüpload
  • titel en beschrijving van de video

Transcripties

Gaandeweg ontdekten we dat we ook over de gesproken tekst in de video’s konden beschikken. YouTube heeft een service waarmee je tijdens het filmpje de gesproken tekst kan weergeven, een zogenoemde transcriptie. Met de populaire Python-library lukte het ons om die transcripties automatisch te genereren. Bij ruim 400.000 video’s is dat gelukt.

Comments

Van alle video’s hebben we ook de comments, de reacties dus, kunnen downloaden, waaronder informatie zoals:

  • de unieke id van
  • een link naar zijn of haar profielpagina
  • de video waarop is gecomment
  • de tekst zelf, waaronder ook emoji’s
  • links in de comments, bijvoorbeeld naar andere YouTube-filmpjes
  • reacties op die comments

Uiteindelijk hebben we zo’n 120 miljoen comments gedownload.

Deze comments delen wij niet zomaar omdat ze zeer gevoelige gegevens bevatten. Het is bijvoorbeeld mogelijk om de identiteit van reageerders te achterhalen en een idee te krijgen van hun politieke overtuigingen. Wil je deze data gebruiken, en dan kunnen we afspraken maken over de voorwaarden waaronder we deze data delen. Overigens staat niets je in de weg om deze data zelf te downloaden met behulp van onze code.

Aanbevelingen

Via de YouTube API konden we nagaan welke video’s doorgaans direct na elkaar worden bekeken – denk aan: mensen die video X bekijken, bekijken ook video Y.

Deze aanbevelingen zijn niet gepersonaliseerd; we kunnen hieruit dus niet concluderen dat mensen die video X bekijken ook altijd video Y aanbevolen krijgen. Dat hangt af van een aantal andere variabelen waar wij geen inzicht in (en dus ook geen toegang toe) hebben. YouTube doet net zo geheimzinnig over zijn algoritmes als Coca-Cola over de ingrediënten van zijn frisdrankrecept.

Desondanks hebben we van zoveel mogelijk filmpjes de vijftig aanbevolen video’s opgevraagd. Die zeggen namelijk wel iets over hoe vaak video’s direct na elkaar worden bekeken. We hebben zo ongeveer 20 miljoen aanbevelingen binnengehaald.

Data van andere platforms

Tot slot hebben we ook nog data onttrokken aan een aantal andere platforms.

De eerste en belangrijkste is Deze site houdt sinds 2015 dagelijks statistieken bij van honderdduizenden YouTube-kanalen. Deze data kunnen bijvoorbeeld gebruikt worden om de groei (of krimp) te laten zien van de maandelijkse views en abonnees.

Ook geeft Social Blade een aantal meetresultaten die zijn gebaseerd op eigen onderzoek. Kanalen krijgen bijvoorbeeld een soort ‘invloedcijfer’ (uitgedrukt in Grade en in de positie op de Socialblade rank) dat aangeeft hoe invloedrijk ze zijn ten opzichte van de andere door Socialblade gemeten kanalen op YouTube.

Daarnaast rekent Social Blade een potentieel verdienvermogen uit, een ruwe schatting van wat kanalen zouden kunnen verdienen op basis van hun views, invloed en de geldende prijzen voor reclame. Deze data hebben we gebruikt om een idee te krijgen van de relatieve omvang van de reactionair rechtse en linkse kanalen en om ze te kunnen vergelijken met de meer mainstream-kanalen.

Het YouTube-kanaal van de Volkskrant heeft bijvoorbeeld deze metrics:

  • Grade: C+
  • Subscriber rank: 1,001,161st
  • Video view rank:
  • Socialblade rank:
  • Estimated Monthly Earnings: €29 - €459
  • Estimated Yearly Earnings: €344 - €5.5K

Het YouTube-kanaal van De Correspondent heeft bijvoorbeeld deze metrics:

  • Grade: C
  • Subscriber rank: 1,832,426th
  • Video view rank: 5,212,726th
  • Socialblade rank: 4,469,657th
  • Estimated Monthly Earnings: €0.47 - €8
  • Estimated Yearly Earnings: €6 - €90

Stefan Molyneux, een reactionair rechtse vlogger, heeft deze metrics:

  • Grade: B
  • Subscriber rank: 12,213th
  • Video view rank: 10,110th
  • Socialblade rank: 43,588th
  • Estimated Monthly Earnings: €824 - €13.2K
  • Estimated Yearly Earnings:€9.9K - €158.3K

Molyneux scoort dus op alle fronten een heel stuk beter dan wij, althans op YouTube.

Ten tweede hebben we op een aantal andere platforms waar veel extremisten samenkomen gekeken in hoeverre naar YouTube-bronnen werd gelinkt.

  • Voor keken we naar onderzoek van Sal Hagen, destijds nog student aan de Universiteit van Amsterdam. Uit niet-gepubliceerd onderzoek van hem blijkt dat 75 procent van alle links in /pol/ tussen 2014 en 2017 naar YouTube verwijzen.
  • Voor keken we naar van het Network Contagion Research Institute in Amerika dat op vernuftige manieren radicalisering op sociale media blootlegt. Uit een analyse van posts op deze rechtsextremistische Twitter-kloon bleken YouTube-filmpjes de meest populaire bronnen.
  • Voor Twitter keken we naar het waarvoor hij de activiteiten van alt-right-aanhangers op Twitter bestudeert. Verreweg de meeste links naar bronnen (ongeveer de helft) wijzen naar YouTube.

Hoe we al die data analyseerden

Voor de datavergaring en -analyse hebben we twee hackathons georganiseerd: op 8 september en 28 oktober 2018. Een aantal deelnemers hebben we gevraagd vanwege hun specifieke expertise, zoals netwerkanalyse, kennis van aanbevelingssystemen, programmeervaardigheden en kennis van extreemrechts en sociale media.

De overige deelnemers kwamen die we hadden geplaatst. Uiteindelijk hebben circa veertig deskundigen aan ons onderzoek bijgedragen.

Het doel van deze hackathons was om de data te verrijken en verschillende analysemethoden uit te proberen. We hebben bijna alles in de gedaan en soms de gebruikt om code en uitkomsten te verifiëren.

Een groep hield zich bijvoorbeeld bezig met socialenetwerkanalyse. We wisten van alle reactionair rechtse kanalen op welke kanalen zij geabonneerd waren en welke kanalen zij in de featured-channelssectie van hun pagina’s aanbevolen. Zo vonden we kanalen die we eerder over het hoofd hadden gezien. Reactionair rechtse kanalen zijn namelijk vaak geabonneerd op gelijkgestemde kanalen. We konden onze dataset hiermee dus goed uitbreiden.

De data gaven ook een goed overzicht van de ideologische verwantschap tussen kanalen. We hebben de abonnementen en featured channels met het programma Gephi in een netwerk gevisualiseerd. Op die manier ontstaan clusters van kanalen die onderling op elkaar geabonneerd zijn. Als je uitzoomt van zo’n netwerk, zie je groepen van kanalen samenklonteren die inhoudelijk op elkaar lijken.

We hebben deze data daarom als basis genomen om een soort universum te schetsen dat we konden gebruiken om verschillende ideologische stromingen binnen YouTube te laten zien. Het resultaat is De Gephi-file en daarin vind je ook alle (algoritme-)instellingen die we hebben gebruikt om dit netwerk te genereren.

Hoe gedragen reageerders zich?

Andere groepen hebben zich beziggehouden met inhoudelijke analyses, dus: waar gaan de video’s over en hoe gedragen reageerders zich onder die video’s? Om achter die onderwerpen te komen, hebben we verschillende analysemethoden toegepast.

De eenvoudigste is het bestuderen van de tags bij de video’s. Makers die filmpjes uploaden, voorzien die van tags die de inhoud van die video’s omschrijven. Die tags konden we via de API opvragen. Die zijn ook makkelijk te doorzoeken met behulp van zogenoemde een soort tekstpatronen die je heel flexibel kunt definiëren.

Als je bijvoorbeeld tags wilt vinden die iets verraden over antifeminisme, kun je dit soort termen gebruiken die hopelijk ook varianten van woorden vinden: ‘whores’, ‘vagina’, ‘parasitic women’, ‘alfa fux’.

Met deze termen vonden we bijna 1.900 video’s die een variant hierop als tag hadden.

Voor antisemitisme zien die termen er zo uit: ‘jewish question’, ‘zionis’.

Dit leverde ruim 1.500 video’s op.

Vervolgens konden we deze groepen video’s verder onderzoeken. Wie zijn de makers? Waar hebben ze het over? En in welke periode zijn onderwerpen populair?

We hebben deze methode, het gebruiken van reguliere expressies, ook gebruikt om haatzaaiende taal op te sporen in de comments. Gezien de enorme hoeveelheid data, was dat nogal tijdrovend.

We vonden zo’n 130.000 comments met oproepen als hope you get raped, kill yourself, time to fight, be hanged en lynch them

En ook hier maakten we groepen van termen, zoals: ‘we should kill’, ‘i want to rape’, ‘this is war’, ‘enough is enough’, ‘talking is over’, ‘time for action’, ‘stand up and fight’, ‘should be raped’, ‘should be killed’, ‘should kill’, ‘should punch’, ‘should murder’, ‘i will kill’, ‘i will hurt’, ‘kill them all’, ‘kill those savages’, ‘i’m going to shoot’, ‘i’m going to kill’, ‘i’m going to rape’, ‘need to punish’, ‘i will punish’, ‘kill yourself’, ‘be hanged’, ‘time to fight’, ‘let’s fight’, ‘hope you get killed’, ‘hope you get raped’, ‘lynch them’, ‘exterminate’, ‘destroy them’, ‘deport them’,‘rape them’, ‘shoot them’, ‘punish them’, ‘hang them’, ‘i’ll kill’.

Met nog een aantal termen toegevoegd, vonden we zo’n 130.000 comments waar dit soort woorden in voorkwamen.

Deze methode is echter niet zo praktisch en betrouwbaar. Niet praktisch, omdat het veel tijd kost om 120 miljoen comments op dit soort patronen te doorzoeken. Niet betrouwbaar, omdat sommige termen valse positieven opleveren. ‘Rape them’ kan bijvoorbeeld slaan op iemand die vindt dat anderen verkracht moeten worden, maar kan ook gezegd worden door iemand die juist bang is dat anderen verkracht worden.

Kortom: het is een prima methode voor exploratief onderzoek, maar niet om keiharde conclusies op te baseren.

Grip krijgen op de inhoud van video’s

Een andere methode om meer grip te krijgen op de inhoud van video’s is topic modelling. Daarin wordt met behulp van een algoritme in dit geval) een geanalyseerd. Het algoritme herkent welke woorden bij elkaar lijken te horen. Op die manier kregen we lijsten van woorden die gezamenlijk een onderwerp vormen.

Onderwerp 1 heeft bijvoorbeeld de woorden: abortus, Spanje, gezin, seks, wetgeving, familie, baby, Ierland. Het onderwerp is dan waarschijnlijk

Onderwerp 2 heeft de woorden: ras, iq, intelligentie, bell curve, Murray. Het onderwerp is dan waarschijnlijk

Dit zijn duidelijke voorbeelden. In de praktijk is het niet altijd meteen helder welk onderwerp een lijst met woorden precies vertegenwoordigt. We hebben daarom verschillende wetenschappers, met kennis van de discussies in reactionair rechtse kringen, deze woordenlijsten laten terugbrengen tot enkele onderwerpen.

Die onderwerpen konden vergeleken worden met individuele video’s: we kregen dan per video op basis van de gebruikte woorden en onze onderwerpindeling een indicatie waarover die video ging. Zodoende konden we de verandering van onderwerpen over tijd en per kanaal in kaart brengen. We zijn nog niet helemaal klaar met deze analyses, die mede worden uitgevoerd door politicologen Max Boiten en Daniel Hansen, en hopen binnenkort meer hierover te kunnen vertellen.

Sentimentanalyse

Een derde manier om naar de inhoud te kijken is sentimentanalyse. We hebben met een groepje geprobeerd om de mate van conflicten en ruzies binnen de commentsecties in kaart te brengen met behulp van machine learning. Dat heeft geen eenduidige resultaten opgeleverd die we kunnen gebruiken.

En tot slot hebben we vooral heel veel naar video’s gekeken. Het zijn er dermate veel dat het ondoenlijk is ze allemaal te zien, maar we hebben in het najaar honderden filmpjes bekeken die populair zijn bij een groep Nederlandse reageerders; daarover zo meer.

Ook hebben we uitgebreid gesproken met de al eerder genoemde onderzoeker Becca Lewis, die voor haar rapport Alternative Influence een jaar lang video’s bekeek die ze aantrof in de reactionair rechtse YouTube-scene. Die filmpjes gaven haar en ons veel inzicht in de thema’s die populair zijn, maar ook in de productiekwaliteit en vorm waarin de content wordt gebracht.

Het belangrijkste inzicht van de twee hackathons was misschien wel dat we de focus van het onderzoek iets moesten verleggen. We keken de hele tijd naar alle content, van gematigd tot zeer extreem, om daar trends in te ontdekken. Maar een andere benadering bleek voor ons doel – het opsporen van radicalisering – veel meer voor de hand te liggen: zoek op plekken op YouTube waar extreme content te vinden is en kijk wie daar reageert. Daarnaast hebben we gezocht naar zeer actieve reageerders.

Dit bleek een goede greep.

Een interessant netwerk van kanalen

Een aantal mensen van het zocht tijdens de tweede hackathon naar extreme video’s, bijvoorbeeld via zoektermen als ‘holohoax’. Vervolgens keken ze welke reageerders positief waren over die video’s. Stap drie was kijken onder welke video’s en op welke kanalen die reageerders kort daarvoor en daarna een comment hadden achtergelaten.

Daarmee kregen we een interessant netwerk van kanalen te zien, waarin het kanaal The Alternative Hypothesis ineens heel prominent naar voren kwam. De groep van de UvA is verdergegaan met onder meer dit type onderzoek en is bijna zover om het resultaat naar buiten te brengen.

Wij besloten ondertussen te kijken naar de actieve gebruikers, in het bijzonder Nederlandse actieve gebruikers, omdat we die ook konden benaderen voor diepte-interviews.

Allereerst hebben we onder de Nederlandse rechts reactionaire video’s gekeken wie er veel reageert op meer dan tien kanalen. Dit zijn de veelgebruikers.

Vervolgens hebben we gekeken waar die gebruikers nog meer reageren, dus in het rechts reactionaire veld, maar ook in het linkse veld. Uit die groep hebben we ten slotte gebruikers met een Nederlands klinkende gebruikersnaam gevist, of mensen die in het Nederlands reageren. Dat was veel werk, dus we hebben ons beperkt tot 175 gebruikers, voor ons het maximaal haalbare.

De meesten bleken erg interessant voor ons onderzoek. We konden zien welke gebruiker onder welke video op welk tijdstip had gereageerd, en ook wat ze hadden geschreven. De meesten hadden honderden, zo niet duizenden reacties achtergelaten, waardoor het ook mogelijk was om een ontwikkeling te zien in het soort kanalen dat ze door de tijd heen bekeken, althans, op welke video’s van die kanalen ze een reactie achterlieten.

Aangezien het opsporen van mensen (die niet altijd onder eigen naam reageren), het overhalen om mee te werken aan een interview en het gesprek zelf (dat zo een paar uur kan duren) veel werk is, hebben we ons beperkt in het aantal gebruikers dat we hebben uitgelicht. Het resultaat is te lezen in

Aanbevelingen en radicalisering: een experiment

We hebben ons niet alleen op de inhoud en de gebruikers gericht, maar ook op de dynamiek van het YouTube-platform zelf. Een van de beschuldigingen die in andere media zijn geuit is namelijk dat het aanbevelingsalgoritme van YouTube radicalisering in de hand werkt, doordat mensen steeds extremere video’s zouden krijgen voorgeschoteld.

Wij wilden deze stelling testen met een eigen experiment.

Een van de eersten die deze beschuldiging uitte was een oud-medewerker van YouTube. Hij heeft software geschreven die Die software kun je ook zoektermen meegeven.

We hebben Chaslots software aangepast en er een programmaatje van gemaakt dat mensen op hun computer kunnen uitvoeren. Dat programma hebben we naar de volgende termen laten zoeken, waarna het vier keer doorklikt op de vier bovenste aanbevelingen: ‘Thierry Baudet’, ‘Sylvana Simons’, ‘Kajsa Ollongren’, ‘feminisme’, ‘Zwarte Piet’, ‘Holocaust’, ‘vluchtelingen’, ‘islam’, ‘slavernijverleden’ en ‘eurocrisis’. Dit zijn termen die op zich neutraal zouden moeten zijn, maar waarover zeer gepolariseerd gedacht wordt.

We hebben uiteindelijk bijna tachtig mensen bereid gevonden de code op hun computer te draaien, waaronder veel hbo- en mbo-studenten, met wie we ook klassikaal en met sommigen individueel gesprekken hebben gevoerd.

Hoewel we veel resultaten hebben, hebben we besloten daar geen conclusies uit te trekken: er zijn nog te veel twijfels over het onderzoek.

Een zo natuurlijk mogelijke YouTube-ervaring nabootsen

Het belangrijkste bezwaar is dat we niet weten hoe representatief de resultaten zijn. De aanbevelingen die we opvragen, zijn slechts het soort aanbevelingen die niet gepersonaliseerd zijn. Iedere gebruiker krijgt naast meer generieke aanbevelingen ook nog video’s voorgeschoteld die helemaal op diens geschiedenis en interesses zijn afgesteld.

We hebben die personalisering proberen op te vangen maar dat maakte de code weer veel moeilijker te gebruiken. Daarnaast waren we nog niet van het probleem verlost dat we eigenlijk een zo natuurlijk mogelijke YouTube-ervaring willen nabootsen, dus hoe mensen daadwerkelijk YouTube gebruiken. En dat is niet in een uur tijd almaar blijven doorklikken op aanbevelingen.

Even hebben we overwogen een browser-plugin te maken die over een periode van, zeg, een maand het YouTube-gebruik zou registreren en aan ons zou doorsturen. De kosten daarvoor waren echter hoog. Bovendien waren er veel mogelijke problemen met anonimisering en het veilig houden van persoonsgegevens, dus daar hebben we van afgezien.

Daarmee hebben we ongeveer twee weken werk moeten weggooien, maar het was wel een leerzame ervaring – in de zin dat we ons echt moesten verdiepen in het algoritme, veel deskundigen hebben gesproken en veel wetenschappelijke papers hebben gelezen. Daardoor hebben we een veel beter beeld gekregen hoe het algoritme werkt. Het maakte het voor ons ook makkelijker om zwaktes in andermans onderzoek te herkennen.

Wat we anders hadden gedaan, beter hadden kunnen doen, en wat er nog moet gebeuren

  1. We hebben naar politiek/maatschappelijk links en rechts gekeken. We hadden ook een middensegment kunnen samenstellen. Dan hadden we een nog beter zicht gehad op de ontwikkeling van gebruikers. We zagen bijvoorbeeld dat veel mensen aanvankelijk actief waren op links-progressieve kanalen zoals The Young Turks maar later naar rechts opschoven. Dan zullen er vermoedelijk ook gebruikers van meer centristische kanalen zijn opgeschoven.
  2. We nodigen onderzoekers van harte uit om de linkse YouTube-sfeer onder de loep te nemen. Op basis van de video’s die wij hebben, denken wij dat het extreemlinkse gedachtegoed vrij marginaal aanwezig is, maar dat neemt niet weg dat er allerlei interessante ontwikkelingen zijn te vinden die iets zeggen over de aard en methoden van hedendaagse linkse bewegingen. Mocht je hiermee aan de slag willen gaan, neem dan even contact met ons op.
  3. We hadden graag een beter experiment ontworpen om de invloed van de aanbevelingen van YouTube te meten. Tot op heden hebben we nog geen goede manier daarvoor gevonden die ook praktisch (qua tijd en geld) uitvoerbaar is. Ook hiervoor geldt: ideeën zijn van harte welkom.

Deze productie kwam tot stand met hulp van die op twee hackathons hebben meegeholpen data te vergaren en te analyseren. Extra dank voor enkelen van hen die uitzonderlijk veel werk hebben verricht: Olaf, Codrin, Max en Daniel.

Dit artikel is deel van een langlopende serie op De Correspondent over extreme politieke bewegingen. Deze serie wordt financieel gesteund door het De Volkskrant heeft geen bijdrage van het fonds gehad voor haar werk.

Meer lezen?

Aanbevolen voor jou op YouTube: racisme, vrouwenhaat en antisemitisme Het videoplatform waar jij kattenfilmpjes en het doelpunt van de week terugkijkt, is ook verantwoordelijk voor een van de grootste problemen van onze tijd: de verspreiding van haat, leugens en racisme. Hoe meer filmpjes je op YouTube bekijkt, hoe extremer de inhoud die je krijgt voorgeschoteld. Lees ons verhaal hier.

De reactie van YouTube op ons onderzoek naar radicalisering Naar aanleiding van ons onderzoek naar radicalisering op YouTube legden we het videoplatform enkele vragen voor. Dit zijn de belangrijkste punten uit de reactie. Lees de reactie hier