Dit is de nieuwe internetbubbel: online advertenties

Juni 2003, Mountain View, Silicon Valley. Mel Karmazin, de president van Viacom, een van de grootste mediaconglomeraten ter wereld, stapt het kantoor van Google binnen. Google is een kek, jong internetbedrijf, dat geld verdient – géld verdient – met internet! Karmazin is op bezoek om uit te zoeken: hoe dan?

Larry Page en Eric Schmidt, respectievelijk de oprichter en de ceo van Google, zitten al in de vergaderruimte als Sergey Brin, de tweede oprichter, buiten adem binnenvalt. Hij draagt een korte broek en rolschaatsen.

De Google-mannen vertellen Karmazin dat de zoekmachine al haar geld verdient met de verkoop van reclame. Tegen betaling zet het bedrijf een link naar een website bovenaan wanneer iemand de zoekmachine gebruikt. En Google fungeert als makelaar, door websites die advertentieruimte hebben te koppelen aan adverteerders die hun banners willen tonen.

Schmidt vervolgt: ‘In ons bedrijf is alles meetbaar. We weten dat als jij X dollar aan advertenties besteedt, je er Y dollar aan omzet voor terugkrijgt.’ Bij Google, weet Schmidt, hoef je alleen te betalen voor wat werkt.

Karmazin is ontzet als hij dit hoort. Hij is een reclameman van de oude stempel. En in zijn wereld kost een Super Bowl-spotje 3 miljoen dollar. Waarom? Omdat het zoveel kost. Wat het oplevert? Wie weet.

‘Ik verkoop 25 miljard dollar aan advertenties per jaar’, zegt hij. ‘Waarom zou iemand moeten weten wat werkt en wat niet werkt?’

Karmazin buigt zich over de tafel, zijn handen gevouwen, zijn ogen gericht op zijn gastheren.

‘You’re fucking with the magic.’

Hoe economen met the magic fucken

Eeuwenlang was reclamemaken geen wetenschap maar een kunst. Harde cijfers waren er niet. De adverteerder had eigenlijk geen idee. Een reclamegoeroe – zo’n Don Draper-type – mocht in het wilde weg orakelen: ‘Wat jij liefde noemt, is een verzinsel van figuren zoals ik, om meer panties te verkopen’ en de adverteerder hoopte maar dat het waar was. Je stuurde je spotjes de ether in, je plempte je merk in de krant, en begon te bidden. Of je reclame gezien was, of mensen ernaar handelden? Geen idee.

Met de opkomst van het internet, begin jaren negentig, kwam die tijd ten einde. Tegenwoordig leven we niet meer in het tijdperk van Mad Men, maar van Math Men.

U zoekt kijkers, klikkers, kopers? Google en Facebook weten ze te vinden. Met ongekende precisie bezorgen deze datagiganten de juiste boodschap bij de juiste mensen op het juiste moment. Onschuldige internetgangers worden een webshop binnengehengeld, twijfelstemmers horen wat een heks die Hillary is, en potentiële autokopers worden verlekkerd met een voorbijzoevende automobiel – één klik, en je kunt een proefritje maken. Adverteer bij ons, zo beloven de platforms, en zie je omzet stijgen.

Tegenwoordig leven we niet meer in het tijdperk van Mad Men, maar van Math Men

Maar klopt dat wel? Wat weten we nu echt over de effectiviteit van digitale advertenties? Hoe goed kunnen de advertentieplatforms ons werkelijk manipuleren?

Heel goed, zou je denken; de markt is immers enorm. Steeds meer reclamegeld gaat naar internetadvertenties in plaats van naar print, billboards en tv-reclames. In 2017 kochten adverteerders voor bijna 182 miljard euro aan online reclame in. Het gros van dat geld belandt bij slechts twee bedrijven: Google (83 miljard euro in 2017) en Facebook (34,9 miljard euro in 2017).

In de kranten wemelt het van de zwaarmoedige verhandelingen over deze techgiganten. Illustratief voor het genre: een essay van bestsellerauteur Yuval Noah Harari over ‘het einde van de vrije wil’. Het is wachten op de dag, schrijft de Israëlische denker, ‘dat bigdatasystemen ons beter kennen dan wij onszelf’. Snode marketeers kunnen al onze gedragingen voorspellen en manipuleren. Facebook kent je ziel. Google hackt je brein.

Alle breinkracht gaat naar online marketing

En er is geen ‘probleem’ waar meer breinkracht tegenaan is gegooid dan online marketing. Een Facebook-programmeur zei eens (en hij zou nog duizenden keren geciteerd worden): ‘De knapste koppen van mijn generatie breken hun hoofd over hoe ze mensen op advertenties kunnen laten klikken.’

Voor dit verhaal spraken we enkele van die knapste koppen. Economen die werken of werkten bij de machtigste bedrijven van Silicon Valley: Yahoo!, Google, Microsoft, eBay, Facebook, Netflix, Pandora en Amazon.

Het was niet altijd makkelijk ze te spreken te krijgen. Dan mailde je eind oktober, en hadden ze misschien nog een uurtje vrij in januari op een Europa-onvriendelijk tijdstip.

En dan was er nog de taalbarrière. Deze gasten – ja, het zijn allemaal mannen – spraken geen Engels, maar vloeiend Economees. Nou spreekt een van ons ook een aardig woordje Economees, maar twee uur lang Hausman-tests, incrementele biedingen en exogene variatie gaat zelfs een liefhebber niet in de koude kleren zitten.

Toch, tussen het jargon door vertelden ze anekdotes waar je steil van achterover slaat. En in een bijzin konden ze in kraakhelder Engels iets zeggen waar je de rest van de dag op lag te kauwen: als dít toch waar zou zijn…

Dit verhaal gaat over een markt van een kwart biljoen dollar, waar irrationaliteit de norm is

Hun verhaal gaat dan ook over veel meer dan alleen online advertenties. Het gaat over een markt van meer dan 250 miljard dollar, waar irrationaliteit de norm is. Het gaat over wat kenbaar is, over hoe de grootste datasets soms nog steeds geen inzicht geven. Over organisaties en waarom ze zo moeilijk veranderen. En over onszelf, over hoe manipuleerbaar we zijn en hoe moeilijk we erkennen dat we iets gewoon niet weten.

Eén ding werd ons gaandeweg duidelijk: deze mannen fucken met de magic. En niemand die ze kent. Of zoals Garrett Johnson, een van die economen die ooit werkte bij Yahoo! en Google, vertelde: ‘Niemand staat op mijn deur te rammen om mij te vertellen dat ik fuck met hun magic, want... Nouja, niemand weet wie ik ben.’

De blunderende consultant

Steve Tadelis is de meest toegankelijke van het stel. Niks geen afspraken op tijdstippen ver in de toekomst. ‘I would be delighted to talk’, mailt hij direct.

Met een brede grijns op zijn gezicht vertelt de econoom via Skype wat er bij eBay gebeurde toen hij daar rondliep. We denken soms: Steve, jongen, is het wel verstandig dat je ons dit allemaal vertelt? Heb jij geen non-disclosure agreement ofzo? Maar nee, hij vertelt maar door.

Het begon allemaal met een surrealistisch telefoontje met een dataconsultant. Tadelis was hoogleraar Economie aan de universiteit van Californië in Berkeley en kwam in augustus 2011 een jaar op bezoek bij eBay.

De marketingmensen van het online veilinghuis vroegen Tadelis eens te praten met hun consultants. Die konden hem precies vertellen hoeveel iedere eBay-advertentiecampagne had opgeleverd. En Tadelis was toch econoom? Misschien kon hij de consultants eens uithoren over hun methodes.

‘Proprietary transformation functions’, vertelde een van hen aan de telefoon. Ze gebruikten proprietary transformation functions, en ze hadden 25 jaar ervaring en een lange lijst met prominente cliënten.

Toen Tadelis doorvroeg bleek achter de proprietary transformation function huis-, tuin en keukenstatistiek schuil te gaan. Met op de x-as wat een advertentie kost en op de y-as voor welk bedrag aan producten er gekocht is nadat een advertentie boven de zoekresultaten was getoond.

Dit is rotzooi, dacht Tadelis

Dit is rotzooi, dacht Tadelis.

Er was namelijk een gigantisch probleem dat de consultants leken te negeren. Stel je even voor dat pizzeria Napolitana drie pubers betaalt om kortingsbonnen uit te delen. Na weken flyeren blijkt één van de drie een marketinggenie. De ene na de andere klant gebruikt de kortingsbonnen die hij uitdeelde. De andere twee snappen er niks van: hoe dan? Na enig aandringen legt hij zijn truc uit. ‘Ik sta in de foyer van de pizzeria.’

Iedereen begrijpt dat die puber geen marketinggenie is. Een pizzeria trekt niet meer klanten door kortingsbonnen uit te delen aan mensen die binnen vijf minuten een quattro stagioni gaan bestellen.

Dit is wat in economisch jargon een ‘selectie-effect’ heet. Het is voor een adverteerder natuurlijk cruciaal om zo’n selectie-effect (mensen zien jouw advertentie, maar gaan toch al klikken, kopen, registreren, downloaden) te onderscheiden van het advertentie-effect (mensen zien jouw advertentie, en gaan daarom klikken, kopen, registreren, downloaden).

EBay is een grote naam, dacht Tadelis. Het moet toch zo zijn dat internetters die een paar schoenen zoeken bij de veilingwebsite terechtkomen – ongeacht of ze een advertentie zien?

Opeens snapte ik het’, zegt Tadelis. ‘This guy is trying to outjargon me

Dus, wat deden de consultants om onderscheid te maken tussen selectie- en advertentie-effecten?

Hij kreeg niet direct een antwoord. Tot een van de consultants zei: ‘We gebruiken Lagrange multipliers.’ Even was Tadelis uit het veld geslagen. Wat? Lagrange multipliers? Lagrange multipliers hebben toch niks te maken met... ‘Opeens snapte ik het’, zegt Tadelis. ‘This guy is trying to outjargon me.’

‘Ik kon de verleiding weerstaan om te zeggen: "I’m sorry, you’re fucked, I actually teach this stuff." In plaats daarvan vervolgde Tadelis het gesprek in Economees.

‘Lagrange multipliers, fascinerend’, antwoordde hij. ‘Dus je hebt een optimalisatieprobleem met restricties, en zoals we allemaal weten, zijn Lagrange multipliers de schaduwwaarden van de beperkingen in de doelstellingsfunctie. Dat weten we allemaal, toch?’

Het blijft stil aan de andere kant van de lijn.

‘Dus, wat is je doelstellingsfunctie, en wat zijn je restricties?’

...

‘Steve, bel je mobiel? Want je begint weg te vallen.’

Dit is ‘fantastisch’ werk

Twee weken later ontmoet Tadelis de dataconsultants in levenden lijve. Ze hebben een gelikte presentatie voorbereid, waarin ze laten zien hoe eBay bakken geld verdient met briljante reclamecampagnes. ‘Ik keek om me heen en zag alleen maar ja-knikkende mensen’, herinnert Tadelis zich.

De succesvolste manier waarop eBay adverteert, is via het zogenaamde brand keyword advertising. Iemand zoekt op Google naar ‘eBay’, en dan zet Google tegen betaling een link naar eBay bovenaan de zoekresultaten. Op een diaslide laten de consultants zien dat de veilingwebsite maar liefst 12,28 dollar verdient voor elke reclamedollar die ze hierin stopt.

Tadelis gelooft er niks van. ‘Ik vond het fantastisch, en daarmee bedoel ik niet geweldig of groots, maar verzonnen, uit de fantasie ontsproten, onwerkelijk.’ Zijn redenering: mensen klikken inderdaad veel op de betaalde link naar eBay.com. Maar zonder deze link klikken ze vermoedelijk op de link die er vlak onder staat. En dat is: een onbetaalde link naar eBay.com. De dataconsultant rekent zich rijk met selectie-effecten, met kliks die toch wel komen.

Tadelis stelt dan ook voor om een experiment te doen: stop eens met adverteren, dan weten we zeker of brand keyword advertising werkt. Gemor in de zaal.

Als Tadelis enkele weken later vraagt wanneer ze elkaar weer zullen zien, blijkt de vervolgbijeenkomst al voorbij. Hij was niet meer uitgenodigd.

Wat als een bedrijf stopt met adverteren?

Enkele maanden na de ongemakkelijke bijeenkomst krijgt Tadelis door stom toeval de kans zijn experiment alsnog uit te voeren. De marketingafdeling van eBay ligt in de clinch met de zoekmachine Bing: de laatste heeft haar prijzen voor advertenties voor de zoveelste keer verhoogd. Gepikeerd besluiten de eBay-marketeers tijdelijk niet meer te adverteren bij Bing.

Tadelis komt meteen in actie. Nauwgezet analyseert hij de gevolgen van de reclamestaking. Na drie maanden is het duidelijk: al het bezoek dat eerder via betaalde links binnenkwam, komt nu via gewone links binnen. Tadelis had, kortom, al die tijd gelijk. Per jaar verbrandt eBay zo’n twintig miljoen dollar aan advertenties op de zoekterm ‘eBay’.

Als Tadelis zijn resultaten deelt binnen het bedrijf, wordt de financiële afdeling van eBay ineens wakker.

De econoom krijgt de vrije hand: hij mag drie weken lang in een derde van de Verenigde Staten alle advertenties van eBay op Google stopzetten. Niet alleen voor de eigen merknaam, maar ook voor simpele zoektermen als ‘schoenen’, ‘overhemden’of ‘glaswerk’.

De marketingafdeling voorspelt een drama: de verkoop zal met ten minste 5 procent dalen.

Week 1: Niets aan de hand.

Week 2: Nog steeds niets.

Week 3: Niks, noppes, nada.

Het experiment zal uiteindelijk acht weken duren. En het effect van de reclamestop? Dat blijkt zo goed als nul. Elke dollar die eBay aan zoekadvertenties uitgaf, leverde slechts 37 dollarcent aan extra inkomsten op, berekent Tadelis. Met andere woorden: eBay verloor grofweg 63 procent op haar investering in zoekadvertenties.

Conclusie: al jaren geeft eBay tientallen miljoenen dollars uit aan zinloos online reclamegeweld, en niemand binnen het bedrijf had daar enig idee van. Sterker nog: de marketingafdeling geloofde dat de meest verlieslatende campagnes de meest winstgevende waren: dat brand keyword advertising geen 20 miljoen dollar kostte, maar 245,6 miljoen dollar opleverde.

Voor Tadelis was het een leermoment. ‘Voorheen dacht ik wat de meeste economen denken: als bedrijven adverteren, zal het wel werken. Waarom zouden ze het anders doen? Maar na deze ervaring bij eBay kunnen we dat idee overboord mieteren.’

De denkfout waarop de online advertentiemarkt drijft

Wij waren net zo verbaasd als Tadelis. Je denkt: adverteerders zijn misschien cynisch, maar toch niet naïef? Maar hoe meer we met de economen praatten, hoe meer ons duidelijk werd dat Tadelis’ ervaring bij eBay niet uniek was.

Zo spraken we Randall Lewis, ooit werkzaam bij Yahoo! en Google, en inmiddels Director of Economics bij Netflix. Lewis is zelfs binnen het genre van een virtuoze onnavolgbaarheid. (Garrett Johnson, een van Lewis’ collega’s bij Google en Yahoo!, bekende later tegenover ons: ‘Een van mijn voornaamste kwaliteiten is dat ik Randalls geniale inzichten kan vertalen in iets wat de rest van de wereld ook begrijpt.’)

Lewis doet al meer dan acht jaar reclame-experimenten. Wat betekent dat hij al meer dan acht jaar adverteerders teleurstelt. ‘Het is altijd ongemakkelijk’, vertelt hij. ‘Ze zien alles rooskleurig in. Maar als je experimenten draait... Tja, als resultaten te mooi lijken om waar te zijn, dan zijn ze ook meestal te mooi om waar te zijn.’

Lewis legt uit dat het steeds misgaat omdat vrijwel de hele industrie in de greep is van een joekel van een statistische denkfout. De online marketingwereld werkt vaak net als pizzeria Napolitana, die Italiaan met de flyerende puber in de foyer.

De hele advertentie-industrie is in de greep van een enorme statistische misvatting

Marketeers gebruiken maatstaven – hoeveel kliks, hoeveel aankopen, hoeveel downloads na het zien van een advertentie – die fundamenteel misleidend zijn, want in al deze maatstaven wordt geen onderscheid gemaakt tussen het selectie-effect en het advertentie-effect.

En veel van die slimste geesten bij de advertentieplatforms bouwen algoritmes die de selectie-effecten alleen maar groter maken. Ga maar na, als je bij Facebook en Google kliks koopt voor Zalando, dan gaan de algoritmes van deze advertentieplatforms op zoek naar Zalando-klikkers. Maar wie zijn het meest geneigd om te klikken op Zalando? Vermoedelijk vaste klanten van Zalando. Als dat zo is, dan genereren de algoritmes wel kliks, maar niet per se extra kliks.

Ook adverteerders maken deze denkfout

Niet alleen de advertentieplatforms, maar ook adverteerders maken deze denkfout. Met gepersonaliseerd adverteren pogen ze publiek te bereiken dat een grote kans heeft om te kopen. Je bekeek ooit een Renault-filmpje, en nu word je doodgegooid met Twingo’s. Je stopte een jurkje in een digitaal winkelmandje, en nu stalkt dat jurkje je over het hele web.

Je likete World of Warcraft op Facebook, en nu verschijnt de ene na de andere Fleshlight in je timeline. Maar wie weet, misschien zou je dat jurkje toch al kopen, misschien aas je al tijden op een Twingo, en misschien heb je zo’n Fleshlight net besteld.

Het is technisch vernuftig, al dat algoritmisch mikken, maar als je op het verkeerde mikt, hebben adverteerders er natuurlijk niks aan. Het is nu voor de meeste adverteerders volstrekt onduidelijk of de algoritmes die ze gebruiken volautomatisch pubers in de foyer van de pizzeria zetten (het selectie-effect vergroten), of dat de flyerende pubers erdoor op plekken gaan staan waar ze klanten binnenhalen die anders niet waren gekomen (om zo het advertentie-effect te vergroten).

We creëren ons eigen falen’, legt Lewis uit. ‘We optimaliseren namelijk voor het verkeerde ding

‘We creëren ons eigen falen’, legt Lewis uit. ‘We optimaliseren namelijk voor het verkeerde ding.’

We gaan er momenteel vaak vanuit dat adverteerders altijd baat hebben bij meer data. En natuurlijk, een advertentie voor een Fleshlight doet het vermoedelijk beter bij mannen. Maar menig adverteerder voedt complexe algoritmes met bakken data, terwijl dat uiteindelijk helemaal niet het gewenste resultaat oplevert. In het ergste geval zorgt al die privacyinbreuk er zelfs voor dat je precies de verkeerde mensen bereikt!

Dit inzicht ontbreekt totaal in de online privacydiscussie. We weten momenteel niet eens of al die privacyschending wel altijd werkt zoals wordt geadverteerd.

Hoe kom je er dan wel achter wat een advertentie doet?

Er is een manier om het zuivere effect van een advertentie te meten, namelijk door een experiment te doen. Je splitst je doelgroep op voorhand op in twee willekeurige groepen: de ene krijgt jouw advertentie te zien, de andere niet. Door zo’n experiment te doen kun je selectie-effecten uitsluiten.

Bij Facebook lieten economen in vijftien van zulke experimenten zien hoe enorm de selectie-effecten kunnen zijn. Een Bijenkorf-achtig warenhuis deed een Facebook-campagne. Op het eerste gezicht leek het alsof het warenhuis zo’n 1.490 keer een advertentie moest tonen voordat één persoon iets kocht. Maar in het experiment bleek dat veel van die mensen toch al waren gekomen: slechts één op de 14.300 vond de weg naar de webshop dankzij de advertentie. Dat wil zeggen: de selectie-effecten waren bijna tien keer groter dan het zuivere advertentie-effect!

En dit was geen uitzondering. De selectie-effecten waren in de meeste van deze Facebook-experimenten fors groter dan het advertentie-effect. In het slechtste geval zelfs vijftig (!) keer zo groot. 

In zeven van de vijftien Facebook-experimenten waren de advertentie-effecten zonder selectie-effecten nu zo klein, dat ze statistisch niet meer te onderscheiden waren van nul. Florian Zettelmeyer, een van de onderzoekers: ‘We meten ons helemaal suf, en toch hebben de meeste mensen die veel geld uitgeven aan marketing geen flauw idee hoe goed het werkt.’

Wat is kenbaar in marketing?

Waarmee we aankomen op misschien wel de meest fundamentele vraag: wat is überhaupt kenbaar in adverteren? Kunnen adverteerders ooit weten wat hun advertentie precies opbrengt?

Google-CEO Eric Schmidt wist in de openingsanekdote van dit stuk te vertellen dat het een koud kunstje is deze vraag te beantwoorden. Zijn latere werknemer Randall Lewis schreef in 2011 bij Yahoo! samen met Justin Rao een paper waarin ze deze stelling compleet onderuitschoffelen. De titel: ‘On the Near Impossibility of Measuring the Returns to Advertising.’

Lewis’ en Rao’s werk was ingegeven door teleurstelling. De twee hadden bij Yahoo! vijfentwintig gigantische experimenten gedaan, met waanzinnig veel proefpersonen, en nog bleven ze achter met enorme onzekerheid.

‘De gedachte was: als je een experiment met een miljoen proefpersonen doet, dan weet je aan het eind precies hoe adverteren werkt’, vertelt Garrett Johnson, een vriend en voormalig collega van Lewis bij Yahoo!.

Het is heel moeilijk om het gedrag van mensen te veranderen door ze plaatjes en filmpjes te laten zien die ze niet willen zien

Maar het probleem is dat het effect van een advertentie op de verkoop zo minuscuul is, dat je het zelfs in een experiment met een miljoen mensen moeilijk kunt waarnemen. Johnson verzucht: ‘Het is heel moeilijk om het gedrag van mensen te veranderen door ze plaatjes en filmpjes te laten zien die ze niet willen zien.’

Als je een advertentie verkeerd meet (dus inclusief selectie-effecten), lijkt het alsof je iets groots meet – zeg dat je het aantal stemmers op de ChristenUnie peilt (294.000 in de laatste Tweede Kamerverkiezingen, op een totaal aantal uitgebrachte stemmen van ruim 10,5 miljoen).

Maar als je het goed meet, dus met een experiment, dan ben je meer iets aan het peilen als het aantal stemmers op Jezus Leeft (3.100 in die verkiezingen). Je kunt er bij de ChristenUnie rustig 3.100 stemmen naast zitten, en dan zit je nog steeds redelijk in de buurt van het werkelijke aantal kiezers. Zit je er bij Jezus Leeft zoveel naast, dan heb je het over het verschil tussen wel of géén stemmers.

Wat statistici de foutmarge noemen

Dit is precies het probleem waar al deze economen tegenaan lopen bij reclameonderzoek. Neem ter illustratie nog eens dat eBay-onderzoek van Steve Tadelis. EBay verloor 63 dollarcent op elke dollar die ze in Google-zoekadvertenties stopte, maar dit is een puntschatting. Als je dit experiment eindeloos zou herhalen, dan zou het verlies in 95 procent van de gevallen ergens tussen de minus 1,24 dollar en minus 0,03 dollar vallen. Dit is wat statistici de foutmarge noemen.

Nou presteerde eBay zo beroerd, dat de conclusie hoe dan ook was: stoppen met die zoekadvertenties! Maar stel dat eBay’s marketing ietsje beter had gewerkt – zeg dat ze maar 10 dollarcent verloor per geïnvesteerde dollar – dan had een experiment uitgewezen dat de marketingafdeling ergens tussen de 70 dollarcent verlies of 50 dollarcent winst had gemaakt. Dit is wat Randall Lewis bedoelt met de ‘near impossibility’ van het meten van advertentie-effectiviteit.

De conclusie in deze experimenten is vaak: je campagne leverde iets op, of toch niet

Wat moet je met zulke informatie? De conclusie in deze experimenten is vaak: je campagne leverde iets op, of toch niet. Je krijgt een vaag gevoel van richting, maar geen uitsluitsel.

Rationeel sturen op rendement, zoals het in de economische tekstboekjes wordt beschreven? Het is nagenoeg onmogelijk op de advertentiemarkt. Dus hoe weten adverteerders dan wat ze moeten betalen voor een advertentie?

‘Ja, dat weten ze dus niet’, zegt Lewis in zo’n bijzin waar je nog dagen op kunt kauwen.

Denk hier nog eens aan als je weer zo’n doemverhaal over Google, Facebook of Cambridge Analytica leest. Als we zo makkelijk te manipuleren waren door plaatjes en video’s waar we niet naar willen kijken, dan hadden deze economen een eenvoudigere taak. In werkelijkheid doen advertenties heus wel iets, maar heel weinig – en in ieder geval een stuk minder dan de meeste adverteerders zelf geloven.

‘Wat mij frustreert is het magische denken’, zegt Johnson. ‘Alsof Cambridge Analytica ons brein kan hacken, en we allemaal lemmingen zijn die zo van een klif rennen. We zijn helemaal niet zo machteloos.’

Adverteerders blijven adverteren

Wat ons op de laatste vraag brengt: wie wil de waarheid horen?

Het is een vraag die econoom Justin Rao (van onder meer Yahoo! en Microsoft) mateloos fascineerde. Voordat hij zich met reclame bezighield, deed hij veldonderzoek bij een sekte die het einde der tijden voorspelde op 21 mei 2011. Hij loofde prijzen uit aan de sekteleden. Wie zijn prijs wilde ontvangen ná de Dag des Oordeels – wanneer de wereld uit elkaar zou scheuren en de gelovigen zouden opstijgen naar de hemel – kreeg meer geld. Het geloof in de apocalyps bleek hardnekkig. Zelfs 500 dollar extra kon de sekteleden niet verleiden.

‘Overtuigingen die gebaseerd zijn op mager bewijs, zijn moeilijk te veranderen’, noteerde Rao.

Toen Rao net bij Microsoft kwam werken, waren de eBay-studies van Steve Tadelis net uitgekomen en kregen ze enorm veel media-aandacht: de Harvard Business Review, The Economist, The Atlantic, de BBC: allemaal schreven ze over het werk van Tadelis. Marketingblogs stonden er vol van. ‘Vermoedelijk mailde zelfs Steve’s moeder hem’, vult Rao aan.

Zelfs als adverteerders wisten dat hun campagne weinig opleverde, adverteerden ze vrolijk door

Maar veranderde er iets? Bij Microsoft had Rao een zoekmachine ter beschikking: Bing. Na het nieuws over de miljoenen dollars die eBay had weggegooid, stopte op Bing slechts zo’n 10 procent van de adverteerders met brand keyword advertising. Verreweg de meeste bedrijven bleven stug doorgaan met geld verbranden.

Het opmerkelijkst was misschien nog wel dat adverteerders niet eens vaker gingen experimenteren na het eBay-Bing-nieuws.

Wat Rao wel zag: er waren zo nu en dan advertentiestakingen op Bing. Rao kon zulke advertentiestops gebruiken om – net als Tadelis bij eBay – te zien wat het effect was op het zoekverkeer.

Als zo’n experiment vervolgens uitwees dat de advertenties geen enkele zin hadden, bleek dat adverteerders geen zier uit te maken. Ze adverteerden vrolijk door. Zelfs als ze wisten, of konden weten, dat hun campagne weinig opleverde, dan nóg maakte dat niets uit voor wat ze deden.

‘Overtuigingen die gebaseerd zijn op mager bewijs, zijn moeilijk te veranderen.’

Als er weer zoiets uitkomt, geloof ik je gewoon niet

Steve Tadelis merkte het ook. Hij werd door de financieel directeur van eBay gevraagd of hij ook eens kon kijken naar de nummer twee op de lijst van zogenaamde ‘succescampagnes’: affiliate marketing. Dit is een vorm van reclame waarbij eBay bijvoorbeeld een vloggende #fitgirl betaalt om een linkje op te nemen naar een yogalegging.

De baas van affiliate marketing vond het prima, maar wilde van tevoren nog wel iets kwijt. ‘Moet je horen, Steve’, zei hij. ‘Als we dit experiment uitvoeren en de resultaten lijken op wat je al bij zoekadvertenties liet zien, geloof ik het gewoon niet.’

‘Hij meende dit’, vertelt Tadelis. ‘Dus ik zei tegen hem: "Luister, als dit over religie gaat, kan ik je niet helpen. Ik heb niets tegen het geloof, ik vind alleen dat het geen plek heeft in marketing analytics."’

De marketingafdeling wil dat advertenties werken

Het klinkt bizar, maar bedrijven zijn er niet op ingericht om te weten te komen of hun reclame-uitgaven iets opleveren. De firma Unilever heeft er baat bij om te weten of haar campagnes rendabel zijn, maar de marketingafdeling van Unilever niet.

Die afdeling wil namelijk een zo groot mogelijk budget, en dat krijg je makkelijker als je kunt laten zien dat wat je doet werkt. Binnen de afdeling concurreren tv, print en digitaal weer met elkaar om wie het belangrijkst is. Dat werkt eerlijke berichtgeving ook niet in de hand.

Wat al helemaal niet helpt, is dat het management vaak geen idee heeft hoe het cijfers moet interpreteren. De hoogste cijfers winnen.

Marketeers blijken dikwijls het succesvolst in het marketen van eigen marketing

Randall Lewis vertelt hoe hij eens in een vergadering belandde met de man die bij Yahoo! de eigen marketing evalueerde. Die bleek alles te doen waartegen Lewis ageerde – en erger. Hij gaf ruiterlijk toe data toe te voegen en te verwijderen als uit zijn model de ‘verkeerde’ uitkomsten rolden. Lewis: ‘Ik dacht: oh god. Dit is slechte wetenschap, maar uitstekend baanbehoud.’

‘Slechte methodologie maakt iedereen blij’, zegt David Reiley, die leiding gaf aan het Yahoo!-team en inmiddels werkzaam is bij streamingdienst Pandora. ‘Het maakt de uitgever blij. Het maakt de media-inkoper blij. Het maakt de baas van de media-inkoper blij. Het maakt het reclamebureau blij. Iedereen kan opscheppen over hoe succesvol de campagne was.’

Marketeers blijken zo dikwijls het meest succesvol in het marketen van de eigen marketing.

‘Ik weet het niet’

Maar uiteindelijk zit er misschien nog iets diepers achter. Iets dat niet alleen opgaat voor reclame. ‘Veel mensen zijn bang dat ze incompetent overkomen als ze toegeven dat ze iets niet weten’, zegt Tadelis. ‘Maar onwetendheid is geen incompetentie. Je bent niet incompetent als je nieuwsgierig bent.’

We zoeken zekerheid. Vroeger deden we dat bij de Don Drapers van deze wereld, die de mooiste oneliners uit hun mouw schudden. Nu doen we dat bij data-analisten die ons schijnbaar harde grafieken en tabellen tonen.

Dat is niet allemaal kwalijk, erkent Lewis. Er moet beslist worden, iemand moet een koers uitzetten, de twijfel moet ergens ophouden. En daarom huren bedrijven overmoedige mensen in, die doen alsof ze weten wat ze niet kunnen weten.

Het is het soort werk dat Randall Lewis nooit zou kunnen doen. ‘Het zou voelen alsof je net zo goed een muntje kunt opwerpen voor de meeste beslissingen’, zegt hij.

Maar toch moet iemand zo’n muntje opwerpen… Als je een organisatie vol Randalls hebt, krijg je analysis paralysis. Er gebeurt niks.

Fucking with the magic 2.0

Het is november 2015, de Datalead Conference in Parijs. Randall Lewis is net vertrokken bij Google, en werkt nu bij Netflix.

Hij heeft bij Yahoo! en Google gezien hoe vreselijk lastig het is om beter te adverteren. Maar Lewis is geen afbraakacademicus, hij wil de boel niet in de fik zetten en weglopen. Hij wil het bijna onmogelijke juist een beetje mogelijker maken. En vergis je niet: een beetje beter adverteren is al heel veel wanneer je voorheen compleet in het duister tastte. Je kunt er eBay-achtige blunders mee voorkomen.

Lewis is in Parijs om een van zijn verbeteringen te presenteren. Bij Google heeft hij een platform gebouwd: een manier waarop adverteerders eenvoudig en goedkoop experimenten kunnen doen met hun bannerreclames. ‘Dit is een revolutie in adverteren’, vertelt hij trots aan de bezoekers van de conferentie. Eindelijk kunnen adverteerders optimaliseren voor ‘the right thing’.

Iemand in het publiek staat op en vraagt: willen adverteerders dit wel weten? Zijn adverteerders niet vooral op zoek naar onderzoek dat geruststelt?

‘Dat is endemisch in deze hele industrie’, antwoordt Lewis. Hij vervolgt met een klassiek Lewisiaanse uiteenzetting vol briljante ontoegankelijkheid. ‘Het moral hazard probleem is welbeschouwd een serie cognitieve dissonantie biases...’

Halverwege zijn onnavolgbare betoog wordt hij onderbroken door Steve Tadelis, die ook in het publiek zit. ‘Wat Randall probeert te zeggen’, vult de voormalig eBay-econoom aan, ‘...is dat marketeers geloven dat marketing werkt, zelfs als het niet werkt. Net zoals wij geloven dat ons onderzoek belangrijk is, ook al is dat niet zo.’

Lewis lacht. ‘Dankjewel, Steve.’

Meer lezen?