Reclame op tv. Kost een berg, doet een beetje

Geen presentatie over reclame is compleet zonder dat ene citaat van John Wanamaker. ‘De helft van mijn reclamebudget is verspild’, zei de wijlen advertentiepionier. ‘Ik weet alleen niet welke helft.’ 

Vorig jaar verscheen een fascinerend, baanbrekend onderzoek van drie Amerikaanse economen: Bradley Shapiro, Günther Hitsch en Anna Tuchman. Zij laten zien: Wanamaker was een optimist. 

Een paar jaar lang sloten Shapiro en zijn collegae zich op om bakken data door te ploeteren over de reclame-uitgaven van 288 topmerken én de verkoopcijfers ervan in 41.085 Amerikaanse supermarkten. Nog nooit is er zó’n groot onderzoek gepubliceerd naar de effectiviteit van televisiereclames. 

Nu kun je denken, het zal wel, televisie is passé. Maar vergis je niet: bedrijven besteden wereldwijd nog altijd meer dan 185 miljard euro per jaar aan televisiereclames. Dat is maar een fractie minder dan wat ze uitgeven aan reclames op internet.

De conclusie van Shapiro’s onderzoek? Adverteerders verspillen gigantische hoeveelheden geld aan televisiereclames die niet werken, en wetenschappers publiceren bergen reclame-onderzoek dat eigenlijk niets aantoont. 

Als ik Shapiro vraag naar de reacties op zijn studie verzucht hij: ‘This research is going to make nobody happy.’

Zorgt reclame voor meer verkoop?

Het is geen geheim dat de marketeer vaak wat ingewikkeld doet over zijn beroep: ‘We gebruiken crossmediale inbound marketing om buzz te bouwen en brand purpose uit te stralen.’ 

Toe maar. Nu kun je veel dure woorden gebruiken, maar uiteindelijk moet reclame natuurlijk gewoon zorgen voor meer verkoop. Als Heineken een paar miljoen aan tv-spotjes uitgeeft, maar daarmee slechts honderd extra kratjes bier verkoopt, is dat zonde van het geld. 

Dit is dan ook waar het onderzoek van Shapiro over gaat: hoeveel bier verkoopt Heineken als het bedrijf meer gaat adverteren? Daarbij kijkt hij niet alleen naar de korte termijn (een paar weken), maar ook naar de langere termijn (maanden na dato). Economen spreken ook wel van de ‘advertentie-elasticiteit’: als je 1 procent meer uitgeeft aan advertenties, met hoeveel procent stijgt de verkoop dan? 

Als stagiair op de afdeling marketing zou je misschien zeggen: kijk hoeveel Heineken adverteert, en kijk vervolgens hoeveel de verkoop toeneemt, en klaar. Maar zo simpel is het helaas niet. Want stel dat Heineken vooral adverteert op plekken waar mensen toch al veel Heineken drinken, of dat het veel adverteert tijdens de Super Bowl, wanneer de alcohol sowieso al rijkelijk vloeit – dan is de extra verkoop wellicht door iets ánders veroorzaakt. 

Om te meten of een reclame echt werkt, moet je het ‘selectie-effect’ (mensen zien jouw advertentie, maar gaan toch al aan de Heineken) onderscheiden van het ‘advertentie-effect’ (mensen zien jouw advertentie, en gaan daarom aan de Heineken). 

In het onderzoek naar medicijnen bestaat er een beproefde methode om zo’n zuivere vergelijking te maken: het experiment. Eén willekeurig gekozen groep patiënten krijgt antibiotica, de andere groep krijgt een suikerpil, en na een maand tel je in welke groep de meeste pulserende zweren ontstaan. 

De vraag is vervolgens: hoe zet je in vredesnaam zo’n experiment op voor reclame? Het is niet alsof je zomaar even de reclame voor Budweiser uit kunt zetten, en die voor Heineken aan.

Althans…

Brad Shapiro had een geniale ingeving. Hij realiseerde zich dat er in Amerika onbedoeld elke dag zo’n experiment plaatsvindt. Het Amerikaanse kabelpakket – wat er op je televisie te zien valt – verschilt namelijk per regio. En daarmee verschilt ook de reclame waaraan je wordt blootgesteld. Op de ene plek in de VS word je doodgegooid met Heineken, op de andere met Budweiser. 

En zo kan het dus gebeuren dat mensen die vlak bij elkaar wonen een compleet ander reclamedieet hebben.

Shapiro ging aan de slag. Hij bouwde een database met al die grensbewoners en vergeleek ze met elkaar. Sommigen werden behandeld met Heineken-reclame (het medicijn), anderen kregen weer minder Heineken (de suikerpil). 

En wat bleek? Iedere euro die Heineken aan advertenties uitgeeft, levert minder verkoop op. Je leest het goed: minder! Dat is niet best. Zeker als je het afzet tegen concurrerende biermerken.

Wat is hier aan de hand? Had het iets te maken met die politiek incorrecte advertentie van laatst? ‘Heineken, lighter is better’, slogande de biermaker. De Amerikaanse rapper Chance had er op Twitter zijn ongenoegen over uitgesproken, want: racistisch. 

Of was het misschien die reclame waarin zo’n Jezus-van-Nazareth-hipster doldwaze avonturen beleeft op een cruiseschip met een flesje Heineken in zijn handen? Leuke reclame, daar niet van, maar misschien was dit niet de juiste doelgroep voor Heineken?

Theorieën zijn er genoeg, maar Brad Shapiro heeft slecht nieuws voor wie graag in de ruimte speculeert over de reclamekunde. ‘Wat succes voorspelt, is niet het merk, niet de reclame. Het is gewoon statistische ruis’, vertelt hij me. 

Dat zit zo: hoe kleiner het onderzoek, hoe groter de ruis. Stel: ik sla een telefoonboek open en bel duizend mensen om te vragen of ze gisteren shoarma aten. Dan bel ik er nog duizend, en nog duizend, en nog duizend. In al die onderzoekjes zal ik steeds net iets anders vinden. Soms vind ik vijftig shoarma-eters, soms meer, soms minder. Hoe groter mijn steekproef, hoe dichter ik bij de Werkelijke Shoarmadichtheid kom.

Dit is niet anders met reclameonderzoek. Als je steekproef klein is – een merk maakt nauwelijks reclame, of geeft daar altijd hetzelfde bedrag aan uit, waardoor er geen variatie is – dan is de schatting van het effect ook niet zo precies. 

Statistici kunnen berekenen hóé precies een meting is, en spreken daarbij van het ‘betrouwbaarheidsinterval’. Stel, je doet een experiment eindeloos vaak over op precies dezelfde manier, dan zal het gevonden resultaat in 95 procent van de experimenten binnen dit betrouwbaarheidsinterval liggen. 

Kijk nu nog eens naar de grafiek met al die biermerken, met streepjes voor het betrouwbaarheidsinterval:

Wat zien we? Het betrouwbaarheidsinterval is steeds heel breed. Dat wil zeggen: de effecten van reclame lijken groot, maar de schattingen zijn niet erg nauwkeurig. Vette kans dus dat als je het Heineken-experiment nog eens overdoet, er iets heel anders uit rolt. 

Dit geldt niet alleen voor biermerken. Het geldt voor álle supermarktmerken die Shapiro onderzocht. 

Het is een heel belangrijke conclusie. Als het al zo moeilijk is om te zeggen óf een reclamecampagne werkt, dan is het zo goed als onmogelijk om te zeggen waarom een reclamecampagne werkt. Het statistische probleem wordt nog groter als je Heineken-spotjes met elkaar wilt vergelijken. Je krijgt dan nog bredere betrouwbaarheidsintervallen, die al helemaal geen antwoorden bieden.

Het effect op de verkoop: zo goed als nul

Maar wat valt er dan wel over de effectiviteit van televisiereclame te zeggen? 

Vooral één ding: dat je er niet te veel van mag verwachten. Ja, er bestaan succesvolle televisiereclames. Maar van bijna driekwart van alle campagnes is het effect op de verkoop moeilijk te onderscheiden van nul, of is het effect zelfs negatief. De mediane adverteerder (het merk dat precies in het midden zit qua effectiviteit van zijn reclames) zag de verkoop op de lange termijn met slechts 0,014 procent toenemen bij 1 procent extra reclame.

Shapiro schat dat, afhankelijk van welke veronderstellingen je doet, maar tussen de 33 en 50 procent van de merken winst maakt op hun televisiereclame. Voor de overgrote meerderheid van de merken loont het niet om méér te adverteren: de laatste extra televisie-advertentie is bij slechts 23 tot 33 procent van de merken nog winstgevend.

Dit zijn nog optimistische schattingen. Shapiro rekent namelijk alleen de kosten van de inkoop van reclamezendtijd op tv mee, niet de kosten van het filmen van zo’n reclame en de salarissen van de marketingafdeling.

Wellicht ten overvloede: met deze boodschap maak je geen vrienden op de cocktailborrel van marketeers.

Tegenvallend onderzoek verdwijnt in een ladekast

Waarom weten we dit nu pas? Het vreemde is dat de tegenvallende resultaten van Shapiro in strijd zijn met bergen aan tv-reclameonderzoek. In eerdere meta-analyses – dat zijn grote onderzoeken waarin al het bestaande reclameonderzoek op één hoop wordt gegooid  – léék televisiereclame maar liefst zeven keer zo effectief als in Shapiro’s onderzoek. 

Maar ook hier heeft Shapiro een verklaring voor: in de gepubliceerde literatuur (die in die meta-analyses wordt samengevat) zijn alle tegenvallende resultaten verdwenen! 

Kijk maar naar deze grafiek, die alleen de positieve resultaten uit Shapiro’s onderzoek weergeeft. Op de horizontale as: hoe groot het reclame-effect is op de verkoop. Op de verticale as: hoe precies en betrouwbaar het onderzoek is. 

Als je de middelste waarde neemt van deze positieve resultaten, lijkt televisiereclame inderdaad zeven keer effectiever dan wat Shapiro vond.

Maar kijk even mee naar de grafiek met álle resultaten in Shapiro’s onderzoek.

Daar zie je een prachtige kerstboom. En zo hoort het ook, want als alle resultaten worden gepubliceerd, zul je uitschieters naar beide kanten zien. Hoe preciezer het onderzoek, hoe dichter de puntjes rond één punt klonteren. Hoe minder precies, hoe meer ze uitwaaieren naar beide kanten. 

Als de helft van de kerstboom mist, is er hoogstwaarschijnlijk sprake van zogenoemde publication bias. Non-resultaten zien dan het daglicht niet: wetenschappers vinden ze niet interessant, tijdschriften wijzen ze af, bedrijven willen niet dat ze gepubliceerd worden. Als je dan de literatuur gaat samenvatten die wél is gepubliceerd, zoals eerdere onderzoekers deden, mis je veel onderzoek dat in ladekasten is verdwenen. En zo ontstaat er een verwrongen beeld van de échte effectiviteit van reclamecampagnes. 

Valt er nog wat op af te dingen?

Natuurlijk, er zijn best wat kanttekeningen te plaatsen bij het onderzoek van Shapiro & co.

De belangrijkste: dit zijn topmerken met grote naamsbekendheid. Heineken heeft geen televisiespotjes nodig opdat we de naam Heineken kennen. Maar misschien had Heineken ze wel nodig toen Heineken nog geen Heineken was, maar slechts een obscuur Nederlands biermerk.

En dan zijn er nog andere bezwaren. Shapiro meet bijvoorbeeld alleen het effect van reclame op de lokale televisie, maar misschien zijn nationale tv-reclames wel veel effectiever – wie weet. Bovendien: this is America! Je zwemt in de Verenigde Staten in de commercie. Dus die ene extra reclame doet dan niet zo veel. Zou dat in Nederland, waar de commerciële verzadiging minder groot is, anders zijn?

En tot slot, er zijn marketeers die geloven dat een advertentie die je op je vijftiende ziet, je nog tot een aankoop kan verleiden op je dertigste. ‘Dat kunnen we niet falsificeren’, merkt Shapiro droogjes op. Toch is hij sceptisch. Als je in de eerste maand al geen effect meet, wat verwacht je dan in maand honderd te vinden? 

In een ander onderzoek keek Shapiro naar reclame voor zorgverzekeringen. UnitedHealthcare, een grote Amerikaanse zorgverzekeraar, stopte twee jaar lang met adverteren (er was een schandaaltje over geantedateerde aandelenopties, lang verhaal kort: de CEO stal geld), dus het leek het bedrijf onverstandig media-aandacht te kopen. ‘Het maakte geen enkel verschil’, vertelt Shapiro mij over die langdurige advertentiestaking. ‘Niet eens een kleine verschuiving in het marktaandeel, gewoon niets.’ 

En daarna? Begonnen ze weer met adverteren? 

‘Yep.’ 

Waarom dan? 

‘Excellent question.’

Meer lezen?

De nieuwe internetbubbel: online advertenties Internet zou de heilige graal worden van de reclamemarkt: eindelijk konden adverteerders exact meten wat een campagne opleverde. Maar is dat zo? We doken in de wereld van kliks, banners en keywords en ontdekten: je kunt bijna niet weten wat het effect is van een online advertentie – áls er al een effect is. Lees hier het artikel van Jesse