Peilingen domineren het politieke debat. Maar één cruciaal cijfer ontbreekt

Is het mogelijk dat we dit bericht over een paar dagen in de krant lezen? Volgens de peilingen niet. Daarin gaan PVV en VVD gelijk op, is DENK nog piepklein en zien we nog altijd geen Asscher-effect.

Maar na Brexit en Trump vraag je je misschien ook af: kunnen we de peilingen nog wel vertrouwen? Om dat uit te zoeken, neem ik vandaag een duik in de Nederlandse peilingbureaus.

Gaan de peilingen er in Nederland ook zo naast zitten?

Allereerst goed om te zeggen: het ‘falen’ van de peilingen wordt nog weleens overdreven. Zo ging het in de Verenigde Staten vooral bij een aantal peilingen op staatniveau verkeerd. En in Nederland was het ‘nee’ op het Oekraïnereferendum te verwachten als je naar de peilingen had gekeken.

Maar er gaat iets fundamentelers mis bij het beantwoorden van de vraag of de peilingen er weer naast gaan zitten. Want met ‘ernaast zitten’ wordt bijna altijd bedoeld: de peilingen voorspelden de uitslag niet goed. Dat terwijl peilingen geen voorspellingen zijn. Het zijn momentopnames, die een zo goed mogelijk beeld proberen te geven van de situatie op dat moment.

Er gebeurt tussen peiling en verkiezing nog veel dat de uitslag kan beïnvloeden. Debatten, schandaaltjes, interviews met de LINDA. En natuurlijk de peilingen zelf, want ook die kunnen je in een bepaalde richting duwen.

Zelfs een slotpeiling - die vlak voor de verkiezingen wordt gedaan - kan nog een vertekend beeld geven. Ga maar na: veel mensen besluiten pas op de laatste dag wat ze gaan stemmen. Onderzoek van zowel Ipsos als TNS NIPO concludeerde dat bij de vorige Tweede Kamerverkiezingen zo’n een op de vijf mensen zijn stem pas op de laatste dag of op de verkiezingsdag bepaalde, geregeld zelfs in het stemhokje.

Maar je kunt toch wel zeggen of een peiling goed is of niet?

Wat het meeste inzicht geeft is een ‘napeiling.’ Daarbij vraagt een peilingbureau vlak na verkiezingsdag aan mensen wat ze hebben gestemd. Die mensen worden net zo geselecteerd als anders, en ook de analysemethodes zijn hetzelfde. De napeiling zou in de buurt moeten zitten van de echte uitslag. Zo niet, dan is dat reden om de methode eens goed onder de loep te nemen.

Napeilingen geven het meeste inzicht, maar die worden zelden gepubliceerd

Toch worden deze napeilingen - of vergelijkbare onderzoeken - maar zelden gepubliceerd. En als ik ernaar vraag, garandeert alleen het LISS-panel dat ze dat deze verkiezingen wel zullen doen, verder niemand. ‘Met het mes op de keel misschien,’ zegt Peter Kanne van I&O Research. ‘Dat is vooral voor intern gebruik,’ zegt Tim de Beer van Kantar Public. ‘Publiceren is niet altijd in ons belang, waarom zou je zelf een vlek creëren als hij er niet is?’

Als we het beste controlemiddel niet te zien krijgen, hoe kunnen we peilingen dan beoordelen?

Je kunt kijken naar de methodes van peilingbureaus. Die geven een goed idee van de kwaliteit van hun cijfers. Op dat gebied doen de Nederlandse peilingen het best goed, bevestigen politicologen die ik spreek. Al klagen de meesten wel over het gebrek aan transparantie bij de bureaus.

Een belangrijk punt is hoe de steekproef - de groep ondervraagden - wordt geselecteerd. Bijna alle grote bureaus maken gebruik van ‘opt-in panels.’ Via andere onderzoeken, speciale evenementen of andere werving worden mensen uitgenodigd om deel te nemen aan het panel. Bij Peil.nl van Maurice de Hond is er nog een andere optie: je kunt jezelf aanmelden.

Een probleempje: de mensen die ervoor kiezen om deel te nemen zijn anders dan degenen die dat niet willen. Die laatsten hebben bijvoorbeeld minder tijd, zijn minder politiek betrokken of spreken de Nederlandse taal niet goed genoeg. Daardoor zijn sommige bevolkingsgroepen ondervertegenwoordigd in peilingen en zie je dat mensen die meedoen aan peilingen vaker gaan stemmen.

Oké, de steekproeven zijn dus niet volledig representatief. Kun je daar dan niks aan doen?

Peilingbureaus gebruiken een ‘weging,’ waarbij ondervertegenwoordigde groepen zwaarder worden gewogen. Ze kijken dan naar kenmerken waarvan ze verwachten dat die invloed hebben op de stem. Zo zullen ze niet zo snel wegen op oogkleur, maar wel op leeftijd, opleiding en etniciteit. Ook nemen ze het stemgedrag bij de vorige verkiezingen vaak mee. Zo zien ze bijvoorbeeld of er te veel CDA-stemmers in de steekproef zitten.

Weging lost niet alle problemen op

Toch lost die weging niet alle problemen op. Er zijn zoveel kenmerken die een stem beïnvloeden, dat je die onmogelijk allemaal kunt meten. Wat dacht je van je politieke betrokkenheid of je geluksgevoel?

Daarbij zijn sommige groepen té ondervertegenwoordigd om goed te wegen, zoals Nederlanders met een migratieachtergrond. Een Amerikaans voorbeeld laat zien dat wegen dan mis kan gaan. De stem van één zwarte 19-jarige man werd tot wel 300 keer zo zwaar gewogen als die van zijn peilinggenoten. Hij stemde, zeldzaam genoeg, ook nog eens op Trump. Daardoor leek Trump ineens erg populair onder zwarte stemmers.

Kun je niet gewoon van tevoren al zorgen dat de juiste mensen in je onderzoek komen?

Het loont zeker als een peilingbureau daar veel moeite in steekt. Het beste voorbeeld hiervan is het LISS-panel, dat pas sinds januari dit jaar zetelpeilingen publiceert. De methode van LISS is rigoureuzer dan die van collegapeilers.

Eerst krijgen de peilers van LISS van het Centraal Bureau voor de Statistiek een lijst van huishoudens, die een goede afspiegeling is van de bevolking. Vervolgens bellen ze die huishoudens tot wel vijftien keer, gaan ze tot wel acht keer bij de huizen langs, en gebruiken ze interviewers die zijn getraind om mensen te overtuigen. En heeft iemand geen computer met internet? Dan wordt er een in bruikleen gegeven.

Zelfs met al die moeite belandt uiteindelijk maar zo’n 50 procent van de CBS-lijst in het panel. Hoog voor dit soort onderzoek, maar laag als je bedenkt dat de helft ontbreekt. Toch lijkt het erop dat het LISS-panel een betere benadering geeft dan opt-in panels, die door alle andere bureaus worden gebruikt.

De reden dat niet alle bureaus deze methode volgen: het is duur.

Maar het levert toch ook geld op?

Niemand betaalt bureaus om zetelpeilingen uit te voeren, maar natuurlijk levert het wel iets op. Kijkers, in het geval van EenVandaag. Of klanten, want zetelpeilen is vaak maar een klein deel van het werk van de bureaus: ze doen ook onderzoeken voor bedrijven, overheidsinstellingen of andere partijen. Ze zijn er dan ook niet altijd blij mee dat de Peilingwijzer - een synthese van de zes grote peilingen die gratis online staat - zo prominent is geworden. Zo beperkt de NOS zich nu tot deze cijfers, omdat ze een beter beeld geven van de peilingen.

Als hun naam op de grote hoop belandt, heeft het peilen voor individuele peilingbureaus dan nog wel zin? ‘Dat is een vraag die we ons de afgelopen vier à vijf jaar wel vaker stellen,’ zegt Marianne Bank van Ipsos, die de Politieke Barometer publiceert. ‘Het is jammer voor de publiciteit,’ zegt Tim de Beer van Kantar Public. ‘Ik moet er echt voor knokken.’

Het is een catch 22: zonder individuele peilingen bestaat er geen Peilingwijzer, maar door de Peilingwijzer loont het minder om een individuele peiling uit te voeren.

Moeten we die Peilingwijzer dan niet gewoon afschaffen?

Dat zou zonde zijn. Omdat de Peilingwijzer naar zes peilingen tegelijk kijkt, neutraliseert hij de uitschieters - die vaak op toeval berusten. Daarbij zijn er structurele verschillen tussen peilingbureaus, die min of meer tegen elkaar worden weggestreept in de Peilingwijzer.

Die verschillen zitten bijvoorbeeld in de vraagstelling. Zo vraagt Maurice de Hond: ‘Als er vandaag verkiezingen zouden zijn, op welke partij zou je dan stemmen?’ Bij de Politieke Barometer van Ipsos krijg je tien stemmen, die je over partijen mag verdelen. En bij het LISS-panel moet je aangeven wat de kans is dat je op elke partij gaat stemmen.

Zelfs als je dezelfde data hebt, kunnen er nog verschillende analyses uitkomen

Het is onduidelijk welke vraag het beste werkt, en dat is met meer keuzes het geval. Zo krijgen deelnemers soms een vergoeding in de vorm van geld of een tegoedbon. Aan de ene kant kan dit mensen motiveren om mee te doen. Aan de andere kant loop je het gevaar dat mensen de vragenlijst afraffelen, omdat ze het alleen voor de beloning doen.

Zelfs als je dezelfde data hebt, kunnen er nog verschillende analyses uitkomen. The New York Times gaf één dataset aan vijf gerespecteerde peilers in Amerika - inclusief zichzelf, want de krant voert zelf ook analyses uit. Ze kregen vijf verschillende prognoses voor de uitslag van de verkiezingen, onder andere door verschil in weegmethodes.

Maar als de Peilingwijzer blijft, sterven de peilingen dus een stille dood?

Je kunt kritisch zijn op peilingen, maar het zou jammer zijn als ze niet meer bestonden. Midden-Oostencorrespondent Thomas Erdbrink benadrukte eens dat een peiling een grote luxe zou zijn in een land als Iran. In veel landen wordt je niet gevraagd wat je denkt, en kun je het maar beter voor je houden.

Maar vaak gaat de aandacht naar de verkeerde dingen. ‘Er zit zoveel interessants in de peilingen,’ zegt Tom Louwerse, de man achter de Peilingwijzer. Denk aan vragen over verkiezingsthema’s, over tegenstellingen in de samenleving of over alternatieve vormen van democratie.

Ook stellen de peilers vragen die helpen om veranderingen in peilingen beter te begrijpen. Waarom iemand van de PVV naar de VVD overloopt, bijvoorbeeld. ‘Ik probeer in samenwerking met de NOS juist ook die verklaringen te laten zien, met een expliciete verwijzing naar het onderzoek,’ vertelt Louwerse. ‘Dus dan worden die peilingen alsnog genoemd.’

‘Het goede van de Peilingwijzer is ook dat het ons, de peilers, impliciet aanzet tot (nog meer) inhoudelijk peilen,’ stelt Peter Kanne van I&O Research.

Meer aandacht voor die inhoudelijke vragen zou dus ook de catch 22 kunnen oplossen. Bovendien - vertelden verschillende wetenschappers - zijn de bureaus goed in vragen over achtergronden, verbanden en trends - mede omdat representativiteit minder uitmaakt.

Inhoud, dus. Maar gaan de peilingen er nou naast zitten of niet?

Dat is onvermijdelijk. Al is het maar omdat elke peiling anders is; ze kunnen niet allemaal gelijk hebben.

Maar of ze er dik naast gaan zitten? Als je afgaat op hun methode, zit het bij de Nederlandse zetelpeilers wel snor. Al zijn sommige groepen niet goed in beeld. En misschien hebben de methodes wel andere gebreken, die pas later naar boven komen.

Er is nog een reden dat de peilingen ernaast kunnen zitten: er kan op de laatste dag nog van alles gebeuren. Dat kun je peilers moeilijk kwalijk nemen, ze hebben immers geen glazen bol.

Wat je de meeste bureaus wel kwalijk kunt nemen, is dat ze de napeiling niet publiceren. Daardoor zullen we nooit weten of ze ernaast zaten. En waarom.