In april 2013 stelde 89 procent van de Egyptenaren nog dat ze nooit en te nimmer mee zouden doen aan vredige demonstraties. Twee maanden later gingen 14 miljoen mensen de straat op.

Die 14 miljoen was zo’n 22 procent van de bevolking. Veel meer dus dan die overige 11 procent die aangaf wél mee te willen doen aan demonstraties. Was binnen twee maanden de sfeer zo omgeslagen dat mensen van gedachten waren veranderd?

Onderzoeker Ammar Maleki een andere verklaring: de peiling had het bij het verkeerde eind.

Peilen in een dictatuur

Ik sprak Maleki voor over peilingen in Rusland, dat ik vorige week publiceerde. De centrale vraag: staan Russen achter Poetin?

Maleki weet het een en ander van onderzoek doen onder een autocratisch regime – hij leidt de Group for Analyzing and Measuring Attitudes in Iran (GAMAAN), die onderzoek doet naar de publieke opinie in zijn moederland Iran.

We hadden het over de een onderzoeksprogramma dat sinds 1981 wereldwijd onderzoek doet naar zaken als familie, religie en politiek. De WVS is voor veel sociaal wetenschappers dé plek om data vandaan te halen. Ik weet nog goed hoe ik als stagiair bij een internationale organisatie eindeloos door de database heb geploegd.

Maar de WVS heeft een probleem, stelt Maleki: de gesprekken worden voornamelijk face to face gedaan. In een land waar het gevaarlijk is je mening te uiten, is het risico dat mensen liegen in zulke gesprekken. Of, met een chic woord, dat ze doen aan preference falsification.

En waar kwamen die data uit Egypte vandaan? Jawel, van diezelfde WVS. De mensen waren niet ineens van gedachten veranderd, is het idee, ze waren nooit eerlijk geweest.

Een eyeopener

Een club als de WVS is gerenommeerd omdat de methodologie helemaal volgens het boekje is: ze gebruiken een willekeurige steekproef, wat belangrijk is als je een groep respondenten wilt krijgen die representatief is. Dat is iets waar ik uitgebreid over heb geschreven in mijn boek, en het eerste waar ik naar zoek als ik wil uitvinden of een peiling deugt.

Maar voor zo’n representatieve steekproef moet je mensen benaderen via hun (mail)adres of hun telefoonnummer, en het risico is dat deelnemers niet geloven dat ze anoniem zijn. Daarom doet Maleki het anders: hij verspreidt de vragenlijsten via sociale media.

Mijn automatische reactie op zulke online peilingen was altijd om ze naar de prullenbak te verwijzen, maar Maleki gaf overtuigende argumenten om zijn methode serieus te nemen. Want hij stelde dat je moet kiezen tussen twee kwaden: een representatieve steekproef waarin mensen liegen, of een steekproef die niet representatief is waarin mensen de waarheid vertellen. Die laatste kun je tenminste nog corrigeren voor bijvoorbeeld leeftijd en gender.

Maleki’s onderzoek staat nog in de kinderschoenen, maar ik vond het goed dat mijn aannames eens flink op hun kop werden gezet. Helaas leveren zijn inzichten voor Rusland voorlopig niet veel op, want de conclusie van mijn artikel: we kunnen op dit moment niet weten wat de gewone Rus vindt.

Lees er over op De Correspondent.

Tot slot...

...werd onlangs bekend dat de Israëlische auteur David Grossman de Erasmusprijs wint voor zijn oeuvre. Reden om zijn prachtige boek over rouw aan te bevelen, Uit de tijd vallen. waarom ik het zo’n bijzonder werk vond en waarom het juist nu relevant is.