Eén op de vijf Britse moslims heeft sympathie voor jihadi’s, volgens The Sun. Klopt dat?

‘1 op 5 Britse moslims heeft sympathie voor jihadi’s.’ Dat was de enorme kop op de voorpagina van The Sun van afgelopen maandag. De krant had zelf opdracht gegeven voor de peiling. Maar een andere krant, The Guardian, vertrouwde de resultaten voor geen meter.

Volgens The Guardian worden de peilingen van The Sun normaliter gedaan door het marktonderzoeksbureau YouGov. Ditmaal weigerde het bureau echter om de peiling uit te voeren. Het kon niet garanderen dat het met het beschikbare budget in de beperkte tijd een representatieve peiling kon uitvoeren. Daarom vroeg The Sun een ander bureau: Survation. Maar het bureau lapte twee belangrijke voorwaarden voor goede peilingen aan zijn laars.

1. De vragen deugen niet

Allereerst kun je vraagtekens zetten bij de manier waarop de vragen in de peiling zijn gesteld. In de grafiek hieronder staan de uitkomsten voor de vraag naar de sympathie voor strijders die naar Syrië gaan. Kennelijk heeft 5,3 procent ‘veel sympathie’ en 14,5 procent ‘enige sympathie.’ Opgeteld heeft dus 19,8 procent van de deelnemers sympathie voor de strijders.

Maar wat betekent dat eigenlijk, ‘sympathie’? Dat kun je op allerlei manieren interpreteren: dat je dezelfde mening hebt als de strijders; of dat je het niet met de strijders eens bent, maar wel enig begrip voor hen kunt opbrengen.

Een andere vage term is ‘strijders in Syrië.’ Het woord ‘jihad’ valt nergens. En toch concludeert The Sun: één op de vijf Britse moslims heeft sympathie voor jihadstrijders. Maar wie weet denken deelnemers wel aan Britse ex-militairen die samen met de Koerden tegen IS vechten. Of aan de door het Westen gesteunde anti-Assad-rebellen.

2. De steekproef is waarschijnlijk niet representatief

Om een representatief beeld te krijgen van de Britse moslims, moet je een zogenaamde ‘aselecte steekproef’ trekken. Dat betekent dat je willekeurig een aantal personen uitkiest. Maar hoe doe je dat? Er is geen lijst waarin alle moslims netjes staan opgesomd. Je zou een (grote) steekproef uit alle Britten kunnen trekken, vervolgens contact kunnen opnemen met alle geselecteerde personen en dan vragen of ze moslim zijn. Als iemand moslim is, dan nodig je hem of haar uit de vragenlijst in te vullen. En als dat niet het geval is, dan kun je de persoon verder negeren. Een probleem met deze aanpak: het is kostbaar en tijdrovend.

Daarom bedacht Survation een truc. Het bureau beschikt over een databank met daarin profielen van 43 miljoen Britse consumenten. Van een academisch deskundige op het gebied van achternamen kreeg het een lijst van ongeveer 1500 achternamen van moslims. Door die lijst te vergelijken met de namen in hun eigen bestand, konden ze de moslims eruit filteren. Aangezien ze ook beschikten over telefoonnummers, konden ze een telefonische peiling uitvoeren.

Volgens de gegevens van Survation was de omvang van de steekproef gelijk aan 1003. Er werd alleen niets gemeld over ‘non-respons,’ de mensen die niet aan het onderzoek mee wilden doen. Vermoedelijk zijn de interviewers van het bureau net zo lang doorgegaan met bellen totdat ze minimaal 1000 respondenten hadden. Daarbij hebben ze de gevallen van non-respons - geen contact, weigering of niet in staat te antwoorden - buiten beschouwing gelaten. Dit kan leiden tot ernstige vertekeningen in de uitkomsten.

Deskundigen hebben volgens The Guardian grote twijfel over de representativiteit van de steekproef van Survation. Een vraag die onmiddellijk opkomt: bevat de namenlijst echt alle namen die bij moslims kunnen voorkomen? Bovendien is het onwaarschijnlijk dat de databank alle Britse moslims bevat. Etnische minderheden zijn nog weleens ondervertegenwoordigd in dit soort bestanden. Sommige groepen ontbreken misschien wel volledig. Kortom, het is lang niet zeker of de steekproef wel representatief was.

Kritiek van binnenuit

Kritiek op de peiling kwam niet alleen van buiten. Survation nam in een online verklaring afstand van de interpretaties van The Sun. ‘De kop en de tekst van gepubliceerde artikelen zijn niet besproken met of goedgekeurd door Survation.’

Als klap op de vuurpijl bekende een medewerker van het onderzoek op de website Vice: ‘Ik was geschokt hoe [de peiling] was gebruikt.’ De anonieme persoon deed telefonische interviews. ‘Op ons scherm heette het “de Moslimpeiling”.’

De medewerker beschrijft dat veel mensen weigerden mee te doen aan het onderzoek. En van de mensen die zeiden ‘enige sympathie’ te hebben voor Syriëstrijders, ondersteunde niemand daadwerkelijk de jihadi’s. ‘Een vrouw gaf me bedachtzame, weloverwogen antwoorden op mijn vragen,’ schrijft de medewerker. ‘Ze dacht dat David Cameron er waarschijnlijk goed aan deed om Syrië te bombarderen en dat moslims een verantwoordelijkheid hadden om de terroristische aanslagen te veroordelen die in naam van de islam zijn uitgevoerd.’ Maar de vrouw zei over jonge Britse moslims die naar Syrië vertrekken: ‘Ze zijn gehersenspoeld, ik heb medelijden met ze.’ En dus kruiste de medewerker ‘enige sympathie’ aan.

Haatzaaierij

De peiling doet sterk denken aan een peiling die vorig jaar in het Nederlandse nieuws kwam. 90 procent van de Turkse Nederlanders bleek het eens te zijn met de stelling ‘Nederlandse moslims die in Syrië meevechten zijn helden.’ Lodewijk Asscher haastte zich te zeggen dat hij ‘verontrust’ was over de resultaten. Niet veel later bleek: de peiling deugde absoluut niet.

De schade was al aangericht. Een groep was onterecht in een kwaad daglicht gesteld

Maar de schade was al aangericht. Een groep was onterecht in een kwaad daglicht gesteld, net als in de peiling van The Sun. Het is goed dat andere kranten kritisch zijn op slechte peilingen. Maar je zou toch hopen dat zulke haatzaaiende foutieve berichten in de toekomst niet eens in het nieuws terechtkomen.

Dit artikel is een bewerking van een stuk dat eerder verscheen op PeilingPraktijken, het blog over goede en slechte peilingen.

Jelke Bethlehem (1949) is hoogleraar in de surveymethodologie aan de Universiteit Leiden. Hij was tot 2014 in dienst bij het Centraal Bureau voor de Statistiek als wetenschappelijk onderzoeker.

Verder lezen: