Beste NOS-ombudsman, bij wie kunnen we over u klagen?

Beste NOS-Ombudsman,

Wij huilen niet zo vaak. Armen heeft in zijn hele leven maar vier keer gehuild: drie keer bij Titanic en één keer om uw stuk van 2 december jongstleden. Daarin schrijft u zulke flauwekul over statistiek dat we er niet eens meer boos om kunnen worden. Eerder teleurgesteld. En verdrietig dus.

U zult misschien denken: stelletje nerds, ga je eens druk maken over belangrijkere zaken. Maar dit ís belangrijk, ook als je niet wild wordt van foutmarges en gestratificeerde steekproeven. Hier staan namelijk, zoals u zelf terecht aangeeft, reputaties op het spel. En niet in de laatste plaats die van uw eigen nieuwsorganisatie.

Het NOS-bericht waar het mee begon...

Laten we eerst even samenvatten waar het ook alweer om ging. Vorige week stond er een bericht op de NOS-website: ‘Deel vrijwilligers Rode Kruis weigert hulp aan vluchtelingen.’ In de eerste zin stond dat het zou gaan om ‘duizenden vrijwilligers.’ Die uitspraken waren gebaseerd op een intern stuk van het Rode Kruis. Daarin werd een enquête onder 1293 van de in totaal ongeveer 30.000 vrijwilligers besproken. 20 procent gaf aan ‘niet bereid’ te zijn om vluchtelingen te helpen.

Die 20 procent, zo lazen we, gaven verschillende redenen. Sommige motieven, aldus de directeur van het Rode Kruis, ‘druisen [in] tegen onze grondbeginselen.’ Zo zag een aantal vrijwilligers de grenzen liever dicht. Of vond dat er geen plek is voor vluchtelingen in Nederland.

Dit is nogal wat - vrijwilligers die weigeren te helpen. Zeker voor een organisatie die zegt iedereen hulp te bieden, ongeacht geloof, afkomst of geaardheid. En niet zo gek dus, dat een nieuwsorganisatie als de uwe er aandacht aan wilde besteden.

...de reactie van het Rode Kruis…

Toch kwam er al snel kritiek op het bericht. En niet van de minste: het Rode Kruis zélf kwam met een verklaring op de website. De berichtgeving zou ‘suggestief’ zijn. Het voornaamste argument: deelnemers aan de enquête noemden veel andere redenen om niet bereid te zijn vluchtelingen te helpen. ‘[V]ariërend van familieomstandigheden tot de eigen medische situatie en van een nieuwe baan tot het feit dat er geen opvanglocaties in de buurt zijn. Enkele individuen hebben aangegeven dat zij vluchtelingen om principiële redenen niet zouden willen helpen.’

(Even terzijde: strikt genomen werd in het NOS-bericht wel gezegd dat er andere redenen waren. Maar die werden niet verder uitgelegd. Dat had best gemogen, vonden wij.)

De werkelijkheid blijkt trouwens weerbarstiger dan de peiling suggereert. In de verklaring staat: ‘in de praktijk heeft nog geen enkele vrijwilliger’ geweigerd ‘toen hij of zij werd opgeroepen.’

...de reactie van de NOS-ombudsman, u dus.

Enter: de NOS-ombudsman. Na zo’n bericht is het natuurlijk aan u om in uw pen te klimmen en uw onafhankelijke oordeel te vellen. Uw conclusie: de NOS valt niets te verwijten. Het artikel citeerde slechts uit andere stukken - interne documenten, mails van de voorlichter en de directeur van het Rode Kruis. ‘De redacteuren voegen hier niets aan toe behalve een extrapolatie van de enquêtecijfers.’

Nu hebben we wel wat andere problemen met uw verhaal, maar die zogenaamde extrapolatie - waar het Rode Kruis trouwens met geen woord over repte - was wel het ergste.

De tranentrekker: extrapolatie

Extrapoleren betekent dat je op basis van bepaalde gegevens een uitspraak doet over een andere situatie. Over de toekomst bijvoorbeeld, zoals je vaak ziet bij economische voorspellingen. Of over andere mensen, zoals in het geval van de Rode Kruis-enquête.

Uiteindelijk zijn 1293 van de 30.000 vrijwilligers ondervraagd - nog geen 5 procent. 20 procent daarvan gaf aan niet bereid te zijn vluchtelingen te helpen. Dan is de extrapolatie vlug gemaakt: 20 procent van 30.000 is gelijk aan 6.000. Daar zullen die ‘duizenden vrijwilligers’ wel vandaan komen.

Het probleem met zo’n extrapolatie is dat je natuurlijk nooit zeker weet of het klopt. Er zit sowieso onzekerheid in zo’n voorspelling. Als het gaat om een peiling, weet je in ieder geval wel: hoe groter de groep ondervraagden, hoe betrouwbaarder je schatting. Daar lijkt u op te doelen als u schrijft dat 1293 ‘volgens statistici een voldoende significant aantal [is] om conclusies uit te trekken.’ Ergens anders heeft u het ook over ‘experts.’

(Even terzijde, we begrijpen niet zo goed waarom u het woord ‘significant’ hier gebruikt. Verderop gebruikt u het nog een keer: ‘het aantal enquêteantwoorden [is] statistisch significant.’ Statistisch significant betekent dat een bepaalde meting zo afwijkt dat het hoogstwaarschijnlijk niet door toeval verklaard kan worden. Maar wat statistische significantie hier te maken heeft met het aantal enquêteantwoorden mag Joost weten. )

De crux: representativiteit

Wij zijn heel benieuwd wie die ‘experts’ zijn. Er is namelijk een andere cruciale voorwaarde voor een peiling: hij moet representatief zijn. Je kunt wel een grote groep hebben, maar je hebt er niets aan als die heel anders is dan de rest van de vrijwilligers. Als je wilt weten wat ‘de Nederlander’ van vluchtelingen vindt, ga je ook niet alleen maar Amsterdamse grachtengordelbewoners naar hun mening vragen.

Een probleempje: wij konden nergens vinden hoe het Rode Kruis de peiling heeft uitgevoerd. Er is - voor zover wij weten - geen methodologische verantwoording van de peiling. In zo’n verantwoording wordt normaliter uitgelegd hoe de peiling is uitgevoerd, wie de opdrachtgever was en wat de resultaten waren. Is die verantwoording er niet, dan heb je eigenlijk geen idee of de peiling wel te vertrouwen is.

We hebben daarom contact opgenomen met het Rode Kruis. De persvoorlichter vertelde ons dat er 21.230 vrijwilligers per e-mail benaderd waren voor deze peiling. Niet de 30.000 waarvan eerder sprake was, want bijna tienduizend vrijwilligers hadden aangegeven niet voor dit soort doeleinden benaderd te willen worden. Wijken die tienduizend ‘weigeraars’ af van degenen die wel hun e-mailadres ter beschikking stelden? Dat zou de resultaten al flink kunnen vertekenen.

Van die 21.230 reageerden 1293 vrijwilligers, 6,1 procent. In peilingenland is dat wel heel erg weinig. Wie zegt ons bovendien dat die 6,1% representatief zijn voor de rest? Wie weet reageren mensen veel sneller als ze balen van het Rode Kruis of als ze geen zin of tijd hebben om mee te helpen. Dan kan die 20 procent een flinke overschatting zijn.

Het probleem is, we weten simpelweg niet of de steekproef een goede afspiegeling is van de vrijwilligers. De persvoorlichter van het Rode Kruis schreef ons wel dat de respondenten uit alle gelederen van de organisatie komen. Maar ze geeft ook toe dat naar andere achtergrondkenmerken niet is gevraagd, dus dat generaliseren uiteindelijk ongefundeerd is. Intern spreekt het Rode Kruis dan ook steevast van ‘procent van de respondenten’ in plaats van ‘procent van de vrijwilligers.’

En dan nog iets: wat werd er eigenlijk gevraagd? De vraag was als volgt: ‘Ben je bereid om je op korte termijn in te zetten voor de noodhulpverlening aan vluchtelingen en migranten?’ 20 procent antwoordde: ‘Nee, ik ben hiertoe niet bereid omdat…’ Hierna was het verplicht om een antwoord in te vullen. Slechts 15 procent van die 20 procent gaf een principiële reden om vluchtelingen niet te helpen.

Even rekenen: 15 procent van 20 procent van 1293 vrijwilligers. Dat is 3 procent, zo’n 39 respondenten in totaal.

Een peiling is ook een bron

Was de NOS op de hoogte van de methode van de studie? Het lijkt er niet op. Nergens wordt genoemd dat de vragenlijst via e-mail is verspreid, noch dat slechts 6,1 procent reageerde. En dat terwijl les één voor een journalist is: ga netjes om met je bronnen.

Een peiling is ook een bron, dus daar moet je de herkomst net zo goed van checken. (Dat vinden wij trouwens niet alleen. The New York Times, niet de minste, heeft hier ook strakke richtlijnen voor.)

Met politieke peilingen gaat de NOS overigens heel verantwoord om. En dat uw nieuwsorganisatie een Ombudsman in dienst heeft, juichen we alleen maar toe. Maar mocht u nog eens met de handen in het haar zitten, dan helpen we u graag de statistiek bij de NOS op waarde te schatten. We zijn te bereiken via sanne@decorrespondent.nl.

Dan nog een laatste vraag: bij wie kunnen we eigenlijk klagen over de Ombudsman?

Met vriendelijke groet,

Sanne Blauw (De Correspondent) en Armen Hakhverdian ( Universiteit van Amsterdam)

Update: De NOS-ombudsman heeft ondertussen een reactie geplaatst. Lees hier meer:

Lees verder: