Cijfers - De getallen die onze wereld dicteren

1

Wie brengt het cijfer?

Deze en andere vragen in de eerste sectie van dit thema zijn geïnspireerd op het boek ‘How to lie with statistics’ van Darrell Huff.

Ontmoet Jason Chaffetz, Republikeins lid van het Amerikaanse Congres. Chaffetz wil dat de overheid de subsidies aan Planned Parenthood, een organisatie die zich onder andere bezighoudt met abortussen, stopzet.

Dus laat hij in september 2015 de onderstaande grafiek zien tijdens een debat. Zijn boodschap: de obsessie met abortussen gaat ten koste van andere - levensreddende - taken van Planned Parenthood.

Maar wacht eens even... Rechstboven staat het getal 327.000. Daaronder staat 935.573. Moet een hoger getal ook niet hoger staan in de grafiek? De truc: er zijn twee verticale assen gebruikt, maar die zie je niet.

Zet je de getallen op dezelfde as, dan doemt een heel ander beeld op.

Levensreddende procedures gaan nog steeds omlaag, maar je kunt moeilijk zeggen dat dat komt door een dramatische toename van abortussen.

Maar op zo’n boodschap zat Republikein Chaffetz natuurlijk niet te wachten. En hij is niet de enige. Wat iemand ook te verkopen heeft - een krant, wetenschappelijk artikel of beleidsmaatregel - een pakkend getal helpt.

Komt een cijfer iemand wel heel goed uit? Let dan extra goed op.

Oproep

Wie kent nog meer voorbeelden van dit soort gegoochel met cijfers?

59

2

Uit welke dataset komt het cijfer tevoorschijn?

Achter een eenvoudig getal in het nieuws gaat altijd een warrige berg schuil: de dataset.

Nou ja, altijd... Soms zit er achter een cijfer niet meer dan een dikke duim. Denk maar aan de psycholoog Diederik Stapel, die op zijn minst 55 wetenschappelijke publicaties bij elkaar fantaseerde.

Al is het niet altijd makkelijk te achterhalen, wees op je hoede als iemand geheimzinnig doet over de herkomst van zijn data. Want ook als de data niet bij elkaar zijn gefantaseerd, kan er nog een hoop misgaan. Vaak ligt dat aan de steekproef - de groep mensen die is onderzocht. Zo moet die groep een goede afspiegeling zijn van de mensen waar je iets over wilt weten.

Stel, ik wil onderzoek doen naar de bekendheid van De Correspondent in Nederland. Ik stuur onderstaande enquête naar alle leden.

Wow, ik krijg een episch - maar absurd - resultaat: 100 procent van de Nederlanders bekend met De Correspondent! Het is een van de vele manieren om met peilingen te goochelen.

Bewaar Bewaar Bewaard Bewaard

Oproep

Heb jij nog tips voor een verhaal over politieke peilingen?

10

Oproep

Wie kent nog meer voorbeelden van dit soort gegoochel met cijfers?

59

Bewaar Bewaar Bewaard Bewaard

3

Ontbreekt belangrijke informatie bij het cijfer?

’s Avonds laat snacken is slecht voor je geheugen

Een glas wijn staat gelijk aan een uur in de sportschool

Scheten ruiken voorkomt kanker

Je kent ze wel, dit soort uitspraken uit het nieuws. Het grootste probleem: belangrijke informatie wordt weggelaten. Soms zijn dat de resultaten die te saai zijn voor een wetenschappelijk tijdschrift of een krantenkop.

Andere keren ontbreken details die het resultaat relativeren. Herinner je je dit bericht nog uit het journaal? ‘Mensen die dagelijks bewerkt vlees eten lopen bijna 20 keer meer risico op het krijgen van darmkanker.’

Holy cow!

Allereerst: die ‘bijna 20 keer’ had ‘bijna 20 procent’ moeten zijn - 18 procent, om precies te zijn. Maar ook dat getal joeg veel media op stang. Niet gek, want 18 procent klinkt best eng.

Maar 18 procent van wat? Als je naar de data kijkt blijken 6 op de 100 Nederlanders ooit darmkanker te krijgen. Dat risico wordt volgens de World Health Organization 18 procent lager als je stopt met het eten van bewerkt vlees: van 6 naar 5 op de 100.

In de woorden van hoogleraar voedingsleer Martijn Katan: de ‘kans om nooit darmkanker te krijgen is 94 procent met vleeswaren en 95 procent zonder.’

Zo zie je, het weglaten van een belangrijk detail - de kans op darmkanker - maakt een nieuwbericht van suf tot sensatie.

Bewaar Bewaar Bewaard Bewaard

Oproep

Wie weet er meer over het gemiddelde?

16

Oproep

Wie kan ons meer vertellen over Bayesiaanse statistiek?

17

Oproep

Wie kent nog meer voorbeelden van dit soort gegoochel met cijfers?

59

Bewaar Bewaar Bewaard Bewaard

4

Welke definities worden gebruikt om het cijfer te duiden?

Goochelen met definities. Het is een manier van statistiekmisbruik die je niet snel opmerkt, maar grote gevolgen kan hebben.

Neem het Nationaal Forensisch Instituut, dat het presteerde om de wachttijden voor forensisch onderzoek terug te brengen. Het resultaat was indrukwekkend: van 130 dagen in 2007 tot slechts 15 dagen in 2011.

De truc? De definitie van ‘wachttijd’ was zo aangepast dat het op papier voor de wind leek te gaan. In de praktijk was er helaas niks veranderd.

En kijk ook eens naar Gert-Jan Seegers, Tweede Kamerlid voor de Christenunie. Hij betoogt: ondanks de legalisering van prostitutie in Nederland, is er geen afname van mensenhandel.

Maar de cijfers die hij gebruikt gaan over meldingen. En daar zit de crux: misschien wordt mensenhandel wel vaker gemeld omdat - zeg - de politie beter haar werk is gaan doen. Maar of mensenhandel wel of niet vaker voorkomt? Dat zeggen de cijfers niet.

Bewaar Bewaar Bewaard Bewaard

Oproep

Wie kent nog meer voorbeelden van dit soort gegoochel met cijfers?

59

Bewaar Bewaar Bewaard Bewaard

5

Is het cijfer logisch?

Sommige getallen zijn simpelweg onmogelijk. Vaak kun je dat met een beetje boerenverstand al zien.

‘In 2048 zullen alle Amerikaanse volwassenen overgewicht of obesitas hebben.’ Dat schreef een aantal wetenschappers in 2008.

Ze hadden gegevens voor een paar jaar verzameld en zagen: die datapunten liggen op een mooie rechte lijn. Trek de lijn door en je ziet: in 2048 is 100 procent van de Amerikanen te dik.

Maar al snel vallen de onderzoekers door de mand. Want hun onderzoek laat zien: niet alle groepen groeiden even snel. Zwarte mannen bleken pas in 2095 allemaal overgewicht of obesitas te hebben.

Maar hoe kan in 2048 iedereen een gewichtsprobleem hebben, terwijl sommige zwarte mannen pas zo’n vijftig jaar later te zwaar worden? Zaten ze tijdelijk in het buitenland?

De fout: een trend die een tijdje lineair is, hoeft dat niet voor altijd te blijven. In dit geval vlakt de lijn af als ze in de buurt komt van 100 procent.

Oproep

Wie kent nog meer voorbeelden van dit soort gegoochel met cijfers?

59

6

Is er wel of geen oorzakelijk verband?

Gaat een hoge staatsschuld samen met lage economische groei? Dan moeten we flink bezuinigen om uit de recessie te komen.

Zijn wijndrinkers gezonder? Dan kun je maar beter wat bijschenken bij het avondeten.

En vertonen vluchtelingen vaker crimineel gedrag? Dan moeten we toch eens nadenken of we onze grenzen wel open willen houden.

Keer op keer wordt deze fout in een debat gemaakt. Omdat het een samenhangt met het ander (correlatie), wordt aangenomen dat het een het ander ook veroorzaakt (causaliteit). Maar vaak is dat helemaal niet zo.

Een van de kenmerken van kulcausaliteit: er is geen enkele reden voor die samenhang. Neem het verband tussen de PVV in de peilingen en vloerkleden van Karwei.

Vaak is het veel minder duidelijk dat het om een onzincausaliteit gaat. Met grote gevolgen voor economie, gezondheid of migratie.

Bewaar Bewaar Bewaard Bewaard

Oproep

Wie kent nog meer voorbeelden van dit soort gegoochel met cijfers?

59

Bewaar Bewaar Bewaard Bewaard

7

Cijfers hebben context nodig

Misleidende grafieken. Wetenschapsfraude. Gegoochel met definities. Je zou er bijna nihilistisch van worden. Gaat het ooit wél goed?

Gelukkig wel. We hebben veel aan cijfers te danken. Door cijfers weten we bijvoorbeeld dat roken longkanker veroorzaakt. En dat de aarde opwarmt door CO2-uitstoot.

Maar deze voorbeelden laten ook zien: statistische analyses zijn niet voldoende. Om te begrijpen waarom sigaretten slecht zijn, moet je doorhebben hoe cellen werken. En je kunt niet weten hoe CO2 en opwarming samenhangen zonder natuurkunde, geologie en biologie te bestuderen.

Om nog niet te spreken van de belangen van de tabaks- en olie-industrie.

Met andere woorden: cijfers hebben context nodig. Wat zit erachter? Wie zit erachter? Om daarachter te komen nemen we de komende tijd de belangrijkste cijfers in het nieuws onder de loep.

Al in ons vizier: het bbp, armoede en targets in de publieke sector. We zullen dit thema telkens aanvullen met nieuwe cijfers.

Bewaar Bewaar Bewaard Bewaard

Oproep

Van welk cijfer in het nieuws wil jij meer weten?

22

Bewaar Bewaar Bewaard Bewaard

8

Hoe feitelijk zijn onze feiten over armoede?

Armoede de wereld uit, iedereen lijkt het wel te willen. Obama. Bono. De Paus. Je buurman die cupcakes bakt voor Serious Request. Maar hoe bestrijd je armoede? En hoe weet je of het lukt?

Daar heb je cijfers voor nodig. Maar op die cijfers is heel wat aan te merken. Veel ontwikkelingslanden hebben namelijk een chronisch gebrek aan geld, mankracht en kennis.

En zelfs als dat er allemaal wel is, moet je nog keuzes maken bij het meten van armoede. Die beslissingen hebben grote invloed op de cijfers. Meet je bijvoorbeeld armoede in absolute zin, dan daalt het wereldwijd. Maar relatieve armoede is juist aan het stijgen.

Er zijn al veel meer en betere data dan pakweg twintig jaar geleden. Maar hoe goed de cijfers uiteindelijk ook worden, er zal nooit één manier zijn om armoede te meten. Je zult uiteindelijk een waardeoordeel moeten vellen.

En dus is armoede, net als bijna elke statistiek in het publieke debat, subjectief. Het is politiek.

Bewaar Bewaar Bewaard Bewaard

Oproep

Wat wil jij weten van de Wereldbank?

5

Bewaar Bewaar Bewaard Bewaard

9

Het bbp, de beste graadmeter voor welzijn?

Het is het heiligste getal van onze tijd: het bruto binnenlands product. Op basis hiervan worden regeringen afgerekend, miljoenen geïnvesteerd en broekriemen aangetrokken.

Wat het precies is? Kortgezegd, het bbp is de optelsom van alle goederen en diensten die in een land worden geproduceerd, door binnen- en buitenlandse ondernemingen.

Nu is er op zich niks tegen zo’n berekening, het geeft je inzicht in de economie van een land. Maar het probleem is: het bbp is door de jaren heen veel groter gemaakt dan het is. Het is synoniem geworden voor welzijn.

Dat terwijl het bbp zaken meetelt die maar weinig als positief zullen ervaren. Files, drugsmisbruik, vreemdgaan – het zijn goudmijntjes voor tankstations, afkickklinieken en echtscheidingsadvocaten.

Tegelijkertijd tellen veel zaken niet mee. Vrijwilligerswerk, schone lucht, het gratis plakje worst bij de slager – het bbp wordt er niet groter van. Bobby Kennedy merkte al eens op: ‘Het bbp meet alles, behalve wat het leven de moeite waard maakt.’

Hoe dan wel? Moeten we bbp anders meten? Of moeten we op zoek naar andere maatstaven voor welzijn, zoals geluk?

Bewaar Bewaar Bewaard Bewaard

10

Cijferdictatuur in de publieke sector

Leraren, agenten, artsen - bijna iedereen in de publieke sector heeft er last van: de cijferdictatuur. Stuk voor stuk worden vakmensen in hokjes geperst door checklists, targets, kwaliteitsindicatoren. En in die hokjes is steeds minder plaats voor waar het echt om gaat: goede zorg, wezenlijke kennis, eerlijke rechtspraak.

Veel beroepsgroepen komen in protest. Huisartsen pleitten voor een einde aan de ‘grenzeloze verzameldrift van nutteloze informatie’; wetenschappers beklaagden zich over het ‘cijferfetisjisme’ op de universiteit, en rechters waarschuwden voor ‘productienormen’ waardoor ‘niet de kwaliteit’ maar de ‘kwantiteit’ doorslaggevend was geworden.

Maar hoe moet het dan wel? Hoe kun je als overheid zorgen voor betaalbare dienstverlening zonder terug te vallen op perverse financiële prikkels? Hoe stuur je op kwaliteit?

In die vragen gaan we ons de komende tijd verdiepen.