Hoe precieze cijfers ons misleiden en de geschiedenis bepalen

Denis Healey is bijna op het Londense vliegveld Heathrow als hij plotsklaps moet omkeren. De Britse minister van Financiën beleeft moeilijke tijden: het is 1976 en de economie zit in een zware dip. Op deze dag ontstaat er ineens onrust op de financiële markten en dreigt de koers van de pond nog verder te zakken. Dat is de druppel: Healey annuleert zijn vliegreis en maakt rechtsomkeert om een persconferentie te geven.

Daar maakt hij bekend: het Verenigd Koninkrijk vraagt het Internationaal Monetair Fonds (IMF) om een noodlening. Na een paar maanden onderhandelen bereiken de Britten en het IMF een akkoord. Maar de eisen zijn streng: in ruil voor een lening van 2,3 miljard pond moet de Britse regering 2,5 miljard pond bezuinigen.

De periode staat gegrift in het Britse politieke geheugen. De economische malaise droeg bij aan het succes van de conservatieve Margaret Thatcher, die drie jaar na Healey’s bekendmaking aan de macht kwam. Haar regeerperiode vormde een historische wending in het Verenigd Koninkrijk. De vrijemarktfilosofie die ze introduceerde en die haar beleid kenmerkte heeft tot de dag van vandaag invloed op de Britse politiek.

En toch, het had allemaal heel anders kunnen lopen. Toen nieuwe gegevens beschikbaar kwamen, bleek: die crisis viel eigenlijk best mee. ‘Als we toen de juiste getallen hadden gehad, hadden we die lening nooit hoeven aanvragen,’ zei Healey later.

Recessie, schmecessie

Ook in Nederland spelen economische indicatoren een belangrijke rol. En ook hier blijken de cijfers er nog wel eens naast te zitten. Zo kondigde het CBS vorige maand nog aan dat de economie afgelopen kwartaal met 0,1 procent was gegroeid. En dat de economie nu ‘1,9 procent groter [is] dan in het derde kwartaal van 2014’. De getallen werden volop geduid in het nieuws: de groei zou zijn aangetrokken door de bouw van nieuwe huizen en de verkoop van auto’s.

Maar een belangrijke zin uit het CBS-persbericht werd door nagenoeg alle media genegeerd: ‘Het groeicijfer is gebaseerd op een eerste berekening met de gegevens die nu beschikbaar zijn’.

De cijfers kunnen dus nog veranderen.

Dat gebeurt wel vaker. Sterker nog, het is eerder de regel dan de uitzondering: de groei in het tweede kwartaal van dit jaar is al bijgesteld van 0,1 naar 0,2 procent. Het eerste kwartaal ging van 0,4 naar 0,6 procent.

Beetje vroeg dus, om al verbanden te leggen met de huizen- en automarkt.

Nu zijn deze aanpassingen nog klein, maar soms kunnen correcties een radicaal ander beeld van de economie geven. Of je in een recessie zit, bijvoorbeeld. In 1996 lieten economische indicatoren nog zien dat de Britse economie tien recessies had beleefd tussen 1955 en 1995. Maar een dataset uit 2012 toonde een rooskleuriger beeld: er hadden in hetzelfde tijdsbestek maar zeven recessies plaatsgevonden.

Waarom je nooit precies kunt meten

Economische cijfers zijn slechts één geval. Wetenschappers, politici en journalisten slaan je dagelijks om de oren met nauwkeurige getallen. De precisie geeft de indruk van zekerheid, van deskundigheid. Maar vaak zijn de cijfers té nauwkeurig.

Op het moment dat je iets gaat meten weet je nooit helemaal zeker of de meting klopt, of het nou om euro’s, personen of jaren gaat. Zelfs bij de meest eenvoudige zaken is het exacte getal ongrijpbaar. Dat heeft twee oorzaken.

Allereerst: hoe definieer je wat je meet? Stel, je geeft een verjaardagsfeest en iemand vraagt je de volgende dag hoeveel mensen er waren. Tel je alleen de mensen die de hele avond zijn gebleven? Of leg je de grens bij een uur? Een half uur? Wat doe je met de baby van Peter en Mieke, die in de logeerkamer lag te slapen? En hoe zit het met die party crashers die je helemaal niet had uitgenodigd?

Het is dus al lastig een goede definitie te vinden voor iets eenvoudigs als feestgangers. Wat dacht je dan van vage of controversiële begrippen als terrorisme, geluk en intelligentie?

Al kom je tot een definitie, dan nog is er een foutenmarge. Er is namelijk een grens aan hoe exact je kunt zijn. Bovendien heb je niet altijd alle gegevens die je nodig hebt, zoals het CBS bij de eerste berekening van de economische groei. Tot slot kun je ook gewoon fouten maken. Wie weet heb je op je feest mensen over het hoofd gezien. Misschien had je te veel gedronken of was je te druk aan het praten met anderen.

Nu heeft het geen grote gevolgen als jij 31 in plaats van 33 mensen op bezoek hebt gehad. Maar in andere gevallen kan het grote consequenties hebben. Bij verkiezingen bijvoorbeeld, het feest van de democratie.

Een geldige stem uitbrengen is nog niet zo makkelijk

Stemmen tellen, het lijkt zo’n eenvoudige zaak. Maar net als met je verjaardag kan er op twee vlakken iets misgaan. Allereerst: hoe definieer je wat een geldige stem is?

Een bizarre discussie op 18 december 2008 laat pijnlijk zien hoe moeilijk dit is. Rechters en advocaten kwamen op die dag bij elkaar in een rechtszaal in de Amerikaanse staat Minnesota. De senaatsverkiezing was al meer dan een maand achter de rug, maar nog steeds was de uitslag niet bekend. Het was krap, heel krap: de Democraat Al Franken had maar 215 stemmen minder dan de Republikein Norm Coleman. En dus moesten de stemmen herteld en gingen advocaten van beide kanten elk stembiljet nauwkeurig ontleden.

Zo ook het biljet waar iemand het vakje bij Al Franken had ingekleurd maar ook ‘Hagedissen Mensen’ had opgeschreven. Dat is een stem voor Franken, vond Marc Elias, Frankens advocaat.

Maar de advocaat van Coleman was het daar niet mee eens: de stem telde niet, want er was een naam ingevuld.

Onzin, reageerde Elias, Hagedissen Mensen is niet eens een echt persoon.

De rechters mengden zich in de discussie. ‘Je kunt niet weten of er iemand bestaat met de naam “Hagedissen Mensen”,’ zei rechter Eric Magnuson.

‘Trouwens,’ vroeg een andere rechter, Edward Cleary. ‘Is ‘Mensen’ niet meervoud?’

‘Je kunt toch ook Sims van je achternaam heten?’ reageerde Magnuson.

De conclusie van deze idiote discussie: Hagedissen Mensen zou een echt persoon kunnen zijn, dus het stembiljet was ongeldig. Niet veel later was het alweer tijd voor de volgende absurde casus: iemand had op een stembiljet ‘-stein’ achter Al Frankens naam gekrabbeld.

Naast de definitie, speelt - net als bij de feestgangers - een ander probleem: er kan een hoop misgaan. Stemmentellers kunnen het biljet verkeerd lezen, de tel kwijtraken of een foutje maken bij het invullen van het aantal stemmen.

Dubbelzinnige stembiljetten en telfouten zorgen voor een foutenmarge in het aantal stemmen. Het is vaak moeilijk te zeggen hoe groot die marge precies is. Maar in het geval van Minnesota was het duidelijk. Daar bleek bij een hertelling dat er 0,04 procent verschil zat tussen de eerste en de tweede telling van de stemmen.

Je kunt beter een muntje opgooien

Op 13 april werd bekend: Al Franken had gewonnen. Maar zijn voorsprong was miniem: 312 stemmen - 0,01 procent van het totaal. Dat is minder dan de 0,04 procent marge, en dus had net zo goed Coleman senator kunnen worden.

Lekker belangrijk, zul je misschien denken. Laat ze hun gang maar gaan in Minnesota. Maar een nagenoeg identieke situatie heeft de wereld flink beïnvloed: de verkiezing tussen George W. Bush en Al Gore in 2000. Die was net zo krap als in Minnesota: Bush had in Florida maar 537 stemmen meer dan Gore - 0,01 procent van het totaal in de Sunshine State. Hij won de staat. En aangezien de stand op dat moment gelijk was, won hij daarmee ook de hoofdprijs: het Amerikaanse presidentschap.

Omdat er foutenmarges in het spel waren, had Gore net zo goed de winnaar kunnen zijn. Wat is dan de oplossing? Betere methodes? Heel nauwkeurig hertellen? Nee, zegt Charles Seife in zijn boek Proofiness. Verkiezingen die zó krap zijn kun je maar op één manier beslissen: een muntje opgooien. Een gek idee. Kop of munt had onze wereldgeschiedenis kunnen veranderen.

Drie alarmbellen

Eigenlijk kun je een getal dus nooit scherp zien. Het is alsof je door matglas kijkt: je ziet de contouren, maar niet het precieze cijfer. Nu is het moeilijk om als leek in te schatten hoe groot die contouren zijn.

Wat kun je dan wel doen? Let in ieder geval op in de volgende drie situaties, want daar worden belangrijke cijfers stelselmatig te precies gerapporteerd.

Alarmbel 1: Voorspellingen

Of het nu klimaatwetenschappers, economen of sportcommentatoren zijn: mensen doen graag voorspellingen. Als zo’n uitspraak al op iets anders gebaseerd is dan de onderbuik, dan is het vaak op een statistisch model. Neem de verwachte economische groei. De cijfers die je in zo’n model stopt - bezuinigingen, werkloosheid, productiviteit - hebben een foutenmarge. Het statistisch model doet daar nog een schepje bovenop. Je kiest op basis van het verleden welke toekomstige situatie het meest waarschijnlijk is. Maar dat is nooit honderd procent zeker. In het verleden behaalde resultaten bieden geen garantie voor de toekomst.

De uitkomst - de voorspelling - is dus nog wankeler dan de informatie waar je het op baseert. Neem het daarom vooral niet te serieus als de OESO - zoals pas geleden - zegt dat de Chinese economie in 2017 met 6,2 procent zal groeien.

Alarmbel 2: peilingen

Peilingen spelen een grote rol in het publieke debat. Politieke peilingen zijn wekelijkse kost voor kranten en journaals. De resultaten worden vaak tot op de zetel nauwkeurig genoemd. En dat terwijl verschillende peilers op andere resultaten uitkomen. Al zouden ze precies dezelfde methode gebruiken, dan nog zouden ze niet dezelfde uitkomst krijgen.

Bij een peiling vraag je namelijk - in tegenstelling tot bij verkiezingen - maar een fractie van de groep om een mening. Al zijn die mensen misschien een goede afspiegeling van de hele groep, dan nog heb je een foutenmarge. Met een andere steekproef was het resultaat iets hoger of iets lager uitgevallen. Wel geldt: hoe meer mensen je ondervraagt, hoe betrouwbaarder het getal.

Alarmbel 3: Ranglijstjes

De lekkerste oliebol, het beste ziekenhuis of de excellentste universiteit. Noem een willekeurig onderwerp en er is een ranglijst van. De lijstjes halen regelmatig de krantenkoppen en een hoge plek komt goed uit in marketingcampagnes. Voor verliezers kan de lijst grote gevolgen hebben: het kost je klanten, patiënten of studenten.

Maar ook rond deze gesorteerde cijfertjes zit bijna altijd een foutenmarge. Het kan daardoor nog wel eens voorkomen dat net zo goed iets of iemand anders op nummer één had kunnen staan. Zo liggen de eerste vijf landen op de geluksranglijst zo dicht bij elkaar dat ze niet van elkaar te onderscheiden zijn. En toch koppen kranten: ‘Zwitserland gelukkigste land ter wereld.’

83,427 procent van de gevallen

Kortom: wees bedacht op journalisten, politici of wetenschappers die - al dan niet opzettelijk - hele nauwkeurige getallen verkondigen. In 83,427 procent van de gevallen zitten ze er precies naast.