Foto: Noël Loozen (voor De Correspondent)

Gaat een hoge staatsschuld samen met lage economische groei? Dan moeten we flink bezuinigen om uit de recessie te komen.

Hebben vrouwen met een borstamputatie meer kans om te overlijden? Dan kunnen artsen bij borstkanker beter kiezen voor een borstsparende behandeling.

En vertonen vluchtelingen vaker crimineel gedrag? Dan moeten we toch eens nadenken of we onze grenzen wel open willen houden.

Keer op keer worden belangrijke beslissingen gebaseerd op een misverstand: dat correlatie hetzelfde is als causaliteit. Dat landen een slechte economie hebben doordat ze veel geld uitgeven, vrouwen overlijden doordat ze een borstamputatie hebben gehad en vluchtelingen crimineel zijn doordat ze uit een ander land naar Nederland zijn gekomen.

Maar zulke ‘oplossingen’ slaan de plank mis als er geen oorzakelijk verband bestaat. Dan bezuinig je een land kapot, geef je borstkankerpatiënten de verkeerde behandeling en sluit je mensen onterecht buiten.

En toch halen journalisten, politici en wetenschappers correlatie en causaliteit vaak door elkaar. Soms door onwetendheid, soms door eigenbelang. Want een oorzakelijk verband overtuigt: als je weet hoe iets ontstaat, dan kun je het ook veranderen.

Hoe kun je beoordelen of zo’n bewering klopt? Bij dezen: de vier kenmerken van kulcausaliteit.

1. Er is geen verklaring voor het verband

Hij was Over het ereburgerschap. ereburger van het Spaanse stadje Carballiño en Over het ambassadeurschap. ambassadeur voor Engelands gooi naar de organisatie van het WK voetbal in 2018. De Iraanse president Mahmoud Ahmadinejad Over Ahmadinejads tirade. vond hem ‘een symbool van alles wat er mis is in de westerse wereld.’ En toen hij op 26 oktober 2010 overleed, Over het overlijden. vertelde zijn manager Chris Davies: ‘Het is een verdrietige dag. Paul was nogal bijzonder.’

En of Paul de Octopus bijzonder was. Helderziende Paul voorspelde in 2010 de uitslagen van acht WK-wedstrijden. Telkens weer opende hij met zijn tentakels het juiste bakje voedsel, het bakje met de vlag van het team dat de volgende wedstrijd zou gaan winnen. En telkens weer stonden er kuddes journalisten met spanning te wachten op zijn voorspelling.

Er was dus een verband tussen Pauls voorspellingen en de uitkomsten van de WK-wedstrijden. Maar was dat wel zo bijzonder als het leek? De kans dat hij puur toevallig acht wedstrijden juist voorspelde, is gelijk aan de kans dat je acht keer kop krijgt als je een muntje opgooit: één op 256, oftewel 0,4 procent.

Die kans lijkt laag, maar wordt minder indrukwekkend als je bedenkt hoeveel voorspellingen het nieuws niet haalden. Wie kan zich zijn collegaewaarzeggers Leon het Stekelvarken, Petty het Dwergnijlpaard en Anton de Tamarins nog herinneren? Hun voorspellingen waren een stuk minder geslaagd en dus kregen ze geen aandacht.

Dat is nu juist het probleem: als je maar genoeg verbanden bekijkt, zal er altijd wel eentje toevallig kloppen. Zo is er ook een sterke samenhang tussen:

Maar er is - afgezien van toevalligheid - geen enkele reden voor die samenhang. Laat staan dat er een oorzakelijk verband bestaat.

Dus, het eerste kenmerk van kulcausaliteit: er is geen verklaring voor het verband.

2. Het is andersom

Sommige verbanden zijn goed te verklaren. Als het regent, zie je bijvoorbeeld veel paraplu’s op straat. In dit geval is ook duidelijk wat oorzaak is en wat gevolg. Niemand zal parapludragers de schuld geven van een stortbui. Maar in andere gevallen is de oorzakelijke richting een stuk minder helder.

Een voorbeeld. Ik kwam het citaat op het spoor door dit FTM-artikel. ‘De ervaring leert dat opgebouwde schulden hardnekkig zijn’ staat in de De Miljoenennota 2013. Miljoenennota 2013 te lezen. Die bewering is niet zomaar een politieke overtuiging, maar wordt onderschreven door Het Reinhart-Rogoff-artikel. gezaghebbend onderzoek van Carmen Reinhart en Kenneth Rogoff. Zij lieten met data zien dat een hoge staatsschuld samengaat met een lage Het staat er nog preciezer: als de schuld meer dan 90 procent van het bbp bedraagt, daalt de mediane groei met 1 procent en de gemiddelde groei ‘aanzienlijk meer.’ Deze bevinding werd in de praktijk vaak als onderbouwing gebruikt voor een noodzakelijk maximum op de staatsschuld. En al beweren de auteurs nergens in het artikel dat dit verband oorzakelijk is, in de media Dat zeggen Reinhart en Rogoff hier. winden ze er geen doekjes om: ‘te veel schuld betekent dat de economie niet kan groeien.’

Ziedaar een van de pijlers van het kabinetsbeleid van de afgelopen jaren: snoeien om te groeien.

Maar kan het niet andersom? Leidt lagere groei juist niet tot een hogere staatsschuld? Tijdens een recessie komt er minder belasting binnen en moet er meer uitgekeerd worden aan mensen die hun baan zijn verloren.

Om dat te weten te komen, moet je vragen: wat kwam er eerst, de hoge staatsschuld of de slechte economie? Econoom Arindrajit Dube dook in de data van Rogoff en Reinhart en Lees hier meer over Dubes data-analyse. vond: lage economische groei is een goede voorspeller voor hogere staatsschuld in de toekomst, en Een studie is nog niet genoeg om te bewijzen dat het verband altijd andersom loopt, maar Dube had wel aangetoond dat de studie van Reinhart en Rogoff behoorlijk rammelde. Er zijn trouwens nog veel meer bezwaren op het artikel. Allereerst wordt schuld gemeten als percentage van het bbp. Bij lage economische groei - het bbp stijgt minder snel of daalt zelfs - stijgt de schuld naar verhouding sneller. Bovendien vonden Thomas Herndon en coauteurs dat Reinhart en Rogoff flink wat uitglijders hadden gemaakt. Zo ontbraken vijf landen volledig in de analyse door een fout in de statistische code.

Hier lees je over andere uitglijders in het Reinhart-Rogoff-artikel. Dus: opgebouwde schulden hardnekkig? In ieder geval niet zo hardnekkig als de zogenaamde feiten over staatsschuld. Want in de Miljoenennota 2015 - toen de kritiek allang was geuit - werd er nog altijd verwezen naar het artikel van Reinhart en Rogoff.

3. Er ontbreekt een factor

Het persbericht over het onderzoek. ‘Lagere overlevingskans na borstamputatie bij kanker’ kopte het Het artikel in het AD. AD op 15 december. Het artikel in De Telegraaf. De Telegraaf schreef over een ‘baanbrekend onderzoek’ en Het artikel in De Standaard. De Standaard besprak of de preventieve borstamputatie van filmster Angelina Jolie dan misschien onnodig was geweest.

Al deze berichten verwezen naar een onderzoek onder meer dan De onderzoeksdata kwamen uit de Nederlandse Kankerregistratie (NKR), waarin gegevens van alle kankerpatiënten in Nederland worden verzameld. met een vroeg stadium van borstkanker. Patiënten die een borstsparende behandeling hadden ondergaan bleken vaker in leven te blijven dan patiënten met een borstamputatie. En het verschil was niet gering: de eerste groep had 21 procent meer kans om tien jaar later nog te leven.

De studie Luister hier naar Désirée Hairwassers over de onrust onder patiënten. sloeg in als een bom bij patiënten en oud-patiënten. Borstkankervereniging Nederland werd overspoeld door vragen van bezorgde vrouwen. Was hun borstamputatie een vergissing geweest? Moesten ze niet alsnog bestraald worden?

Borstkankervereniging Nederland werd overspoeld door vragen van bezorgde vrouwen. Was hun borstamputatie een vergissing geweest?

Algauw bleek: de conclusie was veel te voorbarig. Er zijn namelijk een hoop factoren die verband houden met zowél de overlevingskans áls de keuze voor een bepaalde behandeling. Zo wordt er bij oudere vrouwen vaker gekozen voor een amputatie, maar heb je op hogere leeftijd ook meer kans om te sterven. Ook worden borsten vaker gespaard als de tumor bepaalde gunstige kenmerken heeft, maar die kenmerken betekenen tegelijkertijd dat de kans op overlijden kleiner is.

Nu hielden de onderzoekers wel degelijk rekening met leeftijd en andere ‘verstorende factoren.’ Maar een aantal belangrijke aspecten werd niet meegenomen. Als een patiënt bijvoorbeeld een Dit punt werd ook in deze factcheck gemaakt. andere ernstige aandoening heeft - denk aan hartfalen - dan Een borstsparende behandeling gaat namelijk vaak samen met bestraling, wat extra belastend is als je een andere ernstige aandoening hebt. Dat die groep vaker sterft heeft dan niet met de operatie te maken, maar met de slechtere algemene gezondheid.

Op 17 december kwamen de onderzoekers met een De toelichting van de wetenschappers. extra toelichting waarin ze de kanttekeningen onderschreven. ‘Wij hebben als onderzoekers nooit de bedoeling gehad ophef of onrust te veroorzaken.’

Helaas is angst wegnemen moeilijker dan hem veroorzaken.

4. Er spelen belangrijke onmeetbare factoren

Het probleem in het borstkankeronderzoek wordt Al gaat het in dit artikel vooral over personen, selection bias gaat niet per se over de vergelijking tussen groepen mensen. Zo kun je ook bepaalde ontwikkelingen met elkaar vergelijken. Neem de gelijktijdige toename in CO2-uitstoot en obesitas. Dat komt waarschijnlijk door een derde factor: economische ontwikkeling. genoemd. Twee groepen verschillen niet alleen van elkaar op het gebied van wat je wilt onderzoeken, maar ook op andere vlakken. Als dergelijke onderscheidende kenmerken zowel de oorzaak - de keuze voor een bepaalde borstkankerbehandeling - als de uitkomst - de overlevingskans - beïnvloeden, ben je de pineut.

Je hebt dus gegevens nodig over zulke ‘derde factoren’ om rekening te houden met hun effect. Helaas zijn zulke data niet altijd beschikbaar. Zo hadden de borstkankeronderzoekers geen informatie over hartaandoeningen en andere ernstige ziektes.

Meer en betere data helpen, maar lossen selection bias niet per se op. Soms spelen factoren mee die moeilijk of onmogelijk te meten zijn, zoals in het volgende voorbeeld.

Het werd de ‘silver bullet’ van de armoedebestrijding genoemd en Muhammad Yunus won er de Hij won de prijs in 2006 samen met de Grameen Bank, waarvan hij de oprichter is. voor: microkrediet. Kleine leningen voor arme mensen Veel microkredietorganisaties richten zich op ondernemers. Dat wil overigens niet zeggen dat de lening altijd voor een onderneming wordt gebruikt. Soms wordt het geld gebruikt voor andere doeleinden, zoals een grote aankoop voor het huishouden. Eind 2013 ontvingen meer dan 200 miljoen mensen wereldwijd zo’n minilening.

En inderdaad: data laten zien dat mensen met een microkrediet meer inkomen hebben dan degenen zonder. Maar of dat aan de lening ligt? Dat maakt zo’n simpele voor-na-vergelijking niet duidelijk, omdat er andere factoren in het spel zijn. Sommige daarvan - leeftijd, geslacht - zijn nog wel te meten, maar andere zijn moeilijk in cijfers uit te drukken.

Ga maar na: wie vragen een lening aan én zetten een succesvol bedrijfje op? Ondernemende types. Mensen die ideeën hebben, die risico durven nemen, die sociale vaardigheden hebben. Mensen die sowieso al meer kans van slagen hebben dan hun minder ondernemende tegenhanger - ook zonder lening. Maar hoe meet je zoiets als ‘ondernemingsdrang’?

Een ander voorbeeld is de kennis die een microkredietorganisatie gebruikt om te bepalen of iemand kredietwaardig is. Naast meetbare factoren baseert de organisatie haar keuze ook op vakkennis, onderbuikgevoel en inschattingsvermogen. Daardoor kiest ze uit twee ogenschijnlijk gelijke mensen misschien net degene die een succesvolle ondernemer wordt.

Om dit soort factoren uit te sluiten, doen onderzoekers steeds vaker experimenten. Kies willekeurig een groep mensen die je een lening geeft en vergelijk ze met een groep die geen lening Het is van belang dat je in zo’n experiment geen mensen bekijkt die normaliter zo’n lening niet zouden willen. Daarom wordt vaak eerst een groep geselecteerd van mensen die geïnteresseerd zeggen te zijn. Binnen die groep worden de leningen verdeeld. De groepsleden die geen lening krijgen vormen de controlegroep. Uit Een samenvatting van zes microkredietexperimenten. zulk onderzoek blijkt keer op keer: het succes van microkrediet is overdreven. Het zorgt niet voor een hoger inkomen. Al zijn er In een studie in Marokko bleek bijvoorbeeld dat mensen met een microkrediet minder vaak tijdelijke banen hadden, die vaak als onprettig worden ervaren. Zo leidt de minilening dus tot meer vrijheid om je leven naar wens in te richten. Bovendien kun je toegang tot krediet ook zien als vooruitgang op zich, al leidt het niet per se tot betere uitkomsten. Yunus ziet toegang tot krediet als een mensenrecht. een ‘silver bullet’ tegen armoede is het niet.

Wanneer weet je genoeg?

‘Is het mogelijk dat longkanker (...) een van de oorzaken is van het roken van sigaretten?’ schreef de beroemde statisticus Ronald Fisher in 1958. Of, stelde hij, was er iets - je genen - wat bepaalde of je rookte én of je longkanker kreeg?

Fishers opmerkingen klinken nu misschien vreemd, maar hij stelt precies de vragen die in dit artikel aan bod zijn gekomen. Is het niet andersom? Zijn er geen derde factoren? En toch zal niemand vandaag de dag ontkennen dat roken leidt tot longkanker.

Want na Een overzichtsartikel van het onderzoek. decennia onderzoek kun je Wetenschappers noemen dit ook wel ‘consilience’: verschillende onderzoeken komen onafhankelijk van elkaar tot dezelfde resultaten. Hetzelfde is gebeurd bij het onderzoek naar klimaatverandering.

  • Epidemiologische studies lieten zien dat rokers vaker longkanker kregen.
  • In dierenproeven kregen muizen tumoren als ze ingesmeerd waren met de gifstoffen in sigarettenrook.
  • Pathologen vonden ook op celniveau schadelijke gevolgen van roken.
  • En er werd aangetoond dat sigarettenrook chemische stoffen bevatte die kanker veroorzaken.

Ondanks de opeenstapeling van wetenschappelijk bewijs bleef Fisher verdedigen dat het verband niet was aangetoond. Misschien lag dat aan zijn starre statistische opvattingen. Of aan zijn eigen rookverslaving.

Of hij bleef zijn standpunt verdedigen omdat hij werd betaald door de tabaksindustrie. Maar dat kan natuurlijk ook gewoon toeval zijn.

Met dank aan Eline Gumbert, die Eline Gumbert gaf de tip onder deze notitie. mij aanraadde het borstkankeronderzoek nader te bekijken. En aan De website van Philip Hans Franses. Philip Hans Franses, die als externe meelezer een conceptversie heeft becommentarieerd.

Wil je op de hoogte blijven van mijn artikelen? Als correspondent Ontcijferen onderzoek ik de wereld van cijfers. In mijn wekelijkse mail houd ik je op de hoogte van mijn verhalen en deel ik het beste wat ik zie, hoor en lees. Een vast onderdeel: #nerdalert, voor de getallenliefhebbers. Schrijf je hier in voor mijn wekelijkse mail

Hoe zit het toch met ooievaars en baby’s? In de aanloop naar dit verhaal stuurden jullie veel waardevolle tips. Een regelmatig terugkerend voorbeeld: ooievaars en geboortes. Hoe zit het toch met die mythe en wat heeft het met statistiek te maken? Lees hier mijn notitie

Eerdere artikelen in deze serie:

Gezocht: voorbeelden van statistiekmisbruik ‘Martel getallen en je kunt ze alles laten bekennen,’ schreef Gregg Easterbrook. Voor mijn nieuwe artikelenreeks over statistiekmisbruik ben ik op zoek naar voorbeelden van manipulatie met getallen en grafieken. Hebben jullie tips? Lees mijn oproep hier terug.

Zo herken je een (on)betrouwbare peiling De peilingen vliegen je om de oren. Maar hoe weet je of de resultaten te vertrouwen zijn? Dit zijn de drie belangrijkste kenmerken waarop je voortaan kunt letten als je een peiling tegenkomt en je afvraagt: deugt dit wel? Lees mijn artikel hier terug. Hoe precieze cijfers ons misleiden en de geschiedenis bepalen Het nieuws barst van de nauwkeurige getallen: de PVV krijgt bij de volgende verkiezingen 27 zetels, de economie is met 0,1 procent gegroeid en we kunnen per jaar 253.500 vluchtelingen verwachten. Maar vaak zijn die cijfers lang niet zo precies als ze lijken. Hoe kleine foutjes grote gevolgen kunnen hebben. Lees mijn artikel hier terug

Facebook
Twitter
LinkedIn
Whatsapp
E-mail