Zo word je een factchecker van de kerstboodschappen

Zo vlak voor het vreetfestijn dat Kerstmis heet, blijft mijn bijgelovige oog vaak hangen bij dit soort koppen:

• ‘Kanker door vet eten ligt aan darmbacteriën’ (Nrc.nl). O help, heb ik wel de juiste darmbacteriën om de kerst te overleven?
• ‘Mediterraan dieet laat vrouwen langer leven’ (Foodlog.nl). Toch maar Italiaans koken deze kerst?
• ‘Suiker is slechter voor uw bloeddruk dan zout’ (Hpdetijd.nl). Ha, da’s mooi, want ik houd niet van toetjes. Eén punt voor mij.

En dan vind ik deze: ‘Wijn en noten beschermen tegen osteoporose’ (Nu.nl). Oké, flink doorborrelen dus.

Dit soort berichten komt voort uit de nieuwsfabriek die ons de hele dag van alarmerende of anderszins opmerkelijke berichten voorziet. Een verklaring daarvoor is zo gevonden: wetenschappers moeten opzienbarende dingen ontdekken, om geld te krijgen voor nieuw onderzoek. Journalisten hebben geen tijd en moeten wél nieuws produceren. Dus ze sluizen gehypete persberichten kritiekloos door, of kloppen onzinbeweringen verder op.

Er is kortom geen schuldige aan te wijzen, maar het resultaat is dat we geregeld onzin krijgen voorgeschoteld.

Toch is niet elk bericht over voedsel en gezondheid per definitie onwaar. Bovendien: wat bezinning op de impact van voedsel op je gezondheid kan natuurlijk nooit kwaad. Hoe vind je de weg in het woud van beweringen over ons voedsel? En wat hebben al die berichten je eigenlijk te vertellen als je straks de winkel in gaat voor de kerstboodschappen?

Zo word je zelf een factchecker

Omdat niet iedereen zin heeft om in de kerstvakantie zijn rekenmachine van stal te halen of een artikel uit te pluizen, leg ik een tweetal trucs bloot. Trucs die journalisten en onderzoekers gebruiken om onderzoeksresultaten harder te laten lijken dan ze zijn. En om dus een stevige kop boven het stuk te kunnen zetten, die de argeloze voedselconsument angst inboezemt of juist geruststelt. Als je deze trucs eenmaal kent, zul je zien dat ze om de haverklap worden ingezet. En dat de soep vaak een stuk minder heet wordt opgediend dan deze nieuwsberichten doen vermoeden.

Getallen zijn argumenten in een betoog

Allereerst is het belangrijk om te beseffen dat berichten over eten en gezondheid geen neutrale mededelingen zijn, maar betogen.

Of het nu stukken in de krant zijn, boeken over voedsel en gezondheid, persberichten of gewichtig uitziende wetenschappelijke artikelen: er worden standpunten verdedigd met behulp van argumenten. Daarmee is niet gezegd dat ‘wetenschap ook maar een mening is,’ maar dat een wetenschappelijk artikel over een wetenschappelijke studie is ingericht als een betoog.

De onderzoekers verdedigen hun standpunt door hun bewijzen zo overtuigend mogelijk te brengen. Bovendien zegt het feit dat iets ‘wetenschappelijk onderzocht’ is nog niets over de kwaliteit van het onderzoek. Volgens de Griekse epidemioloog John Ioannidis zijn onderzoeken naar de relatie tussen voedsel en gezondheid vaak bijzonder zwak.

Zo wordt aan de resultaten vaak een algemene boodschap gekoppeld. Zoals in dit fictieve voorbeeld: ‘Wij vonden een negatief verband tussen koffie en hartinfarcten, dus u kunt maar beter niet te veel koffie drinken.’

We moeten dan ook in de gaten houden wie er aan het woord is. Zijn dat de onderzoekers zelf, of iemand die hun onderzoek gebruikt in zijn eigen betoog? Voor een groter publiek worden vaak belangrijke nuances uit het onderzoek geschrapt.

In onderzoek naar voedsel en gezondheid en in berichtgeving over zulk onderzoek worden getallen vaak als argumenten gebruikt. Een onderzoeker of een journalist kan bijvoorbeeld strategisch bepaalde resultaten noemen en andere weglaten.

Dat hoeft helemaal geen probleem te zijn: het weglaten van resultaten en een bepaalde presentatievorm kiezen voor je getallen kan heel legitiem zijn en soms zeer verhelderend werken. Maar er kunnen ook dingen ten onrechte uitvergroot worden, of juist worden weggemoffeld.

Je kunt je dus bij een nieuwsbericht afvragen waarom deze getallen worden gepresenteerd en waarom deze vorm precies wordt gebruikt.

De eerste vragen die je aan elk bericht kunt stellen zijn dus deze:

• Wat is de boodschap en wie is de boodschapper?
• Waarom worden nu juist deze getallen gepresenteerd en waarom in deze vorm?

Met PICO de wetenschap te lijf

Deze eerste twee vragen kunnen al genoeg zijn. Maar vaak zijn ze dat niet. Om te weten of een nieuwsbericht klopt, moet je soms dieper graven, en vragen naar de wetenschappelijke methode die gebruikt is in het onderzoek.

Hoe wordt de relatie tussen voedsel en gezondheid eigenlijk onderzocht? Om kritisch naar de berichtgeving over dit soort wetenschappelijk onderzoek te kunnen kijken, moet je iets begrijpen van de basisprincipes van zulk onderzoek. Daarom voegen we een tweede set kritische vragen toe: PICO. PICO is een afkorting die staat voor Population, Intervention, Comparison, Outcome.

PICO, welbekend bij alle eerstejaars geneeskundestudenten, is de internationale standaard voor wat evidence-based medicine heet. Het zijn vier vragen die medisch onderzoekers (idealiter) gebruiken om een goede onderzoeksopzet te maken, of om te controleren of andermans onderzoek deugdelijk is. In iets vereenvoudigde vorm:

• Over wie gaat het onderzoek?
• Wat voor soort onderzoek is het? Wat is er precies gedaan om tot de resultaten te komen?
• Wie is met wie vergeleken?
• Wat is er onderzocht en hoe is dat gemeten? 

We hebben nu zes vragen verzameld waarmee we berichten over voedsel en gezondheid kunnen controleren. Tijd om de vragen eens los te laten op een actueel nieuwsbericht, waarin wetenschappelijk onderzoek tot een nieuwtje wordt opgeklopt.

Voorbeeld: moet je afvallen om geen kanker te krijgen?

Eind november dit jaar verscheen het bericht ‘Duizenden Nederlandse kankerpatiënten door overgewicht’ (de Volkskrant, 28 november):

‘Jaarlijks krijgen in Nederland ruim 3000 vrouwen en bijna 2000 mannen kanker omdat ze te zwaar zijn. Dat blijkt volgens de Wereldgezondheidsorganisatie (WHO) […] uit wereldwijd onderzoek. Uit datzelfde onderzoek kwam naar voren dat internationaal gezien bijna een half miljoen kankergevallen per jaar zijn toe te schrijven aan overgewicht.’ 

• Wat is de boodschap en wie de boodschapper? De boodschapper is het IARC, het instituut voor kankeronderzoek van Wereldgezondheidsorganisatie (WHO). En de boodschap? Die lijkt treffend te worden samengevat in de kop van het persbericht: ‘Half a million new cancers in 2012 due to overweight and obesity.’

Maar het ligt iets ingewikkelder. Deze kop is het onderzoeksresultaat. Daar is een boodschap aan gekoppeld: dat je af moet vallen om je risico op kanker te verminderen. ‘Deze verontrustende resultaten benadrukken dat het cruciaal is om op gewicht te blijven,’ zo schrijft het IARC. En: ‘overgewicht en obesitas op grote schaal terugdringen zou aanzienlijke gezondheidsvoordelen kunnen opleveren, waaronder het verminderen van de ziektelast van kanker’ [mijn cursief, MB].

Zowel de strijd tegen kanker als de strijd tegen obesitas zijn speerpunten van de WHO. Maar in dit geval lijkt de strijd tegen kanker als argument te worden gebruikt voor de aanbeveling om overgewicht terug te dringen, individueel en maatschappelijk.

• Waarom worden nu juist deze getallen gepresenteerd? En waarom in deze vorm? De woorden ‘duizenden’ en ‘half miljoen’ zijn duidelijk bedoeld om het bericht gewicht te geven. Maar wat als we de absolute getallen nu eens omrekenen in percentages? In Nederland krijgen in totaal zo’n 100.000 volwassenen per jaar kanker. 5000 van 100.000 is 5 procent.

Dus 95 procent van de kankerpatiënten heeft die ziekte niet door overgewicht. We moeten wel nuanceren: in Nederland heeft ongeveer de helft van de volwassenen overgewicht. Dus de helft van de volwassenen zorgt voor vijf procent van de kanker. Dat geeft inderdaad stof tot nadenken.

Duizenden en miljoenen’ gevallen van kanker klinken voor de meeste mensen acuter dan ‘vijf procent van de totale nieuwe kankers per jaar

De IARC heeft blijkbaar besloten dat het schokkender moet klinken dan dat, willen mensen afvallen. De boodschap bepaalt de vorm van de gebruikte getallen.

‘Duizenden en miljoenen’ gevallen van kanker klinken voor de meeste mensen acuter dan ‘vijf procent van de totale nieuwe kankers per jaar.’ Dat is de eerste truc die je vaak tegenkomt: gebruik absolute getallen als dat dramatischer klinkt, zodat je boodschap beter overkomt.

Maar er is meer aan de hand met dit bericht. De berichten in de media suggereren dat overgewicht de kanker veroorzaakt. Metro schrijft bijvoorbeeld: ‘In Nederland krijgen jaarlijks bijna 5000 mensen de diagnose kanker puur als gevolg van overgewicht.’

Nu is het tijd om met de PICO-vragen in de hand het onderzoek achter het nieuwsbericht te bevragen.

• Over wie gaat het onderzoek? En wat is er nou precies onderzocht? Het IARC-persbericht geeft hier geen bevredigende antwoorden op. De bijbehorende wetenschappelijke publicatie wel.

In het onderzoek werden mensen die in 2002 te dik waren, vergeleken met mensen die in 2012 kanker kregen. Er werd onderzocht of de kankers uit 2012 te relateren waren aan het overgewicht in 2002. Het aantal mensen met overgewicht in 2002 en het aantal mensen met kanker in 2012 werden geschat. Met die schattingen werd weer een berekening uitgevoerd, waar verbanden tussen overgewicht en kanker uitrolden.

Er is dus een verband. Maar het is geen oorzakelijk verband. De onderzoekers hebben de causaliteit onderzocht noch bewezen; ze nemen aan dat het verband causaal is. Hier zien we de tweede truc aan het werk: het artikel, en het bijbehorende persbericht, suggereert een causaal verband waar dat niet onderzocht of bewezen is.

Dat begint in het wetenschappelijke artikel, waarin de onderzoekers erg overtuigd zijn van hun aanname. Het vervolg is de suggestieve kop van de IARC. Journalisten maken het af: in de media wordt zo’n aangenomen verband steevast versterkt.

Hoe bewaar je het overzicht?

Met het argument ‘wetenschappelijk onderzoek heeft aangetoond dat’ is de kous dus niet af. Ook al is het onderzoek groot en staat het artikel in een belangrijk tijdschrift. Je mag kritisch zijn over wetenschappelijk onderzoek, en je kúnt er kritisch over zijn.

Dat vergt wat doorzettingsvermogen, zeker in het begin. Soms zie je met behulp van deze zes kritische vragen al direct in het persbericht dat er iets niet klopt. Vaak moet je toch even wat extra informatie opzoeken, bijvoorbeeld in de brontekst.

Wetenschappelijke artikelen kunnen er afschrikwekkend uitzien, maar oefening baart kunst: als je een paar van die artikelen hebt doorgeploegd, weet je waar je je antwoorden kunt vinden. Als je van puzzelen of van rekenen houdt, kan het zomaar zijn dat je gegrepen wordt. Dan zit je opeens op je vrije zaterdag een stapel krantenberichten na te rekenen.

Maar als je even geen puf hebt voor The Lancet, helpt het om een paar simpele vragen te stellen aan dit soort wetenschappelijk gestaafde berichten. Die springen zelfs in een snelle scan van een nieuwsbericht direct in het oog.

• Wordt er gebruikgemaakt van absolute getallen, in plaats van percentages?
• Wordt er een oorzakelijk verband gesuggereerd tussen voedsel en ziekte?

Als je deze vragen met een simpel ‘ja’ kunt beantwoorden, weet je dat je het bericht niet voor zoete koek hoeft te slikken.