Er was eens een pil die de wereld ging redden

Probeer je dit moment even in te denken. Het is begin 2008 en iedereen die ertoe doet verzamelt zich in het Zwitserse Davos op het World Economic Forum. Mannen in pakken, vrouwen op hakken. Op een gegeven moment wordt Cherie Blair (de vrouw van) aangekondigd op het podium.

Ze loopt ook op hakken - van zeker acht centimeter - maar het is vooral haar outfit die opvalt. Mevrouw Blair is namelijk verkleed als worm. Niet zo’n worm die uit de modder omhoog kruipt, maar zo’n kleine, witte parasiet die kinderen vaak oplopen in de zandbak, zo een die in je darmen leeft. Een aarsmade.

Het wordt nog vreemder. Cherie ‘Aarsmade’ Blair begint - op die hakken van acht centimeter - achter enkele forumbezoekers aan te rennen, die doen alsof ze kinderen zijn. Ondertussen speelt Gene Sperling een leraar, die de ‘kinderen’ een antiwormmedicijn probeert te geven voordat Cherie ze te pakken krijgt.

Waarom zou Cherie Blair zich in vredesnaam ten overstaan van de leiders van de hele wereld voordoen als wormpje?

Het antwoord is: het wormpje was de nieuwe filantropiehype.

Hoe ontwormen een hype werd

Cherie Blair vroeg in Davos aandacht (en natuurlijk geld) voor het Deworm the World Initiative. Onderzoek laat namelijk zien, zo stelt dit initiatief, dat het ontwormen van kinderen in ontwikkelingslanden dé manier is om ontwikkelingsgeld te besteden.

Met een wormenkuurtje dat nog geen vijftig eurocent per kind kost, zorg je ervoor dat 25 procent minder kinderen van school wegblijven. Kinderen die ontwormd zijn, verdienen later bovendien 20 procent meer dan kinderen die geen medicijn hebben gehad. Het invloedrijke onderzoeksinstituut Jameel Poverty Action Lab van het Massachusetts Institute of Technology noemde ontwormen - à la de Consumentenbond - de ‘beste koop’ in de ontwikkelingssector.

Zo kon het gebeuren dat ontwormen een hype werd in de ontwikkelingswereld. De Wereldbank, de Wereldgezondheidsorganisatie, de Bill & Melinda Gates Foundation, USAID - vrijwel alle grote geldschieters stopten miljarden euro’s in de witte pilletjes die korte metten maken met de aarsmaden.

Maar twee weken geleden leek de ontwormingsbubbel van Cherie Blair en consorten te knappen. Nieuw onderzoek laat namelijk zien dat ontwormen lang niet zo effectief is als tot nu toe werd gedacht. De ontwormingsstrategie van de ontwikkelingswereld was debunked, kopte The Guardian.

Het nieuwe onderzoek ontketende een ware veldslag tussen academici, ontwikkelingswerkers, geldschieters en journalisten over de vraag: werkt het nou, ontwormen? Maar misschien is nog wel een belangrijkere vraag: wat kunnen we leren van de Worm Wars?

De opkomst van de rct

Laten we beginnen bij de grote boosdoener: de worm. We hebben het hier over parasietjes die in de darmen leven. Vooral kinderen kunnen besmet raken met de beestjes, bijvoorbeeld door in stilstaand water te zwemmen, of zanderige vingers in hun mond te stoppen.

De infectie is met een simpel kuurtje te behandelen, maar kan ernstige gevolgen hebben als de wormen zich ongestoord kunnen voortplanten. Kinderen kunnen bloedarmoede of diarree krijgen, ondervoed raken en groeiachterstand oplopen. Een generatie die met deze infectie opgroeit, heeft veel minder kans om het later ver te schoppen - laat staan hun land uit de armoede te trekken.

En we hebben het hier over enorme aantallen: meer dan 880 miljoen kinderen wereldwijd hebben op dit moment behandeling tegen worminfecties nodig.

Flashback naar januari 2004. De Amerikaanse ontwikkelingseconomen Edward Miguel en Michael Kremer publiceerden een academisch artikel over het effect van ontwormingkuren op schoolkinderen in Kenia. Hun conclusie was tweeledig. Allereerst: ontwormen vermindert de infecties bij behandelde kinderen, maar ook bij onbehandelde kinderen die in de buurt wonen. Ten tweede: ontwormen verbetert de schoolopkomst bij zowel behandelde als onbehandelde leerlingen in de buurt.

Op de vraag of de hulp ook echt armoede bestreed, kon eigenlijk alleen anekdotisch antwoord worden gegeven

Dat was natuurlijk mooi nieuws. Bovendien was het programma goedkoop. Maar er was nog een reden waarom de studie veel aandacht trok. Miguel en Kremer baseerden hun conclusies op iets wat tot dan toe heel ongebruikelijk was in de ontwikkelingssector: een randomized controlled trial (rct). Dat wil zeggen: een experiment waarbij één groep de behandeling wél krijgt en een vergelijkbare groep niet.

Decennia lang werd ontwikkelingshulp verstrekt op basis van nattevingerwerk. Op de vraag of de hulp ook echt armoede bestreed, kon eigenlijk alleen anekdotisch antwoord worden gegeven. Geld ging naar projecten die effectief klonken - het aanschaffen van schoolboeken en uniformen bijvoorbeeld. Sexy projecten, die het goed deden in slogans en op pr-foto’s.

Rct’s gingen volledig tegen deze hyperigheid in: met rigoureuze wetenschappelijke methodes werd aangetoond wat écht werkte. Van onderbuik naar bewijs.

Sinds de Miguel-Kremerstudie is er dan ook een ware rct-revolutie uitgebroken. Kijk naar het Journal of Development Economics, een toonaangevend academisch tijdschrift: tot tien jaar geleden werd nauwelijks één rct per jaar gepubliceerd, maar sindsdien is het aantal rct-studies geëxplodeerd. Zonder een rct op je cv, tel je als ontwikkelingseconoom eigenlijk niet meer mee.

De bestseller Poor Economics, waarin onderzoekers Abhijit Banerjee en Esther Duflo pleitten voor meer rct’s in ontwikkelingswerk, bracht de methode onder de aandacht van het grote publiek. De twee zijn bovendien de adviseurs van grote geldschieters als de Wereldbank en de Bill & Melinda Gates Foundation. ‘Evidence-based’-projecten worden dan ook steeds populairder in de ontwikkelingswereld. Kijk maar naar het succes van een organisatie als GiveDirectly, die op basis van wetenschappelijk onderzoek geld uitkeert aan arme mensen. In slechts twee jaar tijd stegen de donaties van 0,7 miljoen naar 17,4 miljoen dollar - daarmee is het een van de snelste groeiers in de sector.

En ziedaar: Cherie Blair in een wormenpak is ineens zo gek niet meer.

Waarom de anti-hype een hype werd

En zo werd de anti-hypebeweging zelf een hype.

Het succes van de rct komt vooral doordat de uitkomsten zo makkelijk uit te leggen zijn. Je geeft de ene persoon een medicijn, schoolboek of waterput; de ander krijgt niks. Vergelijk de twee en je weet of het heeft geholpen. Vervolgens kun je met zekerheid zeggen: ontwormen, dat helpt dus écht.

Maar net als met alle hypes, worden de voordelen van rct’s overdreven. Het is namelijk nog maar de vraag wat een rct zegt over ándere landen, of zelfs andere regio’s. Misschien werkt ontwormen in Kenia goed, maar zet het in India weinig zoden aan de dijk.

In 2012 kwamen er dan ook wat barstjes in de ontwormingseuforie. Toen verscheen een ‘Cochrane review’ - de gouden standaard voor overzichtsartikelen in de geneeskunde - van ontwormingsstudies. Wat bleek: ontwormen werkte veel minder goed dan gedacht. De ontwikkelingseconomen schoten direct in de verdediging. Een groep onderzoekers, waaronder Miguel en Kremer, noemde het artikel zelfs ‘incompleet en misleidend.’

Maar twee weken geleden barstte de wormenoorlog pas echt los. Twee studies in de International Journal of Epidemiology toonden aan dat de conclusies van de oer-rct van Miguel en Kremer niet klopten. ‘Nieuw onderzoek ontkracht de voordelen van wereldwijde ontwormingsprogramma’s,’ kopte The Guardian. De invloedrijke auteur Ben Goldacre sprak op Buzzfeed van ‘grote fouten.’

Aan de andere kant van de loopgraven stonden ontwikkelingseconomen die het opnamen voor Miguel en Kremer. Berk Özler van de Wereldbank schreef dat hij juist nóg overtuigder was geworden van de studie uit 2004. Chris Blattman van de Columbia Universiteit sloot zich hierbij aan: ‘Je moet zoveel rare sh*t doen om het resultaat van Miguel en Kremer te laten verdwijnen, dat ik het resultaat alleen nog maar meer geloof.’ Het is een ‘droeve dag voor de wetenschap,’ voegde hij eraan toe.

Het technische verhaal

Maar wat staat er precies in de nieuwe studies? En wie heeft er gelijk?

Twee jaar geleden overhandigden Miguel en Kremer al hun materiaal aan een groep epidemiologen van de London School of Hygiene & Tropical Medicine. Het was een berg aan documenten: de dataset met informatie over de 30.000 deelnemers, verklarende aantekeningen en de computercode voor de statistische analyse.

Met die informatie voerden de onderzoekers eerst een ‘pure replicatie’ uit. Dat is net als koken met een recept: je volgt precies de stappen zoals die in het oorspronkelijke artikel beschreven staan en kijkt of je tot hetzelfde eindresultaat komt. Zo vonden ze een aantal fouten. Miguel en Kremer hadden bijvoorbeeld niet altijd netjes afgerond - 0,745 werd bijvoorbeeld 0,74 in plaats van 0,75 - en rapporteerden soms de verkeerde significantieniveaus, waardoor het effect sterker leek dan het in werkelijkheid was. Ook zaten er wat uitglijders in de computercode, waardoor niet alle berekeningen goed waren uitgevoerd.

Maar het eindresultaat? Dat was nagenoeg hetzelfde. Ook de replicatie wees uit dat de aarsmaden het aflegden tegen de witte pillen en de kinderen vervolgens vaker naar school gingen. Het enige verschil was dat het effect minder ver reikte dan Miguel en Kremer hadden gedacht. Onbehandelde kinderen die meer dan drie kilometer verderop woonden, bleken toch geen baat te hebben bij de behandeling van andere kinderen.

Maar dat het kokkerellen leidde tot ongeveer hetzelfde gerecht, betekent niet per se dat de conclusies van Miguel en Kremer juist waren. Misschien deugde het recept zelf namelijk wel niet. Daarom voerden de onderzoekers ook een ‘statistische replicatie’ uit. Dat gaat zo: je neemt de onderzoeksvraag - ‘wat is het effect van ontwormen op schoolopkomst?’ - en zoekt daar de geschiktste statistische methode bij. De onderzoekers pasten het recept van de oorspronkelijke studie aan op drie punten. Bereid je voor: de volgende alinea’s zijn wat technisch (mocht je er niet uitkomen, lees dan verder na de tabel).

Het eerste punt betreft het niveau waarop je de analyse uitvoert. Neem twee scholen: een met vijftig en een met honderd leerlingen. Miguel en Kremer keken naar het effect per kind. Dat betekent dat ieder kind hetzelfde ‘gewicht’ krijgt in hun analyse, ongeacht op welke school hij zit. De replicatie gebruikte echter het effect per school. Een kind op de kleine school wordt dan dubbel zo zwaar gewogen als een kind op de grote school. Dat is geen probleem als het effect voor iedereen hetzelfde was. Maar dat was niet zo: in grote scholen bleek de behandeling veel beter te werken. De kinderen die het meest baat hadden bij het ontwormen, werden dus het minst zwaar gewogen. Geen verrassing dat de impact kleiner bleek.

Het is niet vreemd dat de ontworming niet meer effectief bleek

Het tweede punt heeft te maken met een logistiek probleem. In het tweede jaar van het experiment (1999) liep de behandeling vertraging op: het programma zou na de jaarwisseling starten, maar begon pas in maart. In de replicatie werd aangenomen dat kinderen in de maanden voor maart al ‘behandeld’ waren, terwijl ze in werkelijkheid nog geen ontwormingspil hadden gezien. Deze onbehandelde kinderen haalden het gemiddelde effect omlaag.

Deze twee aanpassingen maakten nog niet veel verschil: het ontwormen leidde nog altijd tot meer aanwezigheid op school. Pas als je de methode ook nog op een derde punt aanpast, verdwijnt het effect.

Dat derde punt heeft alles te maken met de opzet van het experiment. De scholen werden ingedeeld in drie groepen: in groep 1 werd zowel in 1998 als in 1999 ontwormd, in groep 2 alleen in 1999, en in groep 3 nooit (zie de tabel hieronder). Miguel en Kremer veegden de twee jaren bij elkaar in hun analyse. De auteurs van de replicatie vonden dit niet oké: het betekent namelijk dat de kinderen in groep 2 met zichzelf worden vergeleken, ze zitten eerst een jaar in de controlegroep en daarna een jaar in de behandelde groep.

In de replicatie werd het experiment daarom opgesplitst in twee kleinere experimenten. En toen verdween het effect. Het is immers les één in de statistiek: je steekproef moet groot genoeg zijn om een effect te kunnen vinden. Het is dan ook niet vreemd dat de ontworming niet meer effectief bleek: de steekproef in de losse experimenten was opeens twee keer zo klein.

De haantjes

Vond je de voorgaande alinea’s ingewikkeld? Je bent niet de enige. Zelfs Chris Blattman, die zelf soortgelijke studies uitvoert, schreef dat hij moeite had om alle punten te begrijpen. Laat staan journalisten die op de studie doken en de oorlog verder aanwakkerden.

Maar het moddersmijten kwam misschien ook doordat alle hoofdrolspelers in de wormenoorlog grote belangen hebben bij ‘hun’ kant van het verhaal.

Michael Kremer, de auteur van de originele studie, is bijvoorbeeld ook mede-oprichter van het Deworm the World Initiative. En de econoom Chris Blattman, die de originele studie keihard verdedigde op zijn blog, werkte als promovendus voor het ontwormingsproject van Miguel en Kremer. In de vijandige linie is Ben Goldacre de hardste schreeuwer: hij werkt sinds 2009 regelmatig voor hetzelfde instituut als de auteurs van de replicaties. Overigens steken de onderzoekers dit niet onder stoelen of banken. Blattman spreekt zelf bijvoorbeeld ook van ‘incest.’

Dat de wormoorlog zo uit de hand liep, is dus deels haantjesgedrag. Onderzoekers hebben nu eenmaal een reputatie hoog te houden.

Gelukkig hebben ook onafhankelijker experts zich de afgelopen weken vastgebeten in de technische details van de replicaties. Hun voornaamste conclusie: ondanks wat onjuistheden in de Miguel-Kremerstudie blijft de algemene conclusie onveranderd. Voor het positieve effect van ontwormen is nog altijd meer bewijs dan voor de meeste andere ontwikkelingsprojecten.

Eén pil om de wereld te redden

De ironie is dat de nieuwe studies uiteindelijk bijdroegen aan de hype die ze wilden tegengaan. Zoals de denktank GiveWell schreef: ‘de replicatie bracht more heat than light.’

De moraal van het verhaal is dat we veel te graag het simpele verhaal over ontwikkelingswerk willen horen. Dat we één geslaagde rct het liefst zien als het antwoord op de wereldproblematiek. Dat we één oplossing - one-size-fits-all - voor een betere wereld willen.

Eén pil om de wereld te redden.

En als ontwormen dé oplossing niet is, dan is het dus géén oplossing.

Terwijl - en dit klinkt misschien als een open deur - de wereld nu eenmaal niet zo simpel is. De opmars van de rct’s is een fantastische ontwikkeling (het werd hoog tijd dat ontwikkelingshulp meer gestoeld werd op feiten). Dat onderzoekers hun data delen, is ook lovenswaardig (openstaan voor nuances en verbeteringen helpt de wereld vooruit). En misschien nog wel het belangrijkste: tienduizenden ontwormde kinderen gaan nu een betere toekomst tegemoet.

Maar de hyperigheid, die de wormoorlogen eens te meer tonen, ligt altijd op de loer. En daar moeten we voor waken. Want hoe belangrijk rct’s ook zijn - ze kunnen niet álles vangen. Hoe meet je het effect van betrouwbare rechtspraak, van democratie, van vrijheid, van verzoening? Welke rct kan het effect van een organisatie als Amnesty International meten?

De focus op rct’s kan dit soort ontastbare zaken verdringen, en dat moeten we niet willen. Wormen moeten de wereld uit, dat is zeker. Maar misschien kan Cherie Blair zich deze winter in Davos ook eens verkleden als ‘mensenrecht’ of ‘trias politica.’