Het tijdperk van feitenvrije ontwikkelingshulp is voorbij

€91,5 miljard per jaar, €7,6 miljard per maand, €2.940 per seconde. Dat is wat de westerse wereld aan ontwikkelingshulp uitgeeft. In de afgelopen vijftig jaar was het opgeteld maar liefst 4,8 biljoen euro. Veel? Nou ja, de oorlogen in Irak en Afghanistan kostten ongeveer evenveel. En we besteden drie keer zoveel aan het subsidiëren van onze eigen boeren als aan hulp. Maar natuurlijk is het veel. 4,8 biljoen euro is een astronomisch bedrag.

Vraagje: heeft het ook iets geholpen?

Dan wordt het pijnlijk. Want eigenlijk is er maar één antwoord: geen idee. Werkelijk geen idee. In de jaren zeventig gaven we relatief het meeste hulp, maar toen ging het verschrikkelijk slecht met Afrika en had nog niemand gehoord van de Aziatische Tijgers. Nu geven we steeds minder, maar gaat het steeds beter. Heeft dat iets met elkaar te maken? Geen idee. Misschien was het wel nog veel slechter gegaan zonder Band Aid en Jan Pronk. Misschien ook niet. Volgens een studie van de Wereldbank is 85 procent van alle westerse hulpgelden in de vorige eeuw aan iets anders besteed dan waar het voor bedoeld was. Is het dan allemaal voor niets geweest?

Geen idee.

Natuurlijk, je hebt van die economische modellen die ervan uitgaan dat mensen rationele wezens zijn. Je hebt van die studies achteraf, die laten zien hoe een school, dorp of land is veranderd nadat het een zak met geld heeft gekregen. Je hebt van die case studies: vrolijke of droevige anekdotes over hulp die wel of niet heeft geholpen. En dan is er nog de intuïtie. Veel intuïtie.

4,8 biljoen euro: heeft het iets geholpen? Geen idee.

Esther Duflo, een kleine professor met een zwaar Frans accent aan een Amerikaanse topuniversiteit, vergelijkt het gebruikelijke onderzoek naar ontwikkelingshulp met middeleeuwse aderlatingen. Dokters zetten vroeger bloedzuigers op de huid van hun patiënten om de lichamelijke vochten in balans te brengen. Werd de patiënt beter, dan kon de arts zich op de borst kloppen. Ging de patiënt dood, dan was dat vast de wil van God. Aan de goede intenties van de dokter lag het vast niet, maar inmiddels weten we dat aderlaten miljoenen mensen het leven heeft gekost. Nog in 1799, de Industriële Revolutie was al begonnen, werd er bij president George Washington een paar liter bloed afgetapt in verband met wat keelklachten. Hij stierf twee dagen later.

Aderlaten was erger dan nutteloos, maar geldt dat ook voor ontwikkelingshulp? Volgens Esther Duflo speelt er in ieder geval iets vergelijkbaars: het structurele gebrek aan wetenschappelijk bewijs. En Duflo is niet zomaar iemand. Time en Foreign Policy riepen haar uit tot één van de honderd meest invloedrijke denkers van dit moment. In 2003 was ze een van de oprichters van het Poverty Action Lab, aan het prestigieuze Massachusetts Institute of Technology. Inmiddels werken er 150 onderzoekers die al meer dan 425 studies hebben uitgevoerd in 55 landen.

Samen hebben ze de ontwikkelingshulp op zijn kop gezet.

Er was eens… een testgroep

Het verhaal begint in Israël, ergens in de zevende eeuw voor Christus. Nebukadnezar, de koning van Babylonië, heeft net Jeruzalem ingenomen. Hij geeft het hoofd van zijn eunuchen opdracht een paar Israëlieten van voorname afkomst naar zijn paleis in Babylon te brengen. Een van hen is Daniël, een buitengewoon vroom man.

Bij aankomst vraagt Daniël aan de oppereunuch of hij zich van ‘de spijzen en de wijn van de tafel van de koning’ mag onthouden. Hij en zijn mannen hebben namelijk een eigen, religieus dieet. De eunuch schrikt. ‘Ik ben bang voor mijn heer, de koning’, antwoordt hij. ‘Hij heeft bepaald wat jullie zullen eten en drinken, en als hij vindt dat jullie er slechter uitzien dan jullie leeftijdsgenoten, zal hij mij daarvoor verantwoordelijk stellen.’

Dan stelt Daniël zijn plannetje voor.

‘Neem de proef op de som en laat uw dienaren tien dagen alleen groente eten en water drinken. Vergelijk ons uiterlijk daarna met dat van de jongemannen die de koninklijke spijzen eten, en beslis dan over uw dienaren op grond van wat u ziet.’ De Babyloniërs stemmen toe en wat blijkt: na tien dagen zien Daniël en zijn vrienden er ‘gezonder en beter doorvoed’ uit dan de andere jongemannen aan het hof. Vanaf dat moment dient de kamerheer geen ‘koninklijke spijzen en wijn’ meer op, maar krijgt iedereen ‘alleen nog groente.’ Quod erat demonstrandum.

Dit is het eerste geschreven verslag van een vergelijkend experiment waarin een hypothese wordt getest, voor overige variabelen wordt gecontroleerd en waarbij gebruik wordt gemaakt van een controlegroep. De mannen op dieet en de mannen die de ‘koninklijke spijzen’ krijgen voorgeschoteld, zijn goed vergelijkbaar. Als er dus iets zou veranderen bij de testgroep, dan moet dit wel aan het dieet liggen.

Een paar eeuwen later werd het experiment opgenomen in de grootste bestseller aller tijden: de Bijbel (zie Daniël 1, vers 1-16). Toch zou het nog eeuwen duren voordat zulk vergelijkend onderzoek de gouden standaard werd binnen de wetenschap. Inmiddels spreken we van een randomized controlled trial (rct). In de geneeskunde gaat het als volgt: met behulp van het lot worden twee groepen met hetzelfde medische probleem samengesteld. De een krijgt het te testen medicijn, de ander een placebo. Wat aderlaten betreft: in 1836 publiceerde de Franse dokter Pierre Louis als eerste over een vergelijkend experiment waarbij hij een deel van zijn patiënten met longontsteking direct een paar liter bloed had afgenomen en een deel pas later aan de bloedzuigers had onderworpen. Van de eerste groep legde 44 procent het loodje, van de tweede groep slechts 25 procent. Dr. Louis had een van de eerste clinical trials ooit uitgevoerd - en het aderlaten was er niet goed vanaf gekomen.

Dan nu het bizarre:

Ze hebben genoeg van het ideologische geharrewar. Wat ze willen, dat zijn cijfers

De eerste rct van ontwikkelingshulp werd pas in 1998 gepubliceerd. 1998! Meer dan anderhalve eeuw nadat Dr. Louis het aderlaten naar de vuilnisbelt van de geschiedenis had verwezen - pas tóen kwam Michael Kremer, een jonge Amerikaanse professor, op zijn lumineuze idee. Hij begon een onderzoek naar het effect van gratis schoolboeken op Keniaanse basisschoolleerlingen. In theorie zouden de boeken moeten leiden tot minder gespijbel en hogere testscores. Daar bestond al een omvangrijke academische literatuur over; de Wereldbank had het uitdelen van gratis boeken in 1991 nog warm aanbevolen.

Enige probleem: geen van deze studies had voor andere variabelen gecontroleerd.

Kremer ging voortvarend te werk. In samenwerking met het Internationaal Christelijk Steunfonds selecteerde hij twee keer zoveel scholen als waar geld voor was: 50 in totaal. Vervolgens bepaalde het lot welke 25 scholen de boeken kregen en welke 25 niet. Gemakkelijk was het allemaal niet, een rct in een land met slechte communicatiemiddelen, deplorabele wegen en zo nu en dan een hongersnood. Maar na vier jaar bleek: de boeken hadden niets geholpen. De testscores waren niet omhoog gegaan.

Toch vormde Kremers experiment een mijlpaal. Inmiddels is er een hele randomisatie-industrie ontstaan in de ontwikkelingshulp, uitgevoerd door de zogenoemde “randomista’s”. Het zijn onderzoekers die genoeg hebben van de intuïtie, het Fingerspitzengefühl en het ideologische geharrewar van mannen met baarden over de diepste drijfveren van de berooiden in Eritrea. Wat ze willen, dat zijn cijfers. Spijkerharde data over welke hulp helpt, en welke niet.

De opperrandomista? Dat is een kleine professor met een zwaar Frans accent.

Een zak geld en een goed plan

Niet zo heel lang geleden volgde ik nog college bij Arend-Jan Boekestijn, het oud-Kamerlid dat ‘de geesten rijp maakte voor bezuinigen op ontwikkelingshulp.’ We moesten de boeken van de grote denkers over hulp bestuderen, zoals Jeffrey Sachs en William Easterly. Sachs schreef het boek The End of Poverty (2005), waarin hij betoogde dat de extreme armoede voor 2025 kon worden uitgeroeid. Enige benodigdheden: een grote zak geld en een goed plan. (Dat wil zeggen: zíjn plan). Easterly maakte gehakt van de ideeën van Sachs – hij verweet hem een koloniale ‘verlosserstoon’ en schreef dat Afrika alleen van onderop kan veranderen. De lokale democratie en, bovenal, de markt zouden hun werk moeten doen. ‘Het beste plan is geen plan,’ aldus Easterly.

Ik heb mijn collegeaantekeningen nog eens bestudeerd, maar wie niet tot de stof behoorde, was Esther Duflo. Erg verrassend is dat niet, want zij heeft een broertje dood aan de hoogdravende, intellectuele strijd die oude mannen als Sachs en Easterly uitvechten. Haar ambitie is snel samengevat: ‘het giswerk uit de beleidsvorming halen.’

Neem malaria. Ieder jaar sterven er honderdduizenden kinderen aan deze ziekte, die eenvoudig te voorkomen is met een klamboe over een bed. Voor slechts 10 dollar kunnen we zo’n net produceren, transporteren, distribueren en de gebruiker leren hoe het werkt. ‘We zouden legers van Rode Kruis vrijwilligers netten moeten laten uitdelen in tienduizenden Afrikaanse dorpen,’ schreef Sachs in 2007. Titel van zijn stuk: ‘The 10$ Solution’.

Duflo is niet geïnteresseerd in wat plausibel klinkt. Je kunt namelijk theoretiseren, je kunt ook gewoon onderzoek doen

Easterly zag het al voor zich: Sachs die met zijn makker Bono (de zanger van U2) een popconcert zou organiseren om een paar miljoen binnen te halen en vervolgens duizenden malarianetten boven Afrika te droppen. In no-time zouden alle lokale netverkopers failliet zijn, terwijl de malarianetten als visnetten en bruidssluiers zouden worden gebruikt. Een paar jaar na de komst van Sachs de Verlosser zouden er nog meer kinderen aan malaria zijn gestorven.

Klinkt plausibel, nietwaar?

Het zal Esther Duflo worst wezen. Ze is niet geïnteresseerd in wat plausibel klinkt. Over de vraag ‘kun je malarianetten beter gratis uitdelen of verkopen?’ kun je namelijk theoretiseren, je kunt er ook gewoon onderzoek naar doen. Twee wetenschappers van de Universiteit van Cambridge deden het in Kenia. In een rct kregen sommigen hun net gratis, terwijl anderen 60, 30 of 0 procent korting kregen. Wat bleek: de verkoop van netten vloog omlaag zodra er betaald moest worden. Bijna iedereen kwam zijn net ophalen als het gratis was, maar bij een prijskaartje van 3 dollar kocht minder dan 20 procent nog een net. En belangrijker: voor het gebruik maakte het niets uit of een net was gekocht of gratis verkregen – in 90 procent van alle gevallen werd het net gebruikt waarvoor het bedoeld was.

Maar dat is nog niet alles, want een jaar later kregen de deelnemers de optie om zelf nog een net te kopen - voor 2 dollar. Wie de boeken van Easterly heeft gelezen zou zeggen dat de ‘gratis’ deelnemers niet tot koop overgaan; zij zijn immers gewend geraakt aan het gratis gepamper. Het is een mooie theorie, die slechts één ding mist: bewijs. De mensen die hun net gratis kregen, kochten een jaar later namelijk twee keer vaker een nieuw net dan diegenen die er eerst 3 dollar voor hadden betaald.

‘Mensen raken niet gewend aan hulp, ze raken gewend aan netten,’ merkt Duflo droogjes op.

De beperkingen van de rct

Eigenlijk hebben we het hier over een geheel nieuwe manier van economie bedrijven. De randomista’s denken niet in modellen. Ze geloven niet in de mens als rationele actor. Ze gaan ervanuit dat we rare wezens zijn – soms dom en soms slim, soms heldhaftig en soms bang, soms altruïstisch en soms gierig. En wat blijkt: deze benadering levert veel betere resultaten op.

Waarom doen we dit dan nu pas?

Er is een aantal goede redenen voor. Een randomized controlled trial in een straatarm land is moeilijk, tijdrovend en duur. Lokale organisaties willen vaak niet meewerken, niet in de laatste plaats omdat de resultaten pijnlijk kunnen zijn. Erg pijnlijk. Zo wordt iedere paar jaar van ontwikkelingshulp wel door een hype gedomineerd - ‘goed bestuur’ bijvoorbeeld, ‘onderwijs’ , of ‘microkrediet’ aan het begin van deze eeuw. Vooral met die laatste hype (waar prinses Maxima nog een groot voorvechter van was) is het slecht afgelopen. De boosdoener was, jawel, Esther Duflo, die een fatale rct opzette in Hyderabad, India. Ze toonde aan dat er afgezien van mooie anekdotes geen hard bewijs is voor de effectiviteit van microkrediet in het bestrijden van armoede en ziekte.

Ze gaan ervanuit dat we rare wezens zijn – soms dom en soms slim, soms altruïstisch en soms gierig. Dat levert veel betere resultaten op

Als de randomista’s iets hebben laten zien, is het wel dat er geen tovermiddel bestaat in de strijd tegen armoede. En eerlijk is eerlijk: ook hun methode is dat niet. Je kunt niet alles aan een rct onderwerpen, want niet alles is meetbaar. Grote vragen als ‘hoe moet je de democratie inrichten?’ of ‘wat is de rol van de overheid en de markt bij het bestrijden van armoede?’ kun je niet met een rct beantwoorden. Je kunt de resultaten ook niet zomaar generaliseren naar ander situaties. Wie zegt dat gratis schoolboeken in het westen van Kenia hetzelfde effect hebben als in het noorden van Bangladesh? Bovendien gaat het bij hulp niet alleen om wat werkt maar ook om de vraag waar belastingbetalers of donateurs in geloven. Zo blijkt uit een recente rct dat het uitdelen van ‘gratis geld’ fantastische resultaten oplevert, maar het is maar de vraag of je brede steun voor zo’n onorthodoxe aanpak kunt verwerven.

En dan is er nog de ethiek. Stel dat je na een natuurramp de helft van de slachtoffers wel helpt en een controlegroep niet – nogal dubieus. Toch gaat deze kritiek niet op voor het structurele ontwikkelingswerk. Er zijn altijd mensen die niet worden geholpen; je kunt dus maar beter naar de beste aanpak zoeken. Een nieuw medicijn laten we toch ook niet zomaar op de markt toe?

Je kunt maar beter naar de beste aanpak zoeken. Een nieuw medicijn laten we toch ook niet zomaar op de markt toe?

Neem schoolbezoek. Ieders intuïtie zegt wel iets anders over hoe we het moeten bevorderen: betaal de uniformen, schiet het schoolgeld voor, organiseer maaltijden, bouw toiletten, geef voorlichting, huur extra leraren in, enzovoorts, enzoverder. Het klinkt allemaal wel logisch. Maar wat blijkt: honderd dollar aan gratis maaltijden levert opgeteld 2,8 extra schooljaren op – drie keer meer dan gratis uniforms. En o ja, het ontwormen van kinderen die last hebben van hun darmen levert 29 jaar aan extra scholing op. Geen intellectueel die dat had kunnen voorspellen, maar sinds het is ontdekt, zijn tientallen miljoenen kinderen ontwormd. Een ander mooi voorbeeld is vaccinatie in India – Duflo ontdekte dat als je ouders naast wat voorlichting ook nog één kilo linzen geeft bij iedere prik voor hun kinderen, de vaccinatiegraad verdubbelt.

Er zijn weinig intuïties die standhouden tegenover de rct’s. De traditionele econoom zou zeggen dat armen die ontwormingskuur of vaccinatie zelf wel regelen. Het levert toch een goed rendement op? En mensen zijn toch rationeel?  Niet dus. Duflo vertelde een paar jaar geleden een mop aan The New Yorker over iemand die een honderddollarbiljet op straat ziet liggen. Hij pakt het geld niet op, omdat hij denkt dat het nep is. Voor randomista’s als Duflo ligt de stoep vol met biljetten die nog niemand heeft opgepakt.

De drie i’s

Dit verhaal heeft geen happy end. Juist nu er op grote schaal uitstekend onderzoek wordt verricht naar de effectiviteit van ontwikkelingshulp – juist nu we weten hoe effectief cash-injecties, het ontwormen van kinderen en porties linzen bij vaccinaties kunnen zijn – juist nu hebben we de handdoek in de ring gegooid. In Nederland daalden de uitgaven aan hulp van 0,8 naar 0,7 naar 0,6 procent van het bbp. ‘Ontwikkelingshulp zal verdwijnen,’ zei minister Ploumen (PvdA) vorig jaar nog.

En toegegeven: dat veel hulp niet helpt kun je nog steeds betogen. Dat het onze taak niet is de allerarmsten te helpen, is ook een mogelijke opvatting. Maar wat je niet meer kunt zeggen, is dat niks helpt, dat we niets kunnen doen - zelfs al zouden we het willen. Het wordt tijd om af te rekenen met wat Duflo de drie i’s van ontwikkelingshulp noemt: ideologie, ignorantie en inertie. ‘Ik heb aanvankelijk niet veel meningen,’ zei ze tegen The New Yorker. ‘Ik heb één mening – dat we dingen moeten evalueren – en daar houd ik sterk aan vast. Ik ben nooit ongelukkig met de resultaten. Ik heb nog geen resultaat gezien waar ik niet tevreden mee was.’