Dit hebben we geleerd van dertig jaar onderzoek naar ontwikkelingshulp

In een ver en duister verleden investeerden we miljarden in onbewezen ontwikkelingshulp. We gaven klamboes, geiten, cursussen, en waarom? Omdat mannen met baarden hadden geconcludeerd dat dit het beste was voor de berooiden der aarde. Het was doneren uit de onderbuik.

Die tijden zijn voorbij. Inmiddels trekken economen de wijde wereld in om te experimenteren: ontwikkelingshulp te testen als ware het een medicijn. Geef één groep mensen een klamboe, een geit, een cursus, en een andere groep niet, en kijk dan wat er gebeurt. 

Op De Correspondent bezongen wij deze opmars der wetenschap. ‘Het tijdperk van feitenvrije ontwikkelingshulp is voorbij’, schreef collega Rutger Bregman een paar jaar geleden. ‘Het giswerk is uit de beleidsvorming gehaald’, stelde de kersverse Nobelprijswinnaar en prominent experimenteel econoom Esther Duflo.^*

Onlangs las ik een onderzoek van Eva Vivalt.^* De econoom bestudeerde het verzameld werk aan ontwikkelingsexperimenten: 15.024 resultaten uit 635 onderzoeken naar 20 verschillende hulpinterventies. Wat doet een ontwormingskuur met de hemoglobinewaarde? Wat doen schoolmaaltijden met de toetsresultaten? Gaan mensen meer sparen na een cursus financiële geletterdheid? 

Wat bleek: de uitkomsten vlogen alle kanten op. Een ontwormingskuur had soms wel, soms niet een effect op de hemoglobinewaardes. Schoolmaaltijden leverden soms betere, soms slechtere toetsresultaten op. En cursussen financiële geletterdheid, nou ja… die doen eigenlijk steevast weinig.

Iets beter dan een muntje opgooien

In het verleden behaalde uitkomsten bieden nauwelijks een garantie voor de toekomst, laat Vivalt zien. Stel je bent een beleidsmaker en je wilt weten welke invloed het uitdelen van ontwormingskuren heeft op het gewicht van de ontvangers. Je neemt de hele wormliteratuur tot je, en komt tot de beste voorspelling. Eva Vivalt laat zien dat de kans slechts 60 procent is dat je goed raadt of de deelnemers in een volgende studie nu zwaarder of lichter worden dankzij ontwormingskuren. Een beetje beter dan een munt opwerpen, maar je had toch op meer gehoopt na al dat onderzoek. 

Nou is het resultaat niet bij elke interventie-uitkomstcombinatie zo bedroevend. Bijvoorbeeld: cash geven als kinderen naar school gaan, daarvan kun je in 90 procent van de gevallen voorspellen dat kinderen inderdaad vaker naar school gaan. Maar neem de invloed van schoolmaaltijden op toetsresultaten: de kans dat je de uitkomst van een volgend experiment goed raadt is vijftig procent. Je kan net zo goed een munt opwerpen. 

Als je alle voorspellingen op een rijtje zet, dan is de mediaan van al die berekeningen – het getal dat dus precies in het midden staat – 67 procent. 

De verscharminkelde Bengaalse baby

Nu is het natuurlijk niet per se vreemd dat resultaten soms verschillen. Als je tien keer een peiling doet onder duizend mensen (‘Wat vindt u van de haakworm?‘), dan krijg je ook steeds een net iets anders resultaat. Dit is de zogenaamde steekproefvariantie. Maar Vivalt laat zien dat slechts 9 procent van alle variatie valt te verklaren uit zulke huis-, tuin- en keukenvariantie. 

Nee, het grootste probleem blijkt dat onderzoeksresultaten uit één context zich lastig laten veralgemeniseren naar een andere context. Met een chique wetenschapswoord: de ‘externe validiteit’ is niet op orde.

Met een chique wetenschapswoord: de ‘externe validiteit’ is niet op orde

Een voorbeeld: in ruraal India bestond een wijdverbreid misverstand.^* Moeders zouden tijdens de zwangerschap op dieet moeten. Minder eten betekent namelijk minder baby. En dat was een goede zaak, want daarmee werd het makkelijker baren. Dankzij deze volkswijsheid ontsproot menig baby verscharminkeld uit moeders schoot. En daarmee liet menig baby vroegtijdig het leven.

Vandaar dat de Wereldbank in de jaren negentig besloot om in bijna twintigduizend dorpen in de provincie Tamil Nadu een grootschalig hulpprogramma op te zetten: zwangere vrouwen kregen voedsel en voorlichting. Het was een klinkend succes, zo lieten de evaluaties zien. ‘Eén van de meest succesvolle voedingshulpprogramma’s ter wereld’, schreef de Wereldbank zelfs.

Opschalen die handel! In Bangladesh, waar dezelfde misvattingen over het zwangerschapsdieet de ronde deden, financierde de Wereldbank een vrijwel identiek programma voor maar liefst zestig miljoen dollar. Maar toen vielen de resultaten opeens vies tegen. Hoe kon dit nou? Gedegen onderzoek had toch uitgewezen dat voorlichting en voedsel werkten? 

Wat bleek: in Bangladesh was niet de moeder, maar manlief verantwoordelijk voor de boodschappen, en ging schoonmoeder over het kookwerk. Dus fijn, zo’n beter geïnformeerde moeder, maar zij had geen controle over haar eigen voedselinname. 

Moraal van het verhaal: context doet er toe. 

Wie voerde het uit?

Nu is natuurlijk de vraag of je context kunt afpellen. Bijvoorbeeld: als we steeds noteren of het onderzoek is gedaan in een moederland of schoonmoederland, dan kun je beter voorspellen waar het wel of niet gaat werken. Maar hier stuitte Vivalt meteen op een probleem: veel experimenteel onderzoek is nogal karig gedocumenteerd. Je treft lange verhandelingen over hoe netjes het experiment is opgezet, maar je leert minder over contextuele factoren – zoals Bengaalse schoonmoeders. 

Dus uiteindelijk bleef Vivalt over met een paar algemene variabelen: wie voerde het onderzoek uit en waar is het uitgevoerd? 

Allereerst, en dit zal misschien verbazen, het ‘waar’ deed er niet zoveel toe. Onderzoek veralgemeniseert slecht tussen landen, maar even slecht binnen een land. Ja, een geit geven in Ghana is iets anders dan een geit geven in Guatemala, maar zelfs een geit geven in Noord-Ghana is niet hetzelfde als een geit geven in Zuid-Ghana. 

Onderzoek veralgemeniseert slecht tussen landen, maar even slecht binnen een land

Wel een belangrijke bron van vertekening was het ‘wie’. Ngo’s wisten steevast betere resultaten te boeken dan overheden. Mogelijk omdat overheden minder competent zijn, maar het kan ook dat ngo’s locaties kiezen die het meest kansrijk zijn, waardoor initiële resultaten gunstig zijn, maar de uitkomsten bij het opschalen tegenvallen. 

Voor een select aantal interventies – cashoverdracht en ontwormingskuren – was er meer informatie beschikbaar, waardoor Vivalt betere analyses kon doen. Het bleek vooral belangrijk hoe groot het probleem was. Het is makkelijker kinderen naar school te krijgen als de jeugd sowieso weinig naar school gaat. En een ontwormingskuur heeft meer resultaat als de haakworm, de hufter, in groteren getale is genesteld onder de plaatselijke populatie. 

Als je de beste verklaring (denk: wormprevalentie, ngo of overheid, aantal schoolgaande kinderen) meewoog, dan kon je zo’n twintig procent van de variatie in onderzoeksresultaten verklaren. Tel daarbij de 9 procent steekproefvariantie op, en je snapt inderdaad iets beter waarom onderzoeksresultaten zo variëren. 

Een experimentje waard

Voor mij laat Vivalts onderzoek zien dat er veel meer aandacht moet zijn voor context. Een heel mooi experiment vinden economen vaak heel mooi, ook al zegt het weinig. De VVD scoorde tijdens de laatste Tweede Kamerverkiezingen 70.000 banen in de CPB-modellen door het versoberen van de arbeidsongeschiktheidsuitkering. De berekening bleek gebaseerd op één onderzoek naar een Canadees beleidsexperiment in de jaren tachtig. Een net onderzoek, ongetwijfeld, maar hoe valide zijn zulke conclusies voor Nederland? 

Afijn, ik denk dat we wel kunnen zeggen dat het era van de feitenvrije ontwikkelingshulp nog niet voorbij is. Further research is needed. 

Ik vroeg me na lezing van Vivalts artikel overigens wel af: stel we zouden aan hulpverleners vragen wat hen de beste ontwikkelingshulp lijkt. Zou dat werkelijk heel veel slechter zijn, dan wanneer we varen op de uitkomsten van peperduur economisch onderzoek, dat zich slecht laat veralgemeniseren?

Misschien kan iemand er eens een experimentje aan wijden. 

Meer lezen?