Waarom we veel minder weten van ontwikkelingslanden dan we denken

Stel, je komt met je kind in het ziekenhuis. Je bent ongerust: hij huilt al urenlang en voelt snikheet aan. Drie artsen nemen hem mee naar de onderzoekskamer en komen een half uur later terug.

• De eerste zegt: ‘Ik heb geen idee of uw kind koorts heeft of niet.’
• De tweede: ‘De temperatuur zou ergens tussen 38 en 41 graden kunnen liggen.’
• De derde: ‘Uw kind heeft hoge koorts: 40,2 graden.’

Aan welke van de drie vertrouw je de zorg van je kind toe? In dit geval is dat niet moeilijk. De eerste is totaal incompetent en de tweede maakt gebruik van een twijfelachtige nattevingermethodiek met grote marge. Je kiest hoogstwaarschijnlijk voor de laatste.

Maar wat als je in een wereld leeft waar thermometers onnauwkeurig zijn, of misschien niet eens bestaan? Laat je je kind dan behandelen door degene die een vastberaden uitspraak doet op basis van informatie die voor jou niet te toetsen is, of door degene die durft toe te geven het niet precies of gewoon helemaal niet te weten?

Statistics schmatistics

Het gaat goed met de wereld: de afgelopen 25 jaar is het percentage arme en ondervoede mensen gehalveerd. Afrika – ooit nog het ‘hopeloze continent’ – doet het fantastisch, het telt maar liefst vijf van de tien snelst groeiende economieën ter wereld. We leven in ‘de Afrikaanse eeuw,’ Afrika is ‘het China van morgen.’

Tenminste, dat denken we. Dit optimistische beeld wordt opgeroepen door data van internationale organisaties zoals de Verenigde Naties (VN), de Wereldbank of het Internationaal Monetair Fonds (IMF). Van kindersterfte tot economische groei, van ontbossing tot werkloosheid: zij maken er een mooie tabel van waarin het verschijnsel per land kan worden vergeleken.

Maar er is één groot probleem. Als het op data uit ontwikkelingslanden aankomt, dan deugen de thermometers maar al te vaak niet. Of het nu om economische groei, honger of armoede gaat: de informatie is vaak onnauwkeurig, of bestaat simpelweg niet.

‘Africa rising’

Wat betreft economische groei weten we soms net zo weinig van Afrika als Livingstone toen hij de Nijl afdaalde. Cijfers ontbreken, zijn van lage kwaliteit of spreken elkaar tegen. Om te begrijpen waarom, moet je terug naar de bron van de data: de nationale statistiekbureaus. Zij hebben de taak om cijfers te leveren aan de internationale organisaties, maar zuchten onder een chronisch gebrek aan geld, mankracht en kennis om de benodigde informatie te verzamelen.

In het boek Poor Numbers beschrijft Morten Jerven hoe hij in 2010 op bezoek ging bij het statistiekbureau in Zambia. Daar was één persoon verantwoordelijk voor het berekenen van de nationale rekeningen, waar het bruto binnenlands product (bbp) onder valt. Bij het CBS zijn dat er enkele tientallen. ‘Wat als ik er niet meer ben?’, vroeg de man zich hardop af.

Het volgende voorbeeld uit Ghana en Nigeria maakt de karige kwaliteit van de Afrikaanse groeicijfers pijnlijk duidelijk. In 2014 herberekende Nigeria zijn bbp. Dat werd tijd, want de statistische methodes en systemen stamden nog uit 1990. Zo werd er nog altijd aangenomen dat de telecom- en de filmindustrie (‘Nollywood’) klein waren, terwijl die sectoren de afgelopen 25 jaar explosief zijn gegroeid. Opeens bleek Nigeria bijna twee keer zo rijk: met een stijging van 89 procent streefde het land Zuid-Afrika voorbij als rijkste land van Afrika. Ter vergelijking: dat is alsof de gemiddelde Rus opeens even rijk is als een gemiddelde Nederlander.

Soms worden missende datapunten geschat aan de hand van een onbekende methode. Niemand weet wat er in hun zwarte doos precies gebeurt, maar uiteindelijk rollen de cijfers eruit

Ghana had al eerder een dergelijke revisie gedaan en zag het bbp stijgen met een al bijna even imposante 60 procent. Beide landen hadden hun bbp-methodes gemoderniseerd en dat was goed nieuws. Maar tegelijkertijd was het tastbaar bewijs van de slechte kwaliteit van bbp-statistieken in Afrika. Waar was nog meer verbetering nodig? En hoe stond de situatie ervoor in landen die minder welvarend waren dan Ghana en Nigeria?

Niet alleen de kwaliteit van bbp-cijfers is een probleem, ook de tijdigheid. Door trage procedures duurt het vaak jaren voordat nationale statistiekbureaus hun cijfers publiceren. De Wereldbank heeft daar last van, beschrijft Jerven, omdat ze graag up-to-date data wil gebruiken.

Terwijl ze hier in internationale verdragen nooit de bevoegdheid voor heeft gekregen, is de organisatie vanaf de jaren tachtig eigen bbp-data gaan publiceren. Soms worden die cijfers gebaseerd op reizen naar het land, schrijft Jerven, waarop Wereldbankmedewerkers spreken met hoge overheidsambtenaren die ze toegang geven tot data die voor anderen verborgen blijven. Andere keren worden missende datapunten geschat aan de hand van een onbekende methode. Niemand weet wat er in hun zwarte doos precies gebeurt, maar uiteindelijk rollen de cijfers er uit. Deze data worden vervolgens door tal van beleidsmakers en journalisten klakkeloos overgenomen.

Het resultaat is dat de Wereldbankgetallen afwijken van nationale schattingen. Zie in de onderstaande grafiek het percentageverschil tussen de Wereldbankschatting van het bbp en de schatting van het land zelf. In een aantal landen is het verschil 0 procent, maar in de meerderheid verschillen de schattingen. In Guinee-Bissau schat de Wereldbank het bbp zelfs meer dan 40 procent hoger in dan het land zelf.

Ook als je de Wereldbank vergelijkt met andere gezaghebbende databases – de Penn World Table (PWT) en de Maddison dataset – zijn er grote verschillen. Zo is Guinee volgens Maddison het zevende armste land van Afrika, terwijl het bij PWT net buiten de top tien rijkste Afrikaanse landen valt. De Wereldbank zet Guinee op de vijftiende plaats.

‘Extreme armoede gehalveerd’

‘Extreme armoede gehalveerd,’ schreef de VN vorig jaar in haar evaluatie van de Millenniumdoelen. Daarmee was een van de prominentste doelen gehaald: het halveren van het percentage mensen onder de armoedegrens.

Maar net als met economische groei, zijn ook armoedecijfers vaak onbetrouwbaar. En dat is niet verwonderlijk: het berekenen van het aantal mensen onder de armoedegrens is erg lastig. Allereerst moet er op grote schaal enquêtes worden afgenomen onder de bevolking. Het afnemen en verwerken van vragenlijsten kan jaren duren. Zo is er in Botswana in 2002-2003 al een enquête afgenomen, maar een kleine dertien jaar later zijn de data nog altijd niet gepubliceerd. In de armoedeschattingen wordt daarom nog altijd gebruikgemaakt van gegevens uit 1994.

Landen verschillen bovendien van elkaar in de opzet en uitvoering van enquêtes, waardoor getallen onderling moeilijk vergelijkbaar zijn. Sommige landen meten bijvoorbeeld inkomen, terwijl andere kijken naar hoeveel een huishouden consumeert. Dat laatste is geschikter voor veel ontwikkelingslanden, waar het inkomen erg kan schommelen van maand tot maand en veel transacties in natura plaatsvinden. Ook zijn er onderlinge verschillen tussen de vragenlijsten, bijvoorbeeld in het aantal vragen of in hoe ze verwoord zijn. Zulke verschillen kunnen grote impact hebben. In Tanzania werd een experiment uitgevoerd met verschillende methodes: de armoedeschattingen liepen uiteen van 47,5 procent tot 66,8 procent.

Als de nationale data eenmaal beschikbaar zijn, moeten de cijfers worden omgerekend zodat ze vergeleken kunnen worden met de internationale armoedegrens van $1,25 per dag. Dit moet gebeuren omdat de koopkracht verschilt tussen landen: van $1,25 kun je in Thailand meer kopen dan in Brazilië. Voor deze berekeningen heb je weer andere databronnen nodig, die op hun beurt ook weer meetfouten bevatten. Zo worden meetfouten dus op elkaar gestapeld, en worden de cijfers telkens onbetrouwbaarder.

De kwaliteit van de metingen is niet alleen twijfelachtig, vaak zijn de data niet eens beschikbaar. Van de 161 ontwikkelingslanden die door de VN werden bekeken, was er voor maar 76 landen – 47 procent – voldoende informatie voorhanden om de armoedetrend te checken. De Wereldbank – waar de VN de armoededata vandaan halen – lost het datagebrek op door de gaten op te vullen. Het neemt aan dat de armoedetrend op dezelfde manier doorgaat of hetzelfde is als op de rest van het betreffende continent. Maar het zijn juist de armste landen die de meeste moeite hebben om de informatie bij elkaar te krijgen, waardoor al snel een te optimistisch beeld ontstaat van wereldwijde armoede.

‘Ondervoeding in 25 jaar omlaag’

Nog zo’n belangrijk doel van de Verenigde Naties: het bestrijden van de honger in de wereld. In de Millenniumdoelen staat dat het percentage ondervoede mensen moet zijn gehalveerd in 2015. Eind mei bracht de Voedsel- en Landbouworganisatie (Food and Agriculture Organisation, FAO) haar jaarlijkse rapport The State of Food Insecurity in the World – kortweg SOFI – uit. De belangrijkste conclusie: de wereldwijde honger was omlaaggegaan tot 800 miljoen; in 72 van de 129 landen in het rapport was de honger afgenomen. In alle ontwikkelingslanden samen was honger gedaald van 23,3 procent naar 12,9 procent. De halvering naar 11,7 procent was dus net niet gehaald.

Zoals bij bbp en armoede, spelen ook bij hongercijfers beschikbaarheid en kwaliteit een grote rol. Maar ook de definitie van een concept is erg belangrijk. Het voorbeeld van honger laat zien hoe verschillende definities de datapatronen drastisch kunnen veranderen.

In 2012 besloot de FAO honger op een andere manier te gaan meten. De hongerstatistieken werden met terugwerkende kracht tot aan 1990 herrekend. Allereerst paste de FAO haar formules voor de berekeningen aan. Daarbovenop werd er gebruikgemaakt van betere data, bijvoorbeeld op het gebied van voedselvoorziening en bevolkingsaantallen. Zo bleek uit nieuwe schattingen dat er in de jaren negentig 25 miljoen meer mensen in China woonden dan voor de aanvankelijke berekening was aangenomen.

De nieuwe methodologie veranderde het beeld van honger drastisch. Ineens bleek dat er 150 miljoen meer mensen met honger leefden in 1990 dan altijd was aangenomen. Waar de oude data een stijging lieten zien in honger over de afgelopen twintig jaar, toonden de nieuwe getallen een flinke daling in het aantal ondervoede personen. Het Millenniumdoel had lang onhaalbaar geleken, maar een methodeverandering en voilà: het doel was ‘binnen bereik,’ aldus de FAO. Doordat de situatie in 1990 veel erger was gebleken, was er ‘meer vooruitgang geboekt dan eerder was aangenomen.’

Maar zelfs als je de nieuwe methode accepteert, hangt het er nog maar van af of er vooruitgang is geboekt of niet. Want wat is ‘honger’ eigenlijk volgens de FAO? De organisatie omschrijft een persoon als ondervoed als diegene een jaar lang te weinig calorieën binnenkrijgt. De calorieëngrens wordt per land bepaald op basis van de gemiddelde lengte, leeftijd en geslacht. Bij het berekenen van die grens wordt aangenomen dat iemand een ‘sedentaire leefstijl’ heeft, met andere woorden dat iemand zijn leven voornamelijk op zijn achterste doorbrengt in een cubicle of iets dergelijks. Maar juist arme mensen in ontwikkelingslanden doen vaak lichamelijk zwaar werk. Zo heeft een Oegandees volgens de richtlijnen minimaal 1710 calorieën nodig. Daar heeft een Victoria’s Secrets-model misschien genoeg aan, maar een noest arbeidende Oegandese boer gaat het er niet op redden.

Als je de calorieëngrens een beetje opkrikt, ziet het hongerpatroon er opeens heel anders uit. Neem je aan dat men een normale leefstijl heeft, dan zijn er nog net zo veel hongerige mensen als in 1990 (zie grafiek). Als je een actieve leefstijl veronderstelt, zijn er zelfs meer hongerige mensen bijgekomen.

De VN kijken trouwens niet naar absolute aantallen, maar naar het wereldwijde percentage ondervoede personen. Dan ziet het plaatje er weer anders uit: een stuk positiever, omdat de wereldbevolking is gegroeid. Maar de keuze voor percentage of absolute aantallen is niet eenvoudig: wat heeft een hongerig persoon aan de informatie dat hij een kleiner deel van het geheel is geworden?

Een wereldbeeld vol schijnzekerheden

Gaat het goed met de wereld? Is Africa Rising? Zijn armoede en honger gehalveerd? Het wordt beweerd en het zou waar kunnen zijn, maar de realiteit is dat we er bar weinig over kunnen zeggen. De cijfers zijn vaak onbetrouwbaar, verouderd of bestaan simpelweg niet. Dat betekent niet dat we maar moeten stoppen met het zoeken naar de juiste data. Al had Einstein een punt toen hij zei dat ‘niet alles wat telt te tellen is,’ goede data blijven belangrijk om de situatie in ontwikkelingslanden te verbeteren.

Gelukkig zijn er lichtpuntjes. Er zijn de afgelopen jaren veel verbeteringen geweest op het gebied van dataverzameling. Zo waren er in 1990 armoededata beschikbaar voor slechts 22 landen. Dat aantal is ondertussen toegenomen tot 149. De capaciteit van de statistiekbureaus is de afgelopen jaren verbeterd, mede door investering van internationale organisaties als de Wereldbank. Bovendien hebben nieuwe technologieën – zoals satellieten en mobiele telefoons – het makkelijker gemaakt om goede data te verzamelen.

Ook zijn internationale organisaties steeds duidelijker over de kwaliteit van hun cijfers. Als je de rapporten induikt, kom je veel waarschuwingen tegen. Zo staat er in het rapport van de Millenniumdoelen: ‘Ondanks vooruitgang in de afgelopen jaren, zijn betrouwbare statistieken voor het monitoren van ontwikkeling ontoereikend in veel landen.’

De Wereldbank schrijft: ‘Veel statistische kantoren, voornamelijk die in ontwikkelingslanden, hebben ernstige beperkingen in de benodigde middelen, tijd, training en budget.’ En de FAO geeft in het rapport uit 2015 toe dat haar hongerindicator is gebaseerd op een ‘beperkte definitie’ en rapporteert daarom een hele rits aan indicatoren om een beter beeld te geven van ondervoeding. Zo meet de organisatie ook het jodiumtekort onder de bevolking en de hoeveelheid onvolgroeide kinderen.

Alleen staan die beperkingen en nuanceringen vaak verstopt in voetnoten en bijlagen. Als het erop aankomt, lijken internationale organisaties de ernst van de situatie te negeren. Dat wordt pijnlijk duidelijk bij het voorstel voor de nieuwe VN-ontwikkelingsdoelen. Zoals het ernaar uitziet, zullen ontwikkelingslanden 169 verschillende indicatoren moeten meten.

Voor de huidige 48 indicatoren blijkt het al onmogelijk te zijn om goede data te verzamelen. Nog geen 70 procent van de benodigde gegevens is beschikbaar, waarvan de helft bestaat uit schattingen omdat nationale data ontbreken. In de VN-wandelgangen wordt ondertussen driftig gesproken over de ‘datarevolutie.’ Toch staat de verbetering van data tijdens de komende conferentie in Addis Abeba - waar gesproken zal worden over de financiering van de doelen - niet op de agenda. Het wordt waarschijnlijk behandeld bij een ‘side-event.’

Het lijkt erop dat internationale organisaties doen alsof de hypothetische thermometer prima in orde is en bovendien verwachten dat hij ook nog eens je bloeddruk en hartslag gaat meten. Je kunt het ze niet kwalijk nemen dat data onbetrouwbaar zijn, want het is heel lastig om in ontwikkelingslanden aan kloppende gegevens te komen. Maar laat hen - samen met journalisten en beleidsmakers - eerlijker zijn over de tekortkomingen, in plaats van ons wereldbeeld met meer schijnzekerheden te plaveien.

Verder lezen: