Illustrations by Jacob Stead for The Correspondent

Stel, je komt met je kind in het ziekenhuis. Je bent ongerust: hij huilt al urenlang en voelt snikheet aan. Drie artsen nemen hem mee naar de onderzoekskamer en komen een half uur later terug.

  • De eerste zegt: ‘Ik heb geen idee of uw kind koorts heeft of niet.’
  • De tweede: ‘De temperatuur zou ergens tussen 38 en 41 graden kunnen liggen.’
  • De derde: ‘Uw kind heeft hoge koorts: 40,2 graden.’

Aan welke van de drie vertrouw je de zorg van je kind toe? In dit geval is dat niet moeilijk. De eerste is totaal incompetent en de tweede maakt gebruik van een twijfelachtige nattevingermethodiek met grote marge. Je kiest hoogstwaarschijnlijk voor de laatste.

Maar wat als je in een wereld leeft waar thermometers onnauwkeurig zijn, of misschien niet eens bestaan? Laat je je kind dan behandelen door degene die een vastberaden uitspraak doet op basis van informatie die voor jou niet te toetsen is, of door degene die durft toe te geven het niet precies of gewoon helemaal niet te weten?

Statistics schmatistics

Het gaat goed met de wereld: de afgelopen 25 jaar is het percentage arme en ondervoede mensen gehalveerd. Afrika – ooit nog het ‘hopeloze Zo noemde The Economist Afrika in 2000. In 2013 besteedde hetzelfde tijdschrift een speciale editie aan ‘Africa Rising.’ – doet het fantastisch, het telt maar liefst vijf van de tien snelst groeiende economieën ter Lees in dit artikel van The Economist meer over de snelst groeiende economieën. wereld. We leven in ‘de Afrikaanse eeuw,’ Afrika is ‘het China van morgen.’

Tenminste, dat denken we. Dit optimistische beeld wordt opgeroepen door data van internationale organisaties zoals de Verenigde Naties (VN), de Wereldbank of het Internationaal Monetair Fonds (IMF). Van kindersterfte tot economische groei, van ontbossing tot werkloosheid: zij maken er een mooie tabel van waarin het verschijnsel per land kan worden vergeleken.

Maar er is één groot probleem. Als het op data uit ontwikkelingslanden aankomt, dan deugen de thermometers maar al te vaak niet. Of het nu om economische groei, honger of armoede gaat: de informatie is vaak onnauwkeurig, of bestaat simpelweg niet.

Heeft de wereld een CBS? Gegevens over de stand van de wereld zijn vandaag de dag beschikbaar voor iedereen met een internetverbinding. Maar hoe komen al die data eigenlijk tot stand? Lees hier de explainer.

‘Africa rising’

Wat betreft economische groei weten we soms net zo weinig van Afrika als De Schotse David Livingstone (1813-1873) was een van de bekendste ontdekkingsreizigers van zuidelijk Afrika. toen hij de Nijl afdaalde. Cijfers ontbreken, zijn van lage kwaliteit of spreken elkaar tegen. Om te begrijpen waarom, moet je terug naar de bron van de data: de nationale statistiekbureaus. Zij hebben de taak om cijfers te leveren aan de internationale organisaties, maar zuchten onder een chronisch gebrek aan geld, mankracht en kennis om de benodigde informatie te En dan is het ook nog eens extra moeilijk om het bbp te berekenen in deze landen, omdat de informele economie er vaak enorm is. Onder de informele economie worden wettelijke en onwettelijke activiteiten verstaan waarover geen belasting wordt betaald en die niet worden waargenomen door de overheid. Omdat er geen officiële data over deze activiteiten bestaat, is het moeilijk om ze mee te nemen in de berekening van het bbp. Volgens schattingen bestaat zo’n 55 procent van het bbp in Sub-Saharisch Afrika uit informele activiteiten en werkt 80 procent van de beroepsbevolking in deze sector.

In het boek Poor Numbers beschrijft Morten Lees hier meer over het boek Poor Numbers. Jerven hoe hij in 2010 op bezoek ging bij het statistiekbureau in Zambia. Daar was één persoon verantwoordelijk voor het berekenen van de nationale De nationale rekeningen geven een overzicht van de economie van een land. De rekeningen tonen bijvoorbeeld de binnenlandse productie, de inkomensverdeling en het bbp. waar het bruto binnenlands product (bbp) onder valt. Bij het CBS zijn dat er enkele tientallen. ‘Wat als ik er niet meer ben?’, vroeg de man zich hardop af.

Het volgende voorbeeld uit Ghana en Nigeria maakt de karige kwaliteit van de Afrikaanse groeicijfers pijnlijk duidelijk. In 2014 herberekende Nigeria zijn Bij het berekenen van het bbp wordt uitgegaan van een ‘basisjaar’. Er wordt aangenomen dat de economie is opgebouwd zoals in dat jaar, dat bijvoorbeeld het aandeel van de telecomindustrie of van de landbouw hetzelfde is. In het geval van Nigeria was dat 1990. Bij een herziening wordt dat basisjaar geüpdatet. Met andere woorden, er wordt opnieuw bekeken hoe de economie is opgebouwd en op basis van die nieuwe structuur worden berekeningen gemaakt. In ontwikkelde landen wordt dit circa elke vijf jaar gedaan. Dat werd tijd, want de statistische methodes en systemen stamden nog uit 1990. Zo werd er nog altijd aangenomen dat de telecom- en de filmindustrie (‘Nollywood’) klein waren, terwijl die sectoren de afgelopen 25 jaar explosief zijn gegroeid. Opeens bleek Nigeria bijna twee keer zo rijk: met een stijging van 89 procent streefde het land Zuid-Afrika voorbij als rijkste land van Afrika. Ter vergelijking: dat is alsof de gemiddelde Rus opeens even rijk is als een gemiddelde Nederlander.

Soms worden missende datapunten geschat aan de hand van een onbekende methode. Niemand weet wat er in hun zwarte doos precies gebeurt, maar uiteindelijk rollen de cijfers eruit

Ghana had al eerder een dergelijke revisie gedaan en zag het bbp stijgen met een al bijna even imposante 60 procent. Beide landen hadden hun bbp-methodes gemoderniseerd en dat was goed nieuws. Maar tegelijkertijd was het tastbaar bewijs van de slechte kwaliteit van bbp-statistieken in Afrika. Waar was nog meer verbetering nodig? En hoe stond de situatie ervoor in landen die minder welvarend waren dan Ghana en Nigeria?

Niet alleen de kwaliteit van bbp-cijfers is een probleem, ook de tijdigheid. Door trage procedures duurt het vaak jaren voordat nationale statistiekbureaus hun cijfers publiceren. De Wereldbank heeft daar last van, beschrijft Jerven, omdat ze graag up-to-date data wil gebruiken.

Terwijl ze hier in internationale verdragen nooit de bevoegdheid voor heeft gekregen, is de organisatie vanaf de jaren tachtig eigen bbp-data gaan publiceren. Soms worden die cijfers gebaseerd op reizen naar het land, schrijft Jerven, waarop Wereldbankmedewerkers spreken met hoge overheidsambtenaren die ze toegang geven tot data die voor anderen verborgen blijven. Andere keren worden missende datapunten geschat aan de hand van een onbekende methode. Niemand weet wat er in hun zwarte doos precies gebeurt, maar uiteindelijk rollen de cijfers er uit. Deze data worden vervolgens door tal van beleidsmakers en journalisten klakkeloos Onder wetenschappers is de Wereldbankdata minder populair: twee derde van de landenstudies gebruikt data van Penn World Tables. Dit staat in het artikel ‘Is newer better? Penn World Table revisions and their impact on growth estimates’ van Simon Johnson en coauteurs (Journal of Monetary Economics, 2013).

Het resultaat is dat de Wereldbankgetallen afwijken van nationale schattingen. Zie in de onderstaande grafiek het percentageverschil tussen de Wereldbankschatting van het bbp en de schatting van het land zelf. In een aantal landen is het verschil 0 procent, maar in de meerderheid verschillen de schattingen. In Guinee-Bissau schat de Wereldbank het bbp zelfs meer dan 40 procent hoger in dan het land zelf.

Ook als je de Wereldbank vergelijkt met andere gezaghebbende databases – de Penn World Table De Penn World Table geeft een overzicht van macro-economische indicatoren per land vanaf 1950. De belangrijkste indicator is het bbp. De database werd tot voor kort onderhouden door University of Pennsylvania, maar de verantwoordelijkheid ligt nu bij wetenschappers van de Universiteit Groningen en University of California, Davis. en de Maddison Angus Maddison (1926-2010) was een hoogleraar aan de Universiteit van Groningen. Hij hield een database bij met bbp-data vanaf het jaar 1 AD. Na zijn dood in 2010 hebben collega’s bij de Universiteit van Groningen zijn werk overgenomen. – zijn er grote verschillen. Zo is Guinee volgens Maddison het zevende armste land van Afrika, terwijl het bij PWT net buiten de top tien rijkste Afrikaanse landen valt. De Wereldbank zet Guinee op de vijftiende De gegevens uit deze en voorgaande alinea komen uit het boek Poor Numbers.

‘Extreme armoede gehalveerd’

‘Extreme armoede gehalveerd,’ schreef de VN vorig jaar in haar evaluatie van de Lees hier meer over de Millenniumdoelen. Millenniumdoelen. Daarmee was een van de prominentste doelen gehaald: het halveren van het percentage mensen onder Lees hier het VN-rapport. de Een kanttekening: de afname van armoede was voornamelijk te danken aan de economische voorspoed van China. Als je China niet meeneemt, is de extreme armoede in ontwikkelingslanden nog niet gehalveerd.

Maar net als met economische groei, zijn ook armoedecijfers vaak onbetrouwbaar. En dat is niet verwonderlijk: het berekenen van het aantal mensen onder de armoedegrens is erg lastig. Allereerst moet er op grote schaal enquêtes worden afgenomen onder de bevolking. Het afnemen en verwerken van vragenlijsten kan jaren duren. Zo is er in Botswana in 2002-2003 al een enquête afgenomen, maar een kleine dertien jaar later zijn de data nog altijd niet gepubliceerd. In de armoedeschattingen wordt daarom nog altijd gebruikgemaakt van gegevens uit 1994.

Landen verschillen bovendien van elkaar in de opzet en uitvoering van enquêtes, waardoor getallen onderling moeilijk vergelijkbaar zijn. Sommige landen meten bijvoorbeeld inkomen, terwijl andere kijken naar hoeveel een huishouden consumeert. Dat laatste is geschikter voor veel ontwikkelingslanden, waar het inkomen erg kan schommelen van maand tot maand en veel transacties in natura plaatsvinden. Ook zijn er onderlinge verschillen tussen de vragenlijsten, bijvoorbeeld in het aantal vragen of in hoe ze verwoord Een verschil is bijvoorbeeld hoe ver je de geënquêteerde vraagt om terug te kijken. Moet hij zijn uitgavenpatroon rapporteren over de afgelopen zeven dagen, veertien dagen of twaalf maanden? Dan hangt het er ook over hoeveel items hij de uitgaven moet opgeven. Is het een lange lijst – inclusief kippenpootjes en schoenveters – of een kortere samenvatting van mogelijke uitgaven? Nog een verschil is of hij de uitgaven met terugwerkende kracht rapporteert of dat hij een dagboek bijhoudt van zijn uitgaven. Zulke verschillen kunnen grote impact hebben. In Tanzania werd een experiment uitgevoerd met verschillende methodes: de armoedeschattingen liepen uiteen van 47,5 procent tot 66,8 Lees hier meer over de studie in Tanzania. procent.

Als de nationale data eenmaal beschikbaar zijn, moeten de cijfers worden omgerekend zodat ze vergeleken kunnen worden met de internationale armoedegrens van $1,25 per dag. Dit moet gebeuren omdat de koopkracht verschilt tussen landen: van $1,25 kun je in Thailand meer kopen dan in Brazilië. Voor deze berekeningen heb je weer andere databronnen nodig, die op hun beurt ook weer meetfouten Naast de enquêtes zijn de volgende databronnen nodig bij het berekenen van internationaal vergelijkbare armoedecijfers: volkstelling, nationale rekeningen, consumentenprijsindices en data van het International Comparison Program (ICP). Het ICP geeft de zogenaamde ‘koopkrachtpariteit’-waarden voor ieder land, die een indicatie geven van de koopkracht. Zo worden meetfouten dus op elkaar gestapeld, en worden de cijfers telkens onbetrouwbaarder.

De kwaliteit van de metingen is niet alleen twijfelachtig, vaak zijn de data niet eens beschikbaar. Van de 161 ontwikkelingslanden die door de VN werden bekeken, was er voor maar 76 landen – 47 procent – voldoende informatie voorhanden om de armoedetrend te Hier vind je gegevens over de beschikbaarheid van de data. checken. De Wereldbank – waar de VN de armoededata vandaan halen – lost het datagebrek op door de gaten op te vullen. Het neemt aan dat de armoedetrend op dezelfde manier doorgaat of hetzelfde is als op de rest van het betreffende Lees hier meer over de berekening van armoedecijfers. continent. Maar het zijn juist de armste landen die de meeste moeite hebben om de informatie bij elkaar te krijgen, waardoor al snel een te optimistisch beeld ontstaat van wereldwijde armoede.

‘Ondervoeding in 25 jaar omlaag’

Nog zo’n belangrijk doel van de Verenigde Naties: het bestrijden van de honger in de wereld. In de Millenniumdoelen staat dat het percentage ondervoede mensen moet zijn gehalveerd in 2015. Eind mei bracht de Voedsel- en Landbouworganisatie (Food and Agriculture De Food and Agriculture Organisation (FAO) is een gespecialiseerde organisatie van de VN. Het doel van de FAO is het bestrijden van wereldwijde ondervoeding. Daarnaast houdt de organisatie zich bezig met het bestrijden van armoede en het duurzaam gebruik van land en water. haar jaarlijkse rapport The State of Food Insecurity in the World – kortweg SOFI – Lees hier het FAO-rapport. uit. De belangrijkste conclusie: de wereldwijde honger was omlaaggegaan tot 800 miljoen; in 72 van de 129 landen in het rapport was de honger afgenomen. In alle ontwikkelingslanden samen was honger gedaald van 23,3 procent naar 12,9 procent. De halvering naar 11,7 procent was dus net niet gehaald.

Zoals bij bbp en armoede, spelen ook bij hongercijfers beschikbaarheid en kwaliteit een grote rol. Maar ook de definitie van een concept is erg belangrijk. Het voorbeeld van honger laat zien hoe verschillende definities de datapatronen drastisch kunnen veranderen.

In 2012 besloot de FAO honger op een andere manier te gaan meten. De hongerstatistieken werden met terugwerkende kracht tot aan 1990 herrekend. Allereerst paste de FAO haar formules voor de berekeningen Er werden nieuwe aannames gemaakt over hoe de calorieconsumptie onder de bevolking verdeeld is. De vorm van de geschatte verdeling werd aangepast en andere parameters in de berekeningen, zoals de variantie, werden anders geschat. Lees meer over de veranderingen in Annex 2 van het rapport. Daarbovenop werd er gebruikgemaakt van betere data, bijvoorbeeld op het gebied van voedselvoorziening en bevolkingsaantallen. Zo bleek uit nieuwe schattingen dat er in de jaren negentig 25 miljoen meer mensen in China woonden dan voor de aanvankelijke berekening was aangenomen.

De nieuwe methodologie veranderde het beeld van honger drastisch. Ineens bleek dat er 150 miljoen meer mensen met honger leefden in 1990 dan altijd was aangenomen. Waar de oude data een stijging lieten zien in honger over de afgelopen twintig jaar, toonden de nieuwe getallen een flinke daling in het aantal ondervoede personen. Het Millenniumdoel had lang onhaalbaar geleken, maar een methodeverandering en voilà: het doel was ‘binnen bereik,’ aldus de FAO. Doordat de situatie in 1990 veel erger was gebleken, was er ‘meer vooruitgang geboekt dan eerder was aangenomen.’

Maar zelfs als je de nieuwe methode accepteert, hangt het er nog maar van af of er vooruitgang is geboekt of niet. Want wat is ‘honger’ eigenlijk volgens de FAO? De organisatie omschrijft een persoon als ondervoed als diegene een jaar lang te weinig calorieën binnenkrijgt. De calorieëngrens wordt per land bepaald op basis van de gemiddelde lengte, leeftijd en geslacht. Bij het berekenen van die grens wordt aangenomen dat iemand een ‘sedentaire leefstijl’ heeft, met andere woorden dat iemand zijn leven voornamelijk op zijn achterste doorbrengt in een cubicle of iets dergelijks. Maar juist arme mensen in ontwikkelingslanden doen vaak lichamelijk zwaar werk. Zo heeft een Oegandees volgens de richtlijnen minimaal 1710 calorieën Dit was de schatting voor de periode 2006-2008. Daar heeft een Victoria’s Secrets-model misschien genoeg aan, maar een noest arbeidende Oegandese boer gaat het er niet op redden.

Als je de calorieëngrens een beetje opkrikt, ziet het hongerpatroon er opeens heel anders uit. Neem je aan dat men een normale leefstijl heeft, dan zijn er nog net zo veel hongerige mensen als in 1990 (zie grafiek). Als je een actieve leefstijl veronderstelt, zijn er zelfs meer hongerige mensen bijgekomen.

De VN kijken trouwens niet naar absolute aantallen, maar naar het wereldwijde percentage ondervoede personen. Dan ziet het plaatje er weer anders uit: een stuk positiever, omdat de wereldbevolking is Lees ‘Framing Hunger’ voor een uitgebreidere kritiek op de hongercijfers. gegroeid. Maar de keuze voor percentage of absolute aantallen is niet eenvoudig: wat heeft een hongerig persoon aan de informatie dat hij een kleiner deel van het geheel is Als reactie op SOFI 2012 schreef een groep wetenschappers onder leiding van Frances Moore Lappé het document ‘Framing Hunger.’ Hierin werd de methodologie van de FAO bekritiseerd en werd onder andere gepleit voor een terugkeer naar absolute aantallen. ‘Terugkeer’ omdat tijdens de World Food Summit in 1996 – waar 186 landen beloofden om de honger te halveren – werd gesproken over absolute aantallen. In de Millenniumdoelen is uiteindelijk overgestapt naar percentages.

Een wereldbeeld vol schijnzekerheden

Gaat het goed met de wereld? Is Africa Rising? Zijn armoede en honger gehalveerd? Het wordt beweerd en het zou waar kunnen zijn, maar de realiteit is dat we er bar weinig over kunnen zeggen. De cijfers zijn vaak onbetrouwbaar, verouderd of bestaan simpelweg niet. Dat betekent niet dat we maar moeten stoppen met het zoeken naar de juiste data. Al had Einstein een punt toen hij zei dat ‘niet alles wat telt te tellen is,’ goede data blijven belangrijk om de situatie in ontwikkelingslanden te verbeteren.

Gelukkig zijn er lichtpuntjes. Er zijn de afgelopen jaren veel verbeteringen geweest op het gebied van dataverzameling. Zo waren er in 1990 armoededata beschikbaar voor slechts 22 landen. Dat aantal is ondertussen toegenomen tot 149. De capaciteit van de statistiekbureaus is de afgelopen jaren verbeterd, mede door investering van internationale organisaties als de Wereldbank. Bovendien hebben nieuwe technologieën – zoals satellieten en mobiele telefoons – het makkelijker gemaakt om goede data te verzamelen.

Ook zijn internationale organisaties steeds duidelijker over de kwaliteit van hun cijfers. Als je de rapporten induikt, kom je veel waarschuwingen tegen. Zo staat er in het rapport van de Millenniumdoelen: ‘Ondanks vooruitgang in de afgelopen jaren, zijn betrouwbare statistieken voor het monitoren van ontwikkeling ontoereikend in veel Origineel citaat: ‘Despite considerable advancements in recent years, reliable statistics for monitoring development remain inadequate in many countries.’

De Wereldbank schrijft: ‘Veel statistische kantoren, voornamelijk die in ontwikkelingslanden, hebben ernstige beperkingen in de benodigde middelen, tijd, training en Origineel citaat: ‘Many statistical offices, especially those in developing countries, face severe limitations in the resources, time, training, and budgets required to produce reliable and comprehensive series of national accounts statistics.’ En de FAO geeft in het rapport uit 2015 toe dat haar hongerindicator is gebaseerd op een ‘beperkte definitie’ en rapporteert daarom een hele rits aan indicatoren om een beter beeld te geven van ondervoeding. Zo meet de organisatie ook het jodiumtekort onder de bevolking en de hoeveelheid onvolgroeide kinderen.

Alleen staan die beperkingen en nuanceringen vaak verstopt in voetnoten en bijlagen. Als het erop aankomt, lijken internationale organisaties de ernst van de situatie te negeren. Dat wordt pijnlijk duidelijk bij het voorstel voor de nieuwe VN-ontwikkelingsdoelen. Zoals het ernaar uitziet, zullen ontwikkelingslanden 169 verschillende indicatoren moeten Lees hier het voorstel voor de nieuwe ontwikkelingsdoelen. meten.

Voor de huidige 48 indicatoren blijkt het al onmogelijk te zijn om goede data te verzamelen. Nog geen 70 procent van de benodigde gegevens is beschikbaar, waarvan de helft bestaat uit schattingen omdat nationale data ontbreken. In de VN-wandelgangen wordt ondertussen driftig gesproken over de Lees hier het VN-rapport over de datarevolutie. ‘datarevolutie.’ Toch staat de verbetering van data tijdens de komende conferentie in Addis Abeba - waar gesproken zal worden over de financiering van de doelen - niet op de Lees hier meer over de conferentie in Addis Abeba. agenda. Het wordt waarschijnlijk behandeld bij een ‘side-event.’

Het lijkt erop dat internationale organisaties doen alsof de hypothetische thermometer prima in orde is en bovendien verwachten dat hij ook nog eens je bloeddruk en hartslag gaat meten. Je kunt het ze niet kwalijk nemen dat data onbetrouwbaar zijn, want het is heel lastig om in ontwikkelingslanden aan kloppende gegevens te komen. Maar laat hen - samen met journalisten en beleidsmakers - eerlijker zijn over de tekortkomingen, in plaats van ons wereldbeeld met meer schijnzekerheden te plaveien.

Wil je op de hoogte blijven van mijn artikelen? Als correspondent Ontcijferen onderzoek ik de wereld van cijfers. In mijn wekelijkse mail houd ik je op de hoogte van mijn verhalen en deel ik het beste wat ik zie, hoor en lees. Een vast onderdeel: #nerdalert, voor de getallenliefhebbers. Schrijf je hier in voor mijn wekelijkse mail

Verder lezen:

Met de hele wereld afspraken maken is een bloedig spel Vier maanden lang interviewden onderzoeksassistent Jan Sluyterman en ik meer dan veertig mensen die betrokken zijn bij de onderhandelingen van de Verenigde Naties over ontwikkelingsdoelen wereldwijd. Alle landen op één lijn krijgen over de toekomst van de aarde, hoe doe je dat? Een reconstructie. Lees hier het artikel terug.

De bijna betekenisloze prognose (bbp) Het is het heiligste getal van onze tijd: het bruto binnenlands product. Groeit het bbp straks met 0,5 procent? Krimpt het met 0,75? De voorspellingen klinken hard en exact, maar in werkelijkheid zeggen ze bijna niks. Lees hier het artikel van Dimitri Tokmetzis terug.

Zo werden banken plots 7 keer zo belangrijk voor onze economie Als het gaat over bankiers en hun bonussen wordt vaak gesteld dat banken zoveel waarde toevoegen aan de economie. Maar is dat zo? Nader bekeken blijkt het vooral een door en door subjectieve (en veel bekritiseerde) keuze van statistici te zijn, die de waarde van banken sinds 1993 bij het bbp optellen. Lees hier het artikel terug van Jesse Frederik

Facebook
Twitter
LinkedIn
Whatsapp
E-mail