Deze ‘hired gun’ laat je voor altijd anders kijken naar data

Econoom Morten Jerven staat op het punt naar Addis Abeba te vliegen als hij wordt gebeld. Het is de VN Economische Commissie voor Afrika, de organisator van het congres waar hij naartoe op weg is. ‘Je hoeft niet meer te komen,’ zegt de stem aan de andere kant van de lijn. ‘De Zuid-Afrikaanse delegatie komt niet meer als jij spreekt.’

Het begon inmiddels een goed gebruik te worden: in mei was een OESO -conferentie waar Jerven was uitgenodigd ook al ‘uitgesteld.’ Wat had Jerven op zijn geweten? Had hij wetenschapsfraude gepleegd? Was hij een racist? Een potloodventer?

Nee. Hij had geprobeerd te laten zien dat de statistiek uit Sub-Saharisch Afrika niet deugt.

Afrikaanse statistieken zijn onbetrouwbaar

Statistici zijn normaal nog saaier dan het testbeeld van je televisie. Maar met het boek Poor Numbers uit 2013 veranderde Morten Jerven de wereld van de Afrikaanse statistische bureaus voor even in een aflevering van Jerry Springer. Pali Lehohla, de baas van het Zuid-Afrikaanse statistische bureau, vond dat Jerven moest worden ‘tegengehouden.’ Zijn Zambiaanse collega noemde de professor een ‘hired gun,’ ingehuurd door het Westen om het Afrikaanse statistische systeem in diskrediet te brengen.

Tegelijkertijd leverde het boek de Noor een plekje op in de Hall of Fame van de ontwikkelingssector. Bill Gates verklaarde Poor Numbers een van de beste boeken van 2013 en het won de titel ‘beste boek van het jaar’ van het gezaghebbende Foreign Affairs Magazine.

Poor Numbers beschrijft hoe economische cijfers – zoals het bruto binnenlands product (bbp) - tot stand komen in Afrika (al spreekt Jerven in zijn boek telkens van Afrika, hij kijkt in feite alleen naar Sub-Saharisch Afrika). Jervens conclusie is vernietigend: Afrikaanse statistieken zijn volstrekt onbetrouwbaar. We weten daardoor veel minder van Afrikaanse landen dan we denken. Krantenkoppen als ‘Vijf van de tien snelst groeiende economieën liggen in Afrika’ of ‘Africa rising’ zijn gebaseerd op een gatenkaas van slechte en missende data. De slechte datakwaliteit werd ook pijnlijk duidelijk toen Nigeria in 2014 zijn bbp herzag en opeens bijna dubbel zo rijk was.

En dat is erg. Voor beter beleid heeft een overheid goede, betrouwbare data nodig. Ook het werk van internationale organisaties - zoals de Verenigde Naties (VN), de Wereldbank en het Internationaal Monetair Fonds (IMF) - staat of valt met goede cijfers. Zij gebruiken data om te beslissen waar hulp naartoe moet, welk land een lening krijgt of welk probleem aangepakt gaat worden.

Om te begrijpen waarom de cijfers slecht zijn, moet je naar de bron van de data: de nationale statistische bureaus. De bureaus in Afrikaanse landen zuchten onder een gebrek aan geld, mankracht en kennis. Jerven schrijft over zijn bezoek aan het Zambiaanse kantoor. Slechts één man was verantwoordelijk voor het produceren van de nationale rekeningen, waarop cijfers van het bbp tot de productiviteitsgroei zijn gebaseerd. ‘Wat als ik er niet meer ben?’ vroeg de man zich hardop af.

In juni publiceerde Jerven zijn nieuwste boek ‘Africa: Why economists get it wrong’, waarin hij wederom het probleem van slechte data aankaart. Ik sprak Jerven over zijn scepsis over de mantra ‘meten is weten’ en vooral over de vraag: hoe kan het beter?

De ontvangst van Poor Numbers

Het is nu zo’n twee jaar na de publicatie van Poor Numbers. Hoe kijk je terug op de heftige ontvangst in Afrikaanse landen?

‘Het is duidelijk dat de ontvangst niet overwegend positief was. Allereerst heb je de statistische bureaus. De directeuren daar waren niet altijd blij. Als ik zeg dat Keniaanse of Zambiaanse cijfers bagger zijn, dan kan dat investeerders afschrikken of op andere manieren hun reputatie schaden.’

‘Soms was de reactie trouwens heel positief. Dan zeiden vertegenwoordigers van de bureaus: ‘Morten Jerven heeft helemaal gelijk. We zijn jarenlang genegeerd, we hebben meer geld nodig.’ Misschien hoopten sommigen geld te krijgen van organisaties zoals de Wereldbank of het IMF.’

Hoe reageerden de Wereldbank en het IMF op je boek? Zij gebruiken immers ook veel van de slechte data in hun rapporten.

‘Ik was verrast door hun positieve reactie. Ergens dacht ik altijd dat die organisaties de tekortkomingen van de data verborgen hielden, maar nu bleek: ze weten zelf vaak ook niet hoe het zit. Bijvoorbeeld: hoeveel procent van het bbp in Burundi bestaat uit belastinginkomsten? Dat is heel lastig te bepalen. Specialisten zijn soms net zo gefrustreerd door slechte data als ik.’

‘Toch interpreteren ze mijn boek anders dan ik zou willen. De reactie van de internationale organisaties was ‘we moeten meer doen, meer geld uitgeven, meer meten.’ En dat terwijl mijn belangrijkste boodschap juist is: er zijn grenzen aan wat we kunnen meten. We moeten ons bewust zijn van de problemen met data en oppassen met het gebruik van cijfers.’

In de ontwikkelingssector wordt nu enthousiast gesproken van een ‘datrevolutie.’ Die revolutie zou deels moeten komen van Big Data. Hoe denk jij hierover?

‘Ik deel dat enthousiasme niet. Al zijn sommige nieuwe technologieën indrukwekkend, Big Data hebben dezelfde problemen als traditionele data. Alsnog worden bepaalde groepen mensen over het hoofd gezien, bijvoorbeeld mensen zonder mobiele telefoon of internet.’

‘Verder zul je altijd traditionele data nodig blijven hebben om te weten of de Big Data accuraat zijn. Ook worden veel van die nieuwe data verzameld door commerciële bedrijven. Die hebben vaak de tandenborstelbenadering: wij delen niet. Tenzij er wordt betaald natuurlijk.’

‘Maar het belangrijkste punt blijft: we kunnen niet alles meten. Ook niet met Big Data. De historische context van een land is bijvoorbeeld niet in getallen te vangen.’

Hoe moet het dan?

Moeten we dan maar helemaal stoppen met meten?

‘Zeker niet, maar we moeten wel af van het idee dat cijfers almachtig zijn. Men denkt dat beslissingen alleen maar geloofwaardig zijn als ze worden genomen op basis van getallen. Maar dat is juist heel arbitrair. Neem mijn werk op de universiteit. Mijn studenten vullen een enquête in waarin ze mij evalueren op een schaal van één tot vijf. Als mijn baas een aanbeveling over mij schrijft, zegt hij: ‘die Jerven is lekker bezig, zijn evaluatie is gestegen van 3,2 naar 3,5.’ Terwijl we allemaal weten dat die informatie heel gemakkelijk te manipuleren is. Ik durf te wedden dat ik de score omhoog kan krijgen als ik de volgende keer Marsen uitdeel aan het eind van mijn college.’

‘Cijfers zijn slechts een communicatiemiddel. Ze vatten informatie op een handige manier samen. Soms is dat prima, maar soms verlies je te veel door die simplificatie. We moeten daarom een betere balans vinden tussen kwalitatieve en kwantitatieve informatie.’

Hoe gaat dat dan in de praktijk?

‘Als we de beperkingen van data echt serieus hadden genomen, zouden veel beslissingen nooit genomen zijn. Neem het IMF. Die organisatie publiceert rapporten die bol staan van de cijfers en beslist op basis daarvan of het geld uitleent aan een land. Maar vaak mist de echte kennis: hoe zit het belastingstelsel van Zambia bijvoorbeeld in elkaar? Juist dat soort feiten zijn belangrijk bij het inschatten van de situatie in een bepaald land.’

‘Daarom zeg ik: leer een land echt goed kennen. Maak bijvoorbeeld een goede analyse van de democratische instituties in plaats van naar de democratie-index van Freedom House te kijken. Die benadering is complexer en niet one-size-fits-all, maar het leidt wel tot betere beslissingen.’

Politieke belangen en perverse prikkels

In je boek pleit je voor het verbeteren van de nationale statistische bureaus. Maar sommige landen zitten helemaal niet te wachten op betere data. Ze willen de situatie bijvoorbeeld beter voorstellen om meer buitenlandse investeringen te krijgen. Zo rapporteert Ethiopië al jarenlang een economische groei van meer dan 10 procent, terwijl experts dit in twijfel trekken. Hoe voorkom je dat politieke belangen cijfers beïnvloeden?

‘Laten we allereerst niet uit het oog verliezen dat officiële cijfers – ook in Noorwegen of Nederland – altijd politiek zijn. Al is het statistische bureau onafhankelijk, dan nog worden er bepaalde beslissingen genomen over welke methodes en formules worden gebruikt.’

‘Natuurlijk ligt de situatie in Ethiopië wel wat anders. Daar wordt het statistische bureau streng gecontroleerd door de overheid. Als de overheid beslist dat het land economisch gaat groeien, dan gebeurt dat ook. Een ander voorbeeld is Argentinië. Daar mag alleen de overheid beslissen hoe hoog de inflatie is. Als statistische bureaus autonoom kunnen werken, voorkom je zulke sterke politieke invloed.’

Zijn data van internationale organisaties beter te vertrouwen dan data van nationale statistische bureaus zelf?

‘Dat is echt een groot misverstand. De Wereldbank en IMF produceren zelf geen data, ze zijn slechts doorgeefluiken. Ze ontvangen data van nationale statistische bureaus. Het is alsof je in de supermarkt een fles met bruine bubbelige vloeistof ziet staan. Dat zou je niet drinken. Maar als iemand er een etiket van Coca Cola op plakt, dan koop je het wel.’

‘Soms vult de Wereldbank de datasets trouwens wel aan met eigen schattingen. Als je data van de website downloadt, is het echter volstrekt onduidelijk welke cijfers van de landen komen en welke door een eerstejaars Wereldbankeconoom zijn geschat. Zo ontstaat de indruk dat we veel weten, terwijl er eigenlijk heel veel onbekend is. Daar zouden internationale organisaties veel duidelijker over moeten zijn.’

Je pleit dus voor een genuanceerder verhaal over data. Maar die nuances kunnen alsnog verloren gaan omdat wetenschappers, journalisten of beleidsmakers een simpel verhaal willen vertellen. ‘De armoede is gestegen, maar zou ook gedaald kunnen zijn’ is niet echt een sexy oneliner.

‘Ik ben sceptisch, want er zijn perverse prikkels in alle beroepsgroepen die je noemt. Het loont om domme dingen te roepen. Degene die zegt ‘ik weet het niet’ wordt niet serieus genomen. Het is heel moeilijk om die prikkels te veranderen, je moet een beroep doen op de integriteit van degenen die met de data aan de slag gaan.’

‘Toch zie ik positieve ontwikkelingen. Tot voor kort was het heel moeilijk iets te publiceren over de problemen met statistische gegevens. Dat is ondertussen heel anders. Kijk maar naar de ontvangst van mijn boek. We praten nu veel meer over data dan vroeger.’

Lees verder: