De bijna betekenisloze prognose (bbp)

Stel je voor dat Rob Trip het achtuurjournaal begint met dit nieuwsitem: ‘De ramingen van het Centraal Planbureau voor de Statistiek zijn wederom voor Prinsjesdag uitgelekt. Het bruto binnenlands product, wat de meeste mensen onterecht zien als de omvang van de economie, zal volgend jaar misschien met een half procent groeien. Maar omdat we rekening moeten houden met onzekerheidsmarges en mogelijke extra schuldgaranties aan het Europese Stabiliteitsfonds, kan het bruto binnenlands product ook met 1,5 procent groeien. Of misschien wel krimpen.’

Dit klinkt niet als nieuws waarmee je het journaal opent. Maar deze formulering is een stuk zuiverder dan de berichten die we meestal horen. Zeker zuiverder dan het bericht waar het achtuurjournaal maandag mee begon: Klaas Knot, directeur van de Nederlandsche Bank, zei ‘het gevoel’ te hebben dat de economie weer aantrekt. De cijfers zouden ‘in die richting’ wijzen.

Zo’n uitspraak is natuurlijk buitengewoon vaag, maar óók de harde rekenaars zitten er eigenlijk altijd naast met het voorspellen van de economische groei. In onderstaande grafiek zie je het verschil tussen de voorspellingen van het bbp door het Centraal Planbureau sinds 1998 en de vaststelling ervan achteraf door het CBS.

De grafiek spreekt voor zich: de ramingen van het CPB zitten er heel vaak minstens 1 procentpunt, bijna net zo vaak 2 procentpunt en soms wel 3, 4 of 5 procentpunt naast. Als je dan bedenkt dat een raming van een 0,5 procent groei in plaats van een 0,5 procent krimp al een wereld van verschil betekent in Den Haag, zijn die foutmarges behoorlijk ontnuchterend. Zoals ook de boodschap van dit verhaal ontnuchterend is: ondanks de enorme inzet van planbureau’s en statistici lukt het nooit de economie echt accuraat te voorspellen. 

Dat komt door de aard van de economie, de beperkingen van technologie, maar vooral omdat we het verkeerde meten. Wie wil snappen waarom het zo moelijk is de economische groei te voorspellen, moet dan ook vooral eerst deze vraag beantwoorden: wát meten we eigenlijk als we het hebben over economische groei?

Een immens belangrijk cijfer

Als we het over economie hebben, hebben we het meestal over het bruto binnenlands product (bbp). Het bbp is de Bob Dylan van de statistiek: haar invloed kan moeilijk overschat worden, maar ze is al lang voorbij haar pensioendatum.

Het bbp is de Bob Dylan van de statistiek: haar invloed kan moeilijk overschat worden, maar ze is al lang voorbij haar pensioendatum.

Het bbp is de waarde van alle goederen, diensten en inkomens die in één jaar in Nederland worden gemaakt, gekocht en verdiend. Het bruto binnenlands product is in de ogen van vrijwel iedereen de economie van een land. Groei is voor de meesten simpelweg de verandering van het bbp over tijd. Is het bbp van 2013 hoger dan dat van 2012, dan is er sprake van groei. Het is daardoor een immens belangrijk cijfer. De politieke discussie over óf er bezuinigd moet worden en zo ja, met hoeveel, heeft het bbp als ankerpunt. De rijksoverheid mag van zichzelf en van Brussel geen begrotingstekort hebben van meer dan 3 procent van het bbp. Ook de houdbaarheid van de staatsschuld wordt voor een belangrijk deel afgemeten aan dit cijfer: als de staatsschuld hoger is dan 60 procent van het bbp, zo is de officiële opvatting van de regering, komt de groei in gevaar. Ministers klampen zich vast aan ieder procentpuntje voorspelde economische groei. De oppositie slijpt zijn messen aan iedere negatieve waarde die het Centraal Planbureau naar buiten brengt. 

Het bbp is een immens complex en arbeidsintensief cijfer om te produceren. Duizenden statistici, econometristen en wiskundigen zijn dagelijks bezig om data uit talloze bronnen te verzamelen, verwerken, wegen en vergelijken om die uiteindelijk in dat ene jaarcijfer onder te brengen. Het Centraal Bureau voor de Statistiek (CBS) doet het voetenwerk, maar ook het Centraal Planbureau (CPB), de Nederlandsche Bank (DNB), wetenschappelijke onderzoekers en de grote financiële instellingen zijn continu aan het rekenen hoe de economie zich zal ontwikkelen.

Het bbp bestaat uit drie belangrijke pijlers. De eerste is de telling van de waarde van alles wat in een jaar wordt geproduceerd in Nederland. De tweede is de waarde van alle bestedingen. En het derde van alles wat wordt verdiend. Per zuil worden honderden, zo niet duizenden databronnen gebruikt: van belastingaangiften tot enquetes, van uitvoerdata tot overheidsbegrotingen, van douaneformulieren tot schattingen van fooien. 

Ieder kwartaal en eenmaal per jaar komen de managers van de verschillende afdelingen van het CBS bijeen voor een zogenoemde ‘check-and-check-again-procedure’. De drie zuilen moeten namelijk ongeveer hetzelfde bedrag opleveren. Verschillen worden weggerekend en wegverklaard.

Maar hoe schiet het cijfer tekort? Volgens Paul Teule is de grootste beperking van het bbp dat het een stroom van geld beschrijft en de jaarlijkse verandering in die stroom meet. ‘Dit is allemaal geld dat van a naar b is gegaan. Maar in deze berekening weet je niet wat je hebt, of wat je nog moet betalen - je bezittingen en schulden. Met de huidige crisis zien we dat dat laatste heel belangrijk is. Het kan lijken alsof je veel hebt verdiend, maar als dat allemaal schulden blijken te zijn, wat is dan de economische waarde?’ 

Teule maakt graag een vergelijking met het brood in de bakkerij. ‘Je zegt niet dat brood de bakkerij is. Het pand, de know how, de machines en ook het brood, dát is de bakkerij. De bakkerij is het vermogen brood te maken. Economie is het vermogen geld te maken. Niet het geld zelf.’

Een cijfer als afspraak

Waarom houden we dan toch vast aan het bbp? Volgens Teule lijkt het bbp een waardenvrij cijfer dat economische welvaart uitdrukt, een koude optelsom van alles wat gemaakt, gekocht en verdiend wordt. Maar in wezen is het bbp niet meer dan een afspraak. Ongeveer ieder decennium komen statistici bij elkaar om de methodologie verder te harmoniseren en te verfijnen. De laatste revisie is van 2001 en beslaat 435 pagina’s met gedetailleerde eisen over wat en hoe er gemeten moet worden. Die harmonisatie is van groot belang. ‘Mijn bbp moet vergelijkbaar zijn met jouw bbp. De afdrachten van Europese lidstaten aan de Unie worden mede bepaald door omvang van het bbp. Dan moet je het wel over hetzelfde hebben.’

Het bbp zoals we dat nu kennen, is in de jaren dertig ontwikkeld door de Amerikaanse econoom Simon Kuznets. Oorlogsplanners hadden betrouwbare informatie nodig over wat de economie kon dragen. Kuznets trok met zijn medewerkers door het land en telde alles wat hij tegenkwam waar geld voor betaald was. De methode is nadien uiteraard gemoderniseerd, maar het wezen van het bbp is hetzelfde: het is en blijft een optelsom. In Nederland was het econoom Jan Tinbergen die het grondwerk deed voor de nationale rekeningen, de macro-economische cijfers van waaruit het bbp wordt gedestilleerd. 

De methoden zijn verder verfijnd. Het CBS heeft steeds meer data tot haar beschikking. Peilingen worden beter. Overheidsdata is gedigitaliseerd en dus sneller beschikbaar. Het CBS kan steeds preciezer het bbp beschrijven. Maar aan het oorspronkelijke probleem, namelijk dat het bbp geen werkelijk accurate beschrijving is van de waarde van een economie, is weinig veranderd.

De crisis

Buiten het feit dat het bbp een matige indicator is voor het omschrijven van echte economische waarde, is ze ook buitengewoon moeilijk te voorspellen. Dat bleek vooral in 2008.

‘De crisis waar we in verkeren wordt vaak gezien als het falen van onze financiële en politieke instituties. Ik ben ervan overtuigd dat de crisis het best gezien kan worden als het falen van ons beoordelingsvermogen - als een catastrofale mislukking van voorspellingen.’ Zo begint de Amerikaanse schrijver en statisticus Nate Silver het eerste hoofdstuk van zijn boek The Signal and the Noise: The Art and Science of Prediction.

De Grote Recessie was niet de eerste recessie die door de meeste economen werd gemist. Silver keek naar alle voorspellingen van het bbp door het Survey of Professional Forecasters, waarin gevestigde economen geregeld hun voorspelling van verschillende indicatoren geven. Ze geven ook altijd een kans aan dat hun voorspelling uitkomt: er is bijvoorbeeld 90 procent kans op een economische groei van 3 tot 4 procent. Sinds 1968, zo becijferde Silver, zaten deze economen er in de helft van de gevallen naast. Daarnaast hadden ze het echte groeicijfer nog geen 10 procent kans gegeven in hun voorspelling. De economen waren niet alleen slechte voorspellers, maar ook overmoedig.

Voorspelling van het verleden

Volgens Silver zijn er drie fundamentele oorzaken dat economen er zo vaak naast zitten. Ten eerste is het binnen de economie erg moeilijk om oorzaak en gevolg te koppelen. Er zijn zoveel economische indicatoren dat er altijd wel relaties worden gevonden. Zo was er gedurende de jaren zeventig, tachtig en negentig een sterk verband tussen wie de Super Bowl in Amerika won en hoe de aandelenmarkt presteerde. Niemand zal hier een causale relatie leggen, maar bij andere indicatoren gebeurt dat vaak wel. Als bedrijfswinsten toenemen, nemen investeringen ook toe, bijvoorbeeld. Doorgaans klopt zo’n koppeling van oorzaak (meer winst) en gevolg (meer investeringen), maar de laatste jaren weer niet als gevolg van de crisis. Als zo’n koppeling wegvalt, kan dat een voorspelling behoorlijk in de war gooien. 

Ten tweede zijn voorspellingsmodellen meestal gebouwd op het verleden. Maar die economie bestaat niet meer. Er zijn veel lastige feedback loops in de economie. Nieuws over een voorspelling leidt tot beleidswijzigingen van de regering die weer tot veranderingen in de economie leiden. De economie verandert continu, of zoals Silver zegt: the economy is a moving target.

Tot slot moeten de voorspellers werken met slechte of incomplete data. Het echte leven laat zich niet in een spreadsheet persen. Veel data zijn voorlopig of schattingen en worden pas later, soms jaren later, na verder onderzoek bijgesteld en definitief gemaakt. Zelfs een belangrijke indicator als het bbp wordt tot drie jaar na dato nog jaarlijks bijgesteld. Er is een continue spanning tussen actuele data en kloppende data. 

Stoere scenario’s

Hoe werkt het voorspellen in de praktijk? Om hier achter te komen, heb ik gesproken met Hans Stegeman, hoofd nationaal onderzoek van de Rabobank. De bank maakt zijn eigen voorspellingen van het bbp en doet dat goed vergeleken met andere instanties. Al zegt Stegeman liever dat iedereen, inclusief de Rabobank, slecht voorspelt.

Hoewel Stegeman de hele dag werkt met waarschijnlijkheden, weet hij in ieder geval een ding zeker: sinds het uitbreken van de crisis is voorspellen een stuk moeilijker geworden. ‘In 2008 deden we heel stoer. We maakten een scenario waarin de economie met een kwart zou krimpen in 2009 (het werd 3,7 procent, DT). We waren gewoon niet gewend dat de wereld zo kon veranderen. Ik heb later geprobeerd om de schok van 2008 in onze modellen te simuleren, maar dat gaat niet.’ Net zoals generaals de oorlog van gisteren uitvechten, voorspellen economen de economie van gisteren. 

De Rabobank gebruikt nog steeds dezelfde modellen, maar wijkt er meer van af. Stegeman gokt dat de helft van het voorspellingswerk uit menselijke inschatting bestaat: voor 2008 deden de machines verreweg het meeste werk. De crisis leidde tot veel discussie onder voorspellers. ‘Iedereen had en heeft veel moeite om zich aan te passen. We hebben geen houvast meer. Vanaf begin jaren tachtig werkten onze modellen vrij aardig. De economie leek toen ook beter voorspelbaar, al zagen we de grote economische groei van eind jaren negentig niet aankomen. In 2009 zag je dat we weer te negatief werden. Je denkt ‘als dit kan, dan kan het ook erger worden.’ 

Daarnaast is ook een gevoelskwestie, zegt Stegeman. ‘Het kan gebeuren dat je in plaats van een bbp-groei van plus een kwart procent een nul neerzet. Dat is niet omdat je een betere raming hebt, maar omdat je een verhaal wilt vertellen. Wij vertellen nu bijvoorbeeld het verhaal dat we verwachten dat het minder slecht gaat met de economie in vergelijking met voorgaande jaren, maar we verwachten niet dat het beter gaat volgend jaar. Dat is een ander verhaal dan het CPB heeft. Die zegt namelijk dat de economie een beetje aantrekt.’ 

Enorme economie

Stegeman maakt zich weinig illusies dat macro-economische voorspellingen, zoals die van het bbp, veel beter worden. ‘Toevallig hebben we onlangs 25 jaar van de voorspellingen van de Rabobank geëvalueerd. Die zijn niet goed. Dat geldt voor iedereen die voorspelt. Het blijft gewoon lastig om zoiets enorms als de economie te voorspellen. In de definitie van het bbp zitten posten die belangrijk, maar nauwelijks te voorspellen zijn.’ 

Betere data en modellen kunnen die problemen met voorspellingen niet opvangen. Misschien dat de kortetermijnvoorspellingen beter worden. Naast economische vooruitgang zijn er ook veel incidenten, zoals slecht weer, die je cijfers verstoren. Het slechte weer van begin dit jaar heeft effect op het bbp doordat er meer gas is verstookt. Het zou al heel mooi zijn als we verder kunnen komen in het voorspellen van omslagpunten.’

Hoe moeten we dan wel over de economie gaan praten? Hoe moet het achtuurjournaal nieuws over de huidige groeiproblemen en bezuinigingen spreken?

Stegeman: ‘"Het lijkt erop dat de economie iets harder groeit, zonder een getal te noemen, maar de biodiversiteit in Nederland is ook toegenomen".’ ‘En,’ voegt hij eraan toe, ‘natuurlijk moet je het hebben over de overheidsbegroting en het tekort, maar dan zo: "De inkomsten van de overheid zijn permanent lager geworden, omdat wij te optimistisch waren over de verdiencapaciteit van de Nederlanders. Daarom moeten we ook iets doen aan de uitgaven. Het probleem zal minder groot worden als onze verdiencapaciteit groeit".’

Maar dat ene getal, of de economie nu 1 procent, of 1,5 procent, is gegroeid, of gekrompen, dat is uiteindelijk totaal niet interessant.

Update 16:58 uur. Ik kreeg het verzoek om de data van de CPB-ramingen openbaar te maken. Bij deze.