/dc-useruploads-images/da032b2ebff04eab94570f690ad1a51f.png)
‘Waarom de meeste onderzoeksresultaten niet kloppen.’
Dat klinkt misschien als een ronkende kop bedoeld om zoveel mogelijk clicks te genereren. Maar dit was daadwerkelijk de kop boven een serieus en invloedrijk wetenschappelijk artikel. De auteur: John Ioannidis, een wetenschapper die wetenschappelijk onderzoek doet naar, jawel, wetenschappelijk onderzoek.
Zijn boodschap: de huidige onderzoeksmethoden zorgen ervoor dat een groot deel van het statistische onderzoek verbanden laat zien die er in werkelijkheid niet zijn. En andersom: dat verbanden die er wel zijn, niet worden gevonden.
Kortom, veel onderzoeksresultaten zijn simpelweg onjuist.
Nogal relativerend, dat onderzoek naar onderzoek
Dit klinkt allemaal wat drastisch. Maar Ioannidis is geen wetenschapshatende gek. Integendeel, zijn artikel is anderhalf miljoen keer gelezen, aangehaald in Nature en Science, de belangrijkste wetenschappelijke tijdschriften, en mede door zijn toedoen heeft het meta-onderzoek, het onderzoek naar onderzoek, een grote vlucht gemaakt.
Zulk meta-onderzoek werkt nogal relativerend. Neem publicaties over kanker en voeding. ‘Dagelijkse kop koffie vergroot overlevingskansen bij kanker,’ zo schreef The New York Times een paar weken geleden op basis van kersvers onderzoek. Maar als je alle onderzoeken op één hoop gooit, zoals Ioannidis deed, krijg je een heel ander beeld: koffie veroorzaakt kanker, maar kan het ook voorkomen; wijn is geassocieerd met tumorvorming, maar helpt er ook tegen; melk kan de kans op kanker vergroten, maar ook verkleinen.
‘Is al ons eten dan kankerverwekkend?’ vragen Ioannidis en co-auteur Jonathan Schoenfeld zich af.
En dat geldt niet alleen voor kanker en eten
Ioannidis schrijft vooral over de medische wetenschap, maar zijn conclusies gelden eigenlijk voor ieder vakgebied dat gebruikmaakt van statistische analyse. Zo ook de economie, laat meta-onderzoek daar zien. En de conclusies liegen er niet om. ‘De geloofwaardigheid van de economische literatuur is waarschijnlijk gematigd of zelfs laag,’ schrijft John Ioannidis in een artikel met economisch meta-onderzoeker Hristos Doucouliagos.
Dat is al weleens eerder betoogd. ‘Het enige nut van economische voorspellingen is om astrologie respectabel te doen overkomen,’ schreef de econoom John Kenneth Galbraith eens. De econome Joan Robinson merkte ooit op dat het belangrijkste doel van een economiestudie is dat je minder snel misleid wordt door andere economen.
En dat is precies het doel van mijn nieuwe serie artikelen: de gebreken van economisch onderzoek laten zien. Zodat je minder snel belazerd wordt door economen. Zie het als een zelfverdedigingscursus economie.
De eerste les: economisch onderzoek is bevooroordeelder dan je denkt.
Bevooroordeeld onderzoek
Het is 30 augustus 2015 als twee zenuwachtige studenten in het tv-programma Buitenhof in discussie gaan met economiehoogleraar Pieter Gautier. Het tweetal wil meer diversiteit in het economieonderwijs brengen: meer theorie en filosofie bijvoorbeeld, en meer geschiedenis van het economisch denken.
‘Persoonlijk lijkt me dat geen goed idee,’ zegt Gautier. De economie is wat hem betreft al divers genoeg. Afvalligen willen eigenlijk gewoon pseudowetenschap het curriculum in fietsen, lijkt hij te beweren. ‘Je ziet het ook in andere wetenschappen: bij biologie heb je intelligent design, in de klimaatwetenschappen heb je de klimaatsceptici,’ aldus de professor aan de Vrije Universiteit.
Volgens Gautier staat de economische wetenschap er beter voor dan ooit. ‘We kijken tegenwoordig veel meer naar de data. Nu is zo’n 70 procent van de artikelen in de [economische, JF] toptijdschriften empirisch.’ Economen theoretiseren niet langer in het luchtledige. Ze doen heldere observaties, verzamelen harde feiten, trekken onontkoombare conclusies. Kortom, ze praktiseren de wetenschap zoals de wetenschap bedoeld is. Galileo Galilei wierp ook eerst een kanonskogel van de toren van Pisa voordat hij bedacht dat zware en lichte objecten even snel vallen.
Het klinkt zo mooi. Maar wie de groeiende stapel van meta-economisch onderzoek doorneemt, moet concluderen dat het economisch onderzoek geen belangeloze aangelegenheid is. Publicatie is dikwijls ingegeven door wat economen verwachten te zien.
Meta-onderzoeker Daniel Fanelli becijferde bijvoorbeeld dat in de economische wetenschap maar liefst 88 procent van het onderzoek de hypothese van de auteur bevestigt. De kans dat een onderzoek bevestigt wat de wetenschapper van tevoren wilde aantonen is in de economie maar liefst vijf keer groter dan in de sterrenkunde. Dat blijft niet zonder gevolgen. Meta-onderzoekers laten zien dat onderzoek dat niet strookt met de verwachtingen van economen minder vaak wordt gepubliceerd.
Voorbeeld 1. Onderzoek naar het effect van de prijs op het waterverbruik
Hoe die meta-onderzoekers tot die conclusie komen? Ze nemen al het onderzoek naar een bepaald vraagstuk - bijvoorbeeld de invloed van een prijsverhoging op het waterverbruik - en maken er een puntenwolk van. Daarin zetten ze twee factoren tegen elkaar af: hoe precies is een onderzoek en wat is het gevonden effect?
Laten we zeggen dat in werkelijkheid het waterverbruik met 2,5 procent afneemt als de prijs met 1 procent stijgt. Het ‘ware’ effect is dan gelijk aan -2,5. Hoe preciezer de studie, hoe dichter bij deze waarde zij uitkomt. Onnauwkeurige studies laten juist meer variatie zien: de gevonden effecten kunnen zowel veel hoger als veel lager zijn dan -2,5. Dus: hoe minder nauwkeurig je studie (je hebt bijvoorbeeld weinig waterverbruikers in je steekproef of weinig variatie in de waterprijs) hoe onnauwkeuriger ook het effect dat je vindt. Zelfs als in werkelijkheid een prijsstijging zorgt voor minder waterverbruik, dan nog zullen er puur om statistische redenen onnauwkeurige onderzoeken zijn die ook het tegengestelde effect laten zien.
Als het onderzoek naar ons waterverbruik onbevooroordeeld zou zijn, dan verwacht je eigenlijk een soort omgekeerde trechter te zien. Zoiets dus:
Het slechte nieuws is dat zulke mooie symmetrische trechtergrafieken een zeldzaamheid zijn in de economische wetenschap. Zo ook bij waterverbruik. Het komt zo goed als nooit voor dat iemand een artikel publiceert dat laat zien dat een prijsverhoging het waterverbruik doet toenemen. Tegelijkertijd worden er soms gigantische negatieve effecten gepubliceerd. Wie alle resultaten uit het onderzoek naar waterverbruik in een puntenwolk zet, ziet dan ook dat het onderzoek sterk één kant op neigt. Een waarschijnlijke verklaring: economen zien hun vooroordeel - dat een hogere prijs resulteert in minder verbruik - graag bevestigd worden. Dat leren ze al in hun eerste jaar en een andere uitkomst lijkt dan ook al snel absurd.
Maar wat betekent dit alles concreet?
Stel: er heerst droogte en de autoriteiten willen het waterverbruik met de helft verminderen. Op basis van al het beschikbare onderzoek zouden ze de prijs met 132 procent moeten verhogen. Maar op basis van de nauwkeurigste studies zou zo’n prijsverhoging slechts in 13 procent minder verbruik resulteren. Kortom, door selectieve publicatie wordt de impact van een prijsverhoging met een factor vier overschat.
Voorbeeld 2. Onderzoek naar het minimumloon en de werkgelegenheid
Nu mag waterverbruik in een land als Nederland niet direct iets zijn om de straat voor op te gaan. Maar het probleem van bevooroordeeld economisch onderzoek speelt ook bij vraagstukken waar we ons wel boos over kunnen maken. Neem het minimumloon. Een van de belangrijkste argumenten tégen het verhogen van het minimumloon is dat het de werkgelegenheid doet afnemen. Nieuw personeel inhuren zou te duur worden in verhouding tot wat dit personeel bijdraagt. Daarmee neemt de werkloosheid toe.
De economen Bas Jacobs en Aart Gerritsen schrijven bijvoorbeeld in een column in NRC Handelsblad dat een minimumloonsverhoging ‘leidt tot hogere werkloosheid onder juist die werknemers die het minimumloon had moeten helpen.’ Het Centraal Planbureau (CPB) pleitte onlangs nog voor het ‘minder sterk laten stijgen’ van het minimumloon om zo ‘de vraag van werkgevers naar laagopgeleiden te stimuleren.’
Het CPB, Jacobs en Gerritsen voelen zich niet alleen gesteund door de theoretische tekstboekjes. Ze baseren zich ook op maar liefst 678 schattingen uit tal van onderzoeken, die laten zien dat het minimumloon een niet te verwaarlozen negatief effect heeft op de werkgelegenheid.
Het enige probleem is dat de minimumloonliteratuur ‘vervuild [is] met bevooroordeelde publicaties,’ aldus de meta-onderzoekers Stanley en Doucouliagos. Wanneer hiervoor gecorrigeerd wordt, blijft er ‘weinig tot geen bewijs over voor een negatief verband tussen het minimumloon en de werkgelegenheid.’
Het blijft niet bij deze twee voorbeelden. Stanley stelt op basis van 87 meta-analyses van economische onderzoeksvragen dat er ‘in vrijwel ieder onderzocht economisch onderzoeksgebied sprake is van bevooroordeelde publicatie.’ En zolang er zulke vooroordelen bestaan, kunnen de gebruikelijke methodes van onderzoek volgens hem ‘niet vertellen of er adequate bewijsvoering bestaat voor een economische theorie.’
Wat te doen?
Het zou goed kunnen dat je nu denkt:
‘Wow, dit is ernstig. Kan 90 procent van de economische wetenschap dan de prullenbak in?’
Het antwoord luidt, ben ik bang, ja. Stanley stelt voor om 90 procent van het economisch onderzoek te negeren en alleen naar de meest precieze 10 procent te kijken.
Normaliter geldt in de statistiek: ‘hoe meer data, hoe beter.’ Maar dat geldt enkel voor individuele studies, niet voor overzichtsstudies. Dat zit zo: bij onnauwkeurig onderzoek (met een grote foutmarge) kunnen de resultaten veel extremer zijn.
Een voorbeeld. Je zoekt een verband tussen chiazaadconsumptie en baardgroei. Als je een steekproef van slechts honderd hippe jongelui uit Amsterdam neemt, kan het best zo zijn dat je een enorm effect vindt. Zeker als je ook nog bevooroordeeld bent. Oftewel, je bent vastberaden om net zo lang te zoeken in de data totdat je een groot effect vindt van chiazaad op baardgroei.
Maar als je steekproef veel groter is (zeg, tienduizend willekeurig gekozen mensen uit het hele land), dan is het zo goed als onmogelijk dat je een groot verband vindt waar dat in werkelijkheid niet bestaat. Zelfs als je bevooroordeeld bent, dan nóg zullen de resultaten veel minder extreem zijn als je onderzoek omvangrijker en preciezer is. Onderzoek selecteren op precisie is daarom een ruwe, maar effectieve manier om de effecten van bevooroordeeld onderzoek te filteren.
Een ander voorstel is om precies te doen wat de twee zenuwachtige economiestudenten voorstelden in Buitenhof: meer conflicterende theorieën, filosofie en geschiedenis de economische wetenschap binnenlaten. Zoals Doucouliagos en Stanley laten zien kan ‘de meeste variatie in selectieve publicatie worden verklaard door de aan- of afwezigheid van een betwiste theorie.’ Hoe groter de meningsverschillen tussen de economen, hoe beter de economische wetenschap.
Een mooi voorbeeld hiervan is het onderzoek naar vakbonden. Economen hebben nogal verschillende ideeën over de voor- en nadelen van werknemers die zich organiseren. Wordt een economie er productiever van, of juist niet? Het economisch onderzoek gaat beide kanten op. De vakbondsliteratuur lijkt dan ook aardig op het ideaalbeeld van de omgekeerde trechter.
Zo komen we bij misschien wel de belangrijkste conclusie van het meta-onderzoek: wantrouw alles waar economen het over eens zijn. Juist de ‘feiten’ waar eensgezindheid over bestaat, zijn - in de woorden van Stanley - ‘het meest overdreven en het minst accuraat.’
De studenten in Buitenhof hadden dus groot gelijk. Als economen meer theoretische benaderingen en dus meer meningsverschillen toelaten in hun vakgebied, dan zullen ook hun ‘harde cijfers’ een stuk betrouwbaarder worden. Het is hoopgevend dat de nieuwe generatie economiestudenten dit wel doorheeft.
Waarom we veel minder weten van ontwikkelingslanden dan we denken
Afrika telt maar liefst vijf van de tien snelst groeiende economieën. En de afgelopen 25 jaar is het percentage arme en ondervoede mensen gehalveerd. Het lijkt goed te gaan met de wereld, maar klopt dit positieve beeld wel? Gastcorrespondent Sanne Blauw duikt in de data en stelt vast: we weten bar weinig van de situatie in ontwikkelingslanden.
Economen zien door hun economenbril de realiteit niet meer
Veel theorieën die economen aangeleerd krijgen tijdens hun opleiding, zijn gebaseerd op allerlei aannamen die in de praktijk helemaal niet blijken op te gaan. Een groep studenten is dat nu beu: ‘De echte wereld moet terug in de klas’, vinden zij. Ze hebben volledig gelijk.
Dit verhaal heb je gratis gelezen, maar het maken van dit verhaal kost tijd en geld. Steun ons en maak meer verhalen mogelijk voorbij de waan van de dag.
Al vanaf het begin worden we gefinancierd door onze leden en zijn we volledig advertentievrij en onafhankelijk. We maken diepgravende, verbindende en optimistische verhalen die inzicht geven in hoe de wereld werkt. Zodat je niet alleen begrijpt wat er gebeurt, maar ook waarom het gebeurt.
Juist nu in tijden van toenemende onzekerheid en wantrouwen is er grote behoefte aan verhalen die voorbij de waan van de dag gaan. Verhalen die verdieping en verbinding brengen. Verhalen niet gericht op het sensationele, maar op het fundamentele. Dankzij onze leden kunnen wij verhalen blijven maken voor zoveel mogelijk mensen. Word ook lid!
