Zo voorspel je de winnaar van het WK voetbal (en de rest van de toekomst)

Mary Simpson zag de crisis niet aankomen. Ze was een gepromoveerd econoom en in 2007, tijdens de eerste rommelingen van de financiële crisis, werkte ze als financieel adviseur. Het was haar werk om mensen voor te bereiden op de toekomst.

Maar het was pas toen de bank Lehman Brothers omviel, in september 2008, dat Simpson besefte hoe ernstig de situatie was. Voor Simpsons pensioen was het toen al te laat. Haar geld was verdampt.

Tot zover weinig nieuws. Bijna alle experts hadden gemist dat de financiële markten zouden instorten. Heel veel mensen verloren geld. Maar wat Simpson vervolgens deed, was bijzonder. ‘Ik zou hier toch beter in moeten zijn’, dacht ze. Ze besloot: ik ga leren voorspellen.

Ze schreef zich in voor een wedstrijd waar ze vragen moest beantwoorden over onderwerpen waar ze niets van wist. ‘Zal de president van Oostenrijk blijven zitten?’ ‘Komt er een conflict in de Zuid-Chinese Zee?’

Maar het lukte. Ze werd een van de beste voorspellers van de competitie.

Mary Simpson was een supervoorspeller geworden.

Van chimpansee naar supervoorspeller

De term supervoorspeller komt van hoogleraar Philip Tetlock, die al dertig jaar onderzoek doet naar voorspellen. Onze wereld, stelt hij, hangt aan elkaar van voorspellingen. Verzekeraars schatten in of iemand gaat overlijden, veiligheidsdiensten of er een oorlog uit zal breken en gewone mensen – jij en ik – of het verstandig is om een huis te kopen, met die ene man te trouwen of van baan te veranderen.

Nogal belangrijk, dus, dat die voorspellingen kloppen. Maar Tetlock vond iets verbijsterends: de gemiddelde expert voorspelde niet beter dan een dartende chimpansee. Hij had 300 mensen onderzocht die hun werk hadden gemaakt van voorspellen en zag: ze hadden net zo goed een muntje kunnen opgooien.

Niet vreemd dat Mary Simpson en haar collega-experts de crisis niet zagen aankomen.

De Thomas Friedmans van deze wereld als dartende chimpansees – niet gek dat de media smulden van Tetlocks onderzoek. Maar één ding zagen ze over het hoofd: in het onderzoek was er een klein groepje dat beter voorspelde dan de chimpansee. Het waren geen orakels, dat was zeker, maar ze deden het iets minder waardeloos dan de rest.

Was voorspellen dan toch mogelijk?

De gemiddelde expert voorspelt zo slecht als een dartende chimpansee; een kleine groep vrijwilligers voorspelt consequent veel beter

Tetlock besloot een team van vrijwilligers te verzamelen om te doen aan de grootste voorspelcompetitie ooit, georganiseerd door de Amerikaanse veiligheidsdienst. Dit is de wedstrijd waar Mary Simpson zich voor inschreef nadat haar pensioen in rook was opgegaan.

In jaar één van de competitie bleek al: Tetlocks team deed het beter dan de andere teams. Veel beter. Dat bleef zo in de rest van de wedstrijd. Vier jaar, vijfhonderd vragen en meer dan een miljoen voorspellingen later was het zeker. Tetlock had goud in handen.

Al Tetlocks deelnemers hadden een korte training gedaan en dat had zeker geholpen. Maar echt verbazingwekkend waren de Mary Simpsons. De beste deelnemers voorspelden beter dan veiligheidsambtenaren die toegang hadden tot vertrouwelijke informatie.

Dit waren de supervoorspellers.

Zo word je een supervoorspeller

Deze supervoorspellers waren niet per se superslim, ook hadden ze niet veel verstand van de onderwerpen die langskwamen in de wedstrijd. Hun banen hadden vaak weinig met voorspellen te maken. Er was een filmmaker, een stijldanser, een gepensioneerde computerprogrammeur.

‘Het gaat niet echt om wie ze zijn, maar om wat ze doen’, vertelt Tetlock in Supervoorspellers, het boek dat hij met journalist Dan Gardner schreef over zijn onderzoek. Bijna elke supervoorspeller, zag hij, zette een aantal stappen die iedereen kan leren.

Een supervoorspeller zijn, dat wil ik ook wel. Tijd om te oefenen. Maar eerst, stelt Tetlock, moet ik de juiste vraag kiezen. Niet te gemakkelijk – ‘komt de zon morgen op?’ – maar ook niet te moeilijk – ‘wie is de Nederlandse premier in 2040?’

Ik heb mijn vraag te pakken: welk land wint het WK voetbal? Het toernooi gaat op 14 juni van start in Rusland en op 15 juli zal ik weten of mijn voorspelling klopte.

Ik ga - met behulp van Supervoorspellers - in vijf stappen voorspellen wie de winnaar wordt. Let the games begin.

Stap 1: Ik hak het probleem op in behapbare stukjes

Welke informatie heb ik nodig om mijn voorspelling te doen? Tetlock noemt dit proces ‘fermi-eren’. Hij verwijst hiermee naar de natuurkundige Enrico Fermi, die niet alleen de eerste kernreactor ontwierp, maar ook gek was op lastige puzzels.

‘Hoeveel pianostemmers zijn er in Chicago?’, vroeg Fermi aan zijn studenten. Het internet bestond nog niet, er was geen telefoonboek in de buurt. Maar hoe konden ze die vraag dan beantwoorden? Als je het probleem in kleine stukken hakt, liet Fermi hen zien, dan is het ineens een stuk behapbaarder.

Hoeveel mensen wonen er in Chicago? Hoeveel procent van die mensen heeft een piano? Hoe vaak moet een piano gestemd worden? Hoelang duurt stemmen? Hoeveel uur werkt een pianostemmer per jaar? Door deze vragen te beantwoorden, kwamen Fermi’s studenten ineens tot een redelijke schatting van het aantal pianostemmers.

Ik weet niets van voetbal, van het WK weet ik alleen dat Nederland niet meedoet

Hetzelfde probeer ik te doen voor mijn WK-voorspelling. Welke vragen zou ik moeten beantwoorden? Eerst zou ik een beeld moeten krijgen van de kwaliteit van elk team. Vervolgens zou ik moeten uitzoeken welke teams bij elkaar in de groep zitten, om te weten wie er een grotere kans heeft om door te gaan.

Ik zal het maar meteen toegeven: ik weet niets van voetbal. Van het WK weet ik alleen dat Nederland niet meedoet. Dus – sorry Fermi – ik zal toch moeten gaan googelen. Toch heeft zijn benadering zin. Door eerst te bedenken welke informatie ik nodig heb, heb ik nu een goed game plan voor mijn voorspelling.

Maar voordat ik daaraan begin, moet ik eerst een schatting maken.

Stap 2: Ik bekijk het probleem van buitenaf

Van Tetlock leer ik dat ik moet oppassen voor een psychologische valkuil: het referentie-effect. Als je een schatting maakt, dan laat je vaak meteen je anker neer gebaseerd op de informatie die voorhanden is. Je focust je op een bepaald getal en vanaf daar verschuif je misschien nog een beetje, maar je blijft bijna altijd in de buurt van je anker (daarom heet dit effect ook wel de ‘ankerheuristiek’).

Best handig, dus, dat ik nog niets weet van het WK. Nog even probeer ik alle berichtgeving over het toernooi te vermijden, want het gevaar is dat ik me op een bepaalde uitslag ga focussen. Dus ik wil niet toevallig horen dat de Duitsers toch wel erg tegenvallen dit jaar of dat de Belgen onderschat worden.

(En, sorry mensen, het is voor mijn voorspelling ook goed dat Nederland niet meedoet dit jaar. Als je emotioneel betrokken bent bij een bepaalde uitslag, dan schat je de werkelijkheid minder goed in.)

Ik moet toch ergens beginnen. Hoe kan ik mijn anker verstandig neerslaan? Tetlock komt met een advies van Nobelprijswinnaar Daniel Kahneman: get the outside view, het externe gezichtspunt. Kruip niet meteen de specifieke situatie in, maar kijk breder naar vergelijkbare voorbeelden.

Stel dat je een bedrijf opstart. Je bent heel enthousiast over het idee en je nieuwe collega’s zijn het met je eens: dit gaat een enorm succes worden. Hoe realistisch is die voorspelling? Neem eens een stap terug. Negeer de details over je eigen bedrijf en kijk breder: hoe vaak slaagt een start-up?

Even googelen en je vindt dat zo’n 90 procent van de Nederlandse start-ups klein blijft of zelfs binnen een paar jaar wordt opgedoekt. De echte succesverhalen zoals Blendle en WeTransfer zijn dus zeldzaam. Wil je een realistische voorspelling maken, dan kun je beter bij 10 procent kans op succes beginnen.

Het is dus handig om eerst te kijken hoe vaak iets over het algemeen gebeurt. Wat is het externe gezichtspunt bij mijn WK-voorspelling? Daar kunnen de meningen nog over verschillen. Je kunt helemaal geen kennis gebruiken en zeggen dat elk van de 32 teams 1/32 kans heeft om te winnen.

Maar ik besluit iets meer informatie te gebruiken: hoe vaak heeft elk land het WK gewonnen in het verleden? Op Wikipedia vind ik dat maar 7 van de 32 deelnemende landen ooit een WK-finale hebben gewonnen. Brazilië en Duitsland steken er met kop en schouders boven uit met respectievelijk vijf en vier zeges. Mijn externe gezichtspunt: Brazilië gaat het WK winnen.

Maar van Tetlock moet ik niet zwart-wit denken, maar in kansen. Dus niet: gaat land X het WK winnen? Maar: hoe waarschijnlijk is het dat land X het WK gaat winnen? De overwinning van Brazilië is zeker niet gegarandeerd – geen 100 procent, dus – want Duitsland zit het land op de hielen. Daarom reken ik het aantal WK-overwinningen om in kansen.

Voilà, ik heb mijn externe gezichtspunt en daarmee mijn eerste voorspelling.

Infographic door Jorris Verboon en Leon de Korte

Stap 3: Ik zoek een goede balans tussen de outside en de inside view

Nu is het tijd om kopje-onder te gaan. Ik wil uitzoeken: hoe goed is elk team? Dit ga ik niet aan Johan Derksen en collegae vragen, maar ik besluit puur naar de teamprestaties in het recente verleden te kijken. Experts, immers, kunnen er nog weleens naast zitten.

Na een tijdje zoeken vind ik twee databronnen die handig kunnen zijn. Allereerst, de FIFA-ranglijst. De FIFA berekent op basis van gespeelde interlands een score over de afgelopen vier jaar. Slim: hoe verder de wedstrijd in het verleden ligt, hoe minder zwaar hij mee wordt gerekend.

De tweede bron is de Elo-score. Deze methode komt van ene Dr. Arpad Elo en wordt ook gebruikt bij schaken. Na elke wedstrijd wordt de score aangepast aan de hand van het type wedstrijd, het thuisvoordeel en het netto doelsaldo.

Ik heb geen reden om de ene score beter te vinden dan de ander, dus ik besluit ze allebei te gebruiken. Maar de vraag is: hoe dan? Ik zou een ingewikkeld statistisch model kunnen bouwen met de scores, maar ik vraag me af hoe zinvol dit is.

Volgens Tetlock zijn supervoorspellers goed met cijfers, maar gebruiken ze zelden uitgebreide statistische modellen. Hij beschrijft supervoorspeller Lionel Levine, een wiskundeleraar, die er juist eer aan behaalt om geen wiskunde te gebruiken.

Volgens Tetlock zijn supervoorspellers goed met cijfers, maar gebruiken ze zelden uitgebreide statistische modellen

Daarom besluit ik het gemakkelijker aan te pakken: ik vergelijk mijn eerste voorspelling met de rangschikking van FIFA en Elo. De koplopers zijn in ieder geval bemoedigend: bij FIFA staat Duitsland op één en Brazilië op twee, bij Elo is het precies andersom.

Dan ga ik verder naar de landen die ik 0 procent heb gegeven. Over het algemeen staan die ook laag in ranglijsten, maar met twee uitzonderingen: België en Portugal staan in de top-10 van zowel FIFA als Elo. Uruguay – dat ik 12,5 procent gaf – staat juist bij geen van beide in de top-10.

Ik had al mijn externe gezichtspunt, nu heb ik ook the inside view, het interne gezichtspunt. Ik besluit Uruguay te verlagen tot 0 procent en de punten over België en Portugal te verdelen. En daar is mijn tweede voorspelling.

Dit is natuurlijk allemaal vrij arbitrair. Waarom keek ik alleen naar de top-10? Waarom woog ik de ene score niet zwaarder dan de andere? Had ik Uruguay wel meteen alle kans moeten ontnemen? Zelfs met dezelfde databronnen kun je nog tot verschillende voorspellingen komen.

Supervoorspellers, schrijft Tetlock, hebben een goed gevoel voor hoe ze informatie moeten meewegen. Niet voor niets heeft hij het niet alleen over de wetenschap, maar ook over de kunst van het voorspellen. Want al speelt logica een belangrijke rol, supervoorspellers hebben een indrukwekkende intuïtie als het op voorspellen aankomt.

Ik weet wel zeker dat ik die kunst nog niet onder de knie heb, maar dat is niet erg: supervoorspellers leren ook van hun fouten, zegt Tetlock.

Stap 4: Ik corrigeer niet te veel, maar ook niet te weinig

‘Het bijwerken van je overtuigingen is voor goed voorspellen wat poetsen en flossen zijn voor goede gebitshygiëne’, stelt Tetlock. ‘Het kan saai zijn, af en toe ongemakkelijk, maar op de lange termijn loont het.’

Goede voorspellers, schrijft Tetlock, weten eerder dan de rest van ons welke aanwijzingen nuttig zijn, maar ook welke je niet al te serieus moet nemen. Of het er nou om gaat wie de Mexicaanse verkiezingen gaat winnen of wat de olieprijs gaat worden.

Daarbij zijn ze voorzichtig met het aanpassen van hun voorspellingen, dat doen ze maar in kleine stapjes. Maar soms, als het echt nodig is, nemen ze een grote sprong. Haalt je start-up die ene grote klant binnen, dan is er natuurlijk niets mis mee de succeskans flink te verhogen.

Net heb ik op basis van de FIFA- en Elo-score al een aanpassing gemaakt. Voor mijn gevoel ben ik voorzichtig genoeg geweest, maar laat ik het corrigeren nog eens oefenen bij het beantwoorden van mijn volgende vraag: in welke groep zit elk land?

Op het datajournalistieke platform FiveThirtyEight vind ik een artikel met de kop: ‘Ruslands groep is de gemakkelijkste in de moderne geschiedenis van het wereldkampioenschap.’ Op basis van de Elo-score hebben de auteurs voor elk team de kans berekend dat het doorgaat naar de achtste finales. De kans voor Rusland: 74 procent.

Ik wil deze informatie niet te zwaar laten wegen. Uiteindelijk komt een team altijd wel tegenover een sterke tegenstander te staan. Aan de andere kant kan het vast helpen – psychologisch gezien – als een team de groepsfase doorrolt.

Per groep gaan twee van de vier teams door naar de volgende ronde – puur willekeurig is de kans om de achtste finales te halen dus 50 procent. Ik kijk naar de FiveThirtyEight-kansen die daar ver boven zitten – 75 procent of meer. Dat zijn Brazilië en Duitsland, zoals te verwachten, maar ook Spanje, België en Engeland. Portugal scoort met 62,1 procent het laagst van alle landen die ik bij mijn vorige voorspelling een positieve kans gaf.

Ik besluit 3 procentpunten bij Portugal weg te halen en die over de drie andere landen te verdelen. Toch wil ik ook Rusland een procentpuntje geven – ook om het thuisvoordeel. Dat punt haal ik weg van Argentinië, dat hoog staat in mijn voorspelling maar waar ik tot nu toe weinig van heb gehoord.

Terwijl ik achter mijn spreadsheet vol cijfers en grafieken zit, kijk ik even opzij naar Michiel de Hoog, correspondent Sport. Ik zie dat hij een voetbalwedstrijd aan het kijken is. Grappig, denk ik, ik ben al drie dagen met voetbal bezig en ik heb nog geen seconde van een wedstrijd gezien.

Stap 5: Ik zoek zo veel mogelijk perspectieven

‘De vos weet veel dingen, maar de egel weet één groot ding.’ Dat citaat komt uit een meer dan 2.600 jaar oud Grieks gedicht van de oorlogsdichter Archilochus en wordt vaak aangehaald in de literatuur over voorspellen. Tetlock schrijft erover, maar ook datajournalist Nate Silver gebruikt het beeld in zijn boek The Signal and the Noise.

Veel van de experts die je op tv ziet, zijn egels. Ze volgen één groot idee – Trump kan niks, socialisme is slecht, rechts is de bom – en kunnen daardoor lekker ongenuanceerd zijn. Het maakt leuke tv, maar slechte voorspellingen.

Want supervoorspellers, vond Tetlock in zijn onderzoek, zijn vaak vossen. Ze verzamelen zoveel informatie als ze kunnen, schromen niet om hun voorspelling te veranderen en zijn steeds op zoek naar tegenargumenten voor hun eigen redeneringen. En ze blijven altijd twijfelen.

Vossen verzamelen allerlei perspectieven op hetzelfde probleem door zelf logisch na te denken, maar ook door te luisteren naar anderen

Vossen verzamelen allerlei perspectieven op hetzelfde probleem. Dat doen ze door zelf logisch na te denken en het probleem van alle kanten te bekijken, maar ook door te luisteren naar anderen. Tetlock schrijft over wisdom of the crowd – het fenomeen dat een grote groep met elkaar dicht bij het juiste antwoord kan komen.

En wat is er nu meer wisdom of the crowd dan de gokmarkt? Op het WK wordt volop gewed, zie ik op de website Odds Checker. In een een overzicht van vierentwintig boekingskantoren zie ik dat ook daar Brazilië en Duitsland bovenaan staan. Überhaupt lijkt de top-10 van de bookies erg op die van mij. Van de negen landen die ik een positieve kans heb gegeven, staan er acht in de top-10 van Odds Checker. Rusland hebben ze niet, Kroatië en Uruguay wel.

Als je de betting odds omrekent, zie je dat de bookies Kroatië en Uruguay zo’n 3 procent kans geven om te winnen. Omdat ik weer voorzichtig wil zijn, geef ik ze allebei 1 procent. Ik haal de punten weg bij Engeland, dat ik dezelfde winkans heb gegeven als België en Frankrijk, maar dat bij de bookies lager uitvalt.

Ik verzamel nog wat extra perspectieven op Good Judgment, de website van Tetlock waar mensen nog altijd voorspellingen doen en hun keuzes kunnen toelichten. Er wordt ook een vraag gesteld over de winnaar van het WK. Een opmerking valt me op: @nepeco zegt dat Duitsland de andere top-6-teams zal vermijden tot aan de halve finales. Dat verdient wel wat extra winkans. Ik haal 3 procent weg bij Duitslands grootste concurrent – Brazilië.

En zo kom ik – voorlopig – bij mijn laatste voorspelling: Brazilië en Duitsland op een gedeelde eerste plek, met een winkans van 28 procent.

En nu verder...

Leren voorspellen, schrijft Tetlock, is net als leren fietsen. Soms ga je te ver naar de ene kant, soms naar de andere. En je kunt nog zoveel over natuurkundige wetten en motoriek lezen, als je wil fietsen moet je oefenen, oefenen, oefenen. Alleen zo kun je er gevoel voor krijgen.

Dit was mijn allereerste oefening in voorspellen. Er is vast een hoop op aan te merken. Zoals een goede voorspeller betaamt, blijf ik perspectieven verzamelen. Ik kijk hoe het toernooi zich ontwikkelt, maar ook naar wat jullie te zeggen hebben.

En vraag je je nu af: wat moet ik doen om mijn WK-pool te winnen? Volg dezelfde stappen - hak het probleem in stukjes, vind de outside view, balanceer die met inside informatie, wees voorzichtig met corrigeren en verzamel zo veel mogelijk perspectieven.

Hoe dan precies? Dat houd ik liever voor me. Ik wil immers ook die pool winnen.

De cijfers in dit stuk zijn verzameld op 8 juni jongstleden.

Good Judgment Open Zelf zin gekregen in voorspellen? Ik kan je van harte aanbevelen om zelf een poging te wagen op de website van Good Judgment. Je kunt uit allerlei vragen kiezen en lezen hoe andere voorspellers hun keuze maken. Good Judgment Open Wil je op de hoogte blijven van mijn artikelen? Als correspondent Ontcijferen onderzoek ik de getallenwereld. In mijn wekelijkse mail houd ik je op de hoogte van wat ik schrijf, zie, hoor en lees. Een vast onderdeel: #NerdAlert, voor de getallenliefhebbers. Schrijf je in voor mijn wekelijkse mail