De Franse filosoof en theoloog Antoine Arnauld (1612-1694) wijdde grote delen van zijn werkende aan het schrijven van lange brieven aan andere filosofen over het dualisme van lichaam en geest van René Descartes.

Dat werd na verloop van tijd natuurlijk een tikkie vermoeiend. Ter ontspanning schreef Arnauld soms over praktischer zaken, zoals de stupide manieren waarop mensen over andere mensen oordelen. (Soms, als hij uit zijn denkgrot kwam, ontmoette Arnauld andere mensen.)

‘Een bekende maar zelden voorkomende fout is de evaluatie van een handeling in het licht van de uitkomst van die handeling’, schreef hij in La logique, ou l’art de penser, ‘Een persoon die gezien de voorzienbare omstandigheden verstandig handelde, wordt veroordeeld voor de ellende die ontstond door toeval, kwaadaardige tegenwerking of onvoorzienbare omstandigheden.’

Onkarakteristiek snel kwam Arnauld tot zijn conclusie: ‘De mens wil even gelukkig als wijs zijn, maar blijkt niet in staat het verschil te kunnen zien tussen geluk en wijsheid, of pech en schuld. We zijn buitengewoon vindingrijk in het “ontdekken” van de karakterfout die volgens ons iemands ellende verklaart.’

Het beest krijgt twee namen: hindsight bias en outcome bias

Arnauld wist: gebrekkig menselijk denken breekt carrières en reputaties. Ruim 300 jaar later krijgt het verschijnsel dat hij beschrijft een naam. Twee namen zelfs: hindsight bias en outcome bias.

De psycholoog Baruch Fischhoff toonde in een serie experimenten (1975) aan dat mensen die de uitkomst van een bepaald proces kenden – een voetbalwedstrijd; een aanslag; een verkiezingsnederlaag etc. – die uitkomst veel voorspelbaarder vonden dan mensen die de uitkomst niet kenden. Hindsight bias, noemde hij dit

Klassiek radiologen die een foto van een patiënt bekijken terwijl ze weten dat de patiënt bijvoorbeeld een tumor heeft, zien die tumor vrij vaak op de foto. Vertel je het ze niet, dan missen ze de tumor (veel vaker).

Jon Baron en John Hershey – eveneens psychologen – proefpersonen over de slagingskans van een bepaalde operatie. Als de patiënt overleed, waren ze veel negatiever over de beslissing om te opereren dan wanneer de patiënt overleefde. Dat is outcome bias: als je een handeling alleen beoordeelt op het resultaat.

Waarom outcome bias gevaarlijk is? Als je met 100 kilometer per uur door een woonwijk scheurt, niemand doodgaat, en je nog net voor sluitingstijd de Albert Heijn binnenglipt, dan raad ik je niet aan te concluderen dat het een goed idee was.

Deze twee vertekeningen – minder chic samengevat als ‘wijsheid achteraf’ – klinken als geinige vondsten. Ziedaar de domme mens. Maar de consequenties zijn serieus. Rechters die strafbaarheid moeten bepalen, onderzoekscommissies die de oorzaak van een ramp onderzoeken, artsen die in een tuchtzaak een vakgenoot evalueren, toezichthouders, het wijsheid-achteraf-monster ligt op de loer.

Het wijsheid-achteraf-monster ligt op de loer

Houden zij afdoende rekening met de biases? Mensen die het kunnen weten, daaraan. En het risico is groter dan alleen dat ene verkeerde oordeel. Nieuw beleid wordt gemaakt op basis van een verkeerde conclusie. Zoals Fischhoff schrijft: ‘[H]et gebrek aan besef [van hindsight bias] kan iemands vermogen om te oordelen of om te leren uit het verleden ernstig beperken.’

Hoe vaak dit gebeurt, hoe groot het probleem is, dat is nauwelijks te zeggen. Je kunt moeilijk het werk van alle rechters en tuchtcommissies overdoen. Maar je kunt wel vaststellen of er reden is voor serieuze zorgen.

Enter: Koning Voetbal.

Wetenschap ❤️ sport

Elf jaar geleden kregen Lionel Page en Romain Gauriot een stapel tennisdata in handen. Ze verzonnen daar een vraag bij die alleen bij economen zou opkomen: wat gebeurt er nadat een tennisser een punt wint met een ‘winner’ – een winnende slag – die net op de lijn was? Wint hij/zij dan het punt vaker dan wanneer een speler een identieke bal net uitslaat?

Dat bleek het geval. spelers halen vertrouwen uit een toevallige uitkomst. Zelfde proces, andere uitkomst, ander vervolg. Een paar jaar later kwamen ze op een vergelijkbaar idee. Stel, een voetballer scoort een doelpunt via de binnenkant van de paal: krijgt die dan meer speeltijd van zijn trainer en meer waardering van de pers, dan een speler die de paal raakt maar net niet scoort?

Dat een speler vertrouwen put uit een doelpunt, al dan niet gelukkig gescoord, net zoals de tennissers: soit. Maar zouden trainers daar ook bevattelijk voor zijn? Mensen wier baan afhangt van slechts enkele verliespartijen? En iemand die dus alle belang heeft om niet de mazzelende, maar de goede spits op te stellen?

Page en Gauriot keken naar enkele duizenden schoten op paal of lat, en vergeleken steeds de twee schoten die het meest op elkaar leken qua afstand en hoek van de goal. Een boel rekenwerk later publiceerden ze hun resultaten in Fooled by Performance Randomness: Over-Rewarding Luck. Ja, trainers stellen spelers vaker op. Afhankelijk van het belang van het doelpunt leverde het de maker tot meer dan 5 minuten extra speeltijd op.

Natuurlijk: dit zijn gemiddelden. Niet alle trainers doen dit; niet alle spelers profiteren. Meestal betrof het een reservespeler die een basisplaats kreeg en dan 45 of 90 minuten ‘extra’ speelminuten kreeg. Soms viel zo’n reservespeler iets eerder in dan gebruikelijk – zeg, in minuut 60 in plaats van minuut 75.

Hoe dan ook: als collectief zijn trainers voor outcome bias.

YouTube
In enkele afleveringen van South Park figureert de superheld Captain Hindsight, die na een ramp feilloos weet hoe die voorkomen had kunnen worden.

Als voetbaltrainers het doen, doet iedereen het

Wat dit betekent voor de grootte van het probleem van outcome bias buiten het voetbal? Page en Gauriot zijn er expliciet in. Als outcome bias zich voordoet in het professionele voetbal, ‘dan is deze bias zeer waarschijnlijk wijdverspreid en van invloed op subjectieve prestatie-evaluaties in organisaties.’

Hoe ze daarbij komen? In het laboratorium [van psychologen zoals Fischhoff, MdH] – waar proefpersonen fictieve scenario’s te verwerken krijgen – staat er weinig op het spel, zegt Page via Skype. De resultaten van die experimenten, hoe helder ze ook zijn, hebben een beperkte zeggingskracht.

‘Maar [de voetbaldata] zijn real life. Dit gaat om prestaties waar het om veel geld gaat. Onder hoge druk. En [voetbal] is snelle natuurlijke selectie: als je faalt, word je ontslagen. Deze mensen hebben dus alle belang bij het nemen van de juiste beslissing. En toch belonen ze spelers met geluk te veel.’

Bovendien: het voetbal is een werkomgeving waar oorzaak en gevolg relatief helder te scheiden zijn. Alles wat werknemers doen, kun je zien. (Zoals met de schoten op de paal.) In situaties waar het werkproces veel ondoorgrondelijker is dan op het voetbalveld – zeg maar: overal – is de kans dat de uitkomst het oordeel kleurt (=outcome bias) veel groter.

Kortom: wijsheid achteraf is overal. De vraag die ik ga onderzoeken, is wat je eraan kunt doen. Ofwel: hoe hebben officieren van justitie, rechters, onderzoekscommissies en tuchtcolleges zich gewapend tegen outcome bias en hindsight bias – en hoe niet? De kennis ligt er, maar wordt die ook gebruikt?

Ik heb al redelijk wat bronnen en ben al met deskundigen in contact. Een paar jaar geleden ik wat analisten in het voetbal proberen te doen om outcome bias tegen te gaan. Maar ik ben benieuwd naar ervaringen of ideeën uit andere terreinen. Laat ze achter in de bijdragesectie, of stuur me een mail.

Meer lezen?

Hoe deze basketbalbaas de vergadering op je werk kan verbeteren Een van de technieken die in een outcome bias-vrije procedure moet garanderen, is om experts onafhankelijk van elkaar een zaak te laten herbeoordelen. Je wilt ‘groupthink’ of ideeënbesmetting voorkomen. Het belang van onafhankelijke, diverse meningen kent ook het NBA-team Houston Rockets. Lees het artikel over groupthink en Daryl Morey hier terug