Wie herkent talent beter: de leek, de coach of de wetenschap?

Hoe goed zijn mensen in het beoordelen van andere mensen?

Hoe goed is jouw werkgever in het aannemen van nieuwe mensen, hoe goed zijn docenten in het inschatten van de capaciteiten van leerlingen, hoe goed zijn scouts in het voorspellen van toekomstige prestaties van voetballers?

En wat is eigenlijk ‘goed’? Als nieuwe spelers van een voetbalclub in de helft van de gevallen een basisspeler worden – is dat dan goed? En hoe goed zijn scouts of recruiters vergeleken met leken, of in vergelijking met de spreekwoordelijke pijltjes gooiende chimpansee?

De komende weken en maanden ga ik me vrijwel uitsluitend richten op die thema’s: talentherkenning en talentbeoordeling in de sport en vooral daarbuiten. Hoe goed ga je het doen, hoe goed heb je het gedaan?

De eerste vragen die bij me opkwamen: Wat is er eigenlijk bekend over talentherkenning in de sport? Doen ‘we’ dat eigenlijk een beetje goed? Hebben scouts en coaches daadwerkelijk expertise die de expertise van leken of bovengemiddeld intelligente apen overstijgt?

In de sport is dat in theorie beter te meten en te weten dan in andere sectoren, omdat de uitkomsten netjes meetbaar zijn. Maar wat blijkt: er is eigenlijk niet zoveel over bekend.

Anekdotes over goede en slechte scouts zijn er zat, studies over duidelijke tekortkomingen zijn er ook, maar studies die kijken naar wat beoordelaars (vaak coaches, soms scouts) op moment A vonden van spelers en wat er op moment B van die spelers terecht is gekomen, zijn er nauwelijks.

Laat staan dat die voorspellingen worden vergeleken met de voorspellingen van een relatieve leek.

Een zeldzaam langdurig en betekenisvol onderzoek

Maar er is één studie^* die het goed doet. De Duitse sportwetenschapper en handbalcoach Jörg Schorer had in 2001 het fraaie idee om te checken wie er het beste was in talentherkenning van jonge handbaltalenten: nationale coaches, regionale coaches, een stel simpele fysieke tests of relatieve leken. 

Tijdens een trainingskamp van de nationale handbalselectie van meiden van 12 en 13 jaar, vroeg Schorer aan de bondscoaches welke speelsters ze de hoogste en de laagste kans toedichtten op een carrière als professioneel handballer. Daarnaast nam Schorer enkele tests af bij de speelsters: hoe snel ze waren, hoe precies ze wierpen, hoe snel hun reflexen waren.

Het idee was om de voorspellende waarde van die tests te kunnen vergelijken met de voorspellingen van de coaches. Daarna liet hij video-opnamen van wedstrijden van het trainingskamp zien aan regionale coaches, die eveneens een rangschikking moesten maken van de sportieve toekomst van de speelsters.

Later voegde Schorer twee extra groepen beoordelaars toe: mensen die geen handbal speelden en relatief ervaren handbalspelers en -speelsters. Beide groepen waren dus leken als het gaat om talentherkenning. Zij keken naar dezelfde videobeelden en ook zij maakten een inschatting van wat er van de jeugdspeelsters terecht zou komen.

De opzet lijkt simpel en logisch: je vraagt een aantal groepen mensen op moment X te voorspellen hoe spelers tien jaar later presteren. Je wacht tien jaar, kijkt dan hoe goed de voorspellingen zijn en hoeveel de voorspellingen van elkaar verschillen. Want dat laatste biedt een interessant inzicht: hoe goed zijn experts ten opzichte van leken?

Welke groep bleek het ’t beste te hebben gezien? De coaches van de Duitse handbalbond – de coaches met het meeste prestige. Dat is natuurlijk niet de lekkere tegenintuïtieve uitkomst waar je misschien op hoopte. Maar als je beter kijkt, zoals Schorer en zijn collega’s deden, dan is het dat wel.

De experts bleken maar een klein beetje beter in voorspellen dan de leken

De coaches van de handbalbond – de coaches met het meeste prestige dus – bleken de carrières van de speelsters op het trainingskamp in 79,3 procent van de gevallen correct te beschrijven. Dus: van meer dan driekwart van de speelsters voorspelden ze correct wie er wel en wie er niet een professioneel handballer zou worden. Dat klinkt als een heel behoorlijke score.

Maar dan komt Schorer met de resultaten van de overige groepen, die de score van de nationale coaches in perspectief plaatsen. De coaches van de regionale clubs hadden het in 75,8 procent van de gevallen goed. En de spelers? De spelers hadden 75,8 procent goed, de leken 72,4 procent.

(Interessant detail: als je simpelweg had gezegd dat geen enkele speelster professional zou worden, dan had je een successcore gehad van 75,9 procent.)

Wat moet je hier nu van vinden? Dat de experts het beste voorspellen, is exact wat je zou verwachten, want ze zijn niet voor niets bondscoaches, en dus vermoedelijk bovengemiddeld goed in het herkennen van latere topspelers.

Maar de bondscoaches hadden ook een groot ogenschijnlijk voordeel: ze waren aanwezig op het trainingskamp. Anders dan de regionale coaches en de spelers, die alleen de video te zien kregen, brachten de bondscoaches een week door met de talenten, waardoor ze nog veel meer informatie en zekerheid konden verkrijgen – zou je zeggen.

Misschien is dat ook zo: ze deden het tenslotte enkele procentpunten beter dan de andere beoordelaars. Maar dat is slechts een klein beetje extra winst, terwijl ze beschikten over veel meer informatie. En daar komt nog iets anders bovenop, noteerden Schorer en zijn collega’s: de coaches konden deze meiden na het kamp selecteren, ze trainen, en dus helpen hun eigen voorspellingen waar te maken. Een vrij letterlijke selffulfilling prophecy.^*

‘Het issue is misschien niet dat de prestaties van de goed opgeleide en goed getrainde coaches superieur waren aan de prestaties van de lager opgeleide of minder goed geïnformeerde beoordelaars’, concluderen de onderzoekers, ‘maar dat de verschillen tussen deze groepen beoordelaars zo klein waren.’

Een simpele test zou weleens beter kunnen voorspellen dan de slimste mens

En de fysieke tests dan?

Die waren het beste in het voorspellen van de prestaties. De meiden die na een batterij tests als beste naar voren kwamen, waren doorgaans ook het beste in hun latere carrière: de testbatterij had een trefferquote van 85,2 procent.

Nu is hier een grote maar aan toe te voegen, bovenal dat deze score pas tot stand kwam nadat de speelsters volwassen waren geworden. Achteraf is het natuurlijk makkelijk voorspellen. Of dezelfde metingen correct voorspellen wie een goede speelster gaat worden, moet nog maar blijken.

Maar een interessante gedachte is het wel, schrijven de auteurs. In een latere publicatie, op basis van dezelfde data, concludeerde Schorer iets nog opvallenders: dat de speelsters die simpelweg de meeste acties (passes, schoten, dribbels) maakten met de bal, later de betere speelsters werden – ongeacht of die acties succesvol waren of niet.

Het lijkt gek, dat een kenner die een speelster het spel ziet spelen tot een minder goede voorspelling komt dan een leek die simpelweg acties of eigenschappen turft; en of dat in dit geval opgaat, zal de komende jaren moeten blijken. Meer inzichten uit dit handbalonderzoek zijn onderweg, maar wetenschap vergt tijd.

Misschien zit het wel zo: coaches kunnen sporters naar een hoger niveau coachen, maar de beoordeling van hun potentieel over meerdere jaren is een andere vaardigheid – als het al goed kan. Dit zou in het onderwijs ook zomaar waar kunnen zijn. Zoals twee psychologen jaren geleden eens stelden in een discussie over de rol van een toets en een docent in het bepalen van het schooladvies: de leraar is geen meetinstrument.

Wat is er uiteindelijk meer waard als het gaat om het voorspellen van talent in het onderwijs, op de arbeidsmarkt of in de sport: de ‘holistische’ blik van de deskundige of de toets, of een combinatie? Binnenkort meer.