Duizenden rapporten van honkbalscouts laten zien: talent herkennen is bijna niet te doen

Een journalistiek artikel over een journalistieke productie lijkt misschien wat overdreven, maar The Ringer publiceerde afgelopen week drie stukken over talentherkenning die niet gauw overtroffen zullen worden. Dat komt omdat de site een unieke bron in handen kreeg, en die bron nagenoeg perfect benutte.

Journalist Ben Lindbergh en data-analist Rob Arthur kregen de beschikking over álle rapporten over spelers die de scouts van Major League Baseball-ploeg Cincinnati Reds tussen 1991 en 2003 opstelden: zo’n 73 duizend gedetailleerde profielen van profspelers en jeugdspelers.

Nu denk je misschien: ouwe meuk. Maar zie het even in voetbaltermen: het is alsof je leest wat de scouts van, zeg, Feyenoord zoal vonden van Ruud van Nistelrooij, Robin van Persie, Wesley Sneijder – en van spelers in wie ze een Van Nistelrooij, Van Persie, of Sneijder zagen.

Zo’n dataset is voor een onderzoeker een natte droom

Dat is op zichzelf al rode-oortjes-leesvoer voor liefhebbers. Boeiender nog: het is ook duidelijk hoe goed of slecht die beoordelingen waren. Immers: zelfs de jongste spelers uit de verzameling rapporten zijn nu wel zo’n beetje uitgespeeld en uitgepresteerd. Zo’n bak gegevens is voor een onderzoeker een natte droom.

Enkele conclusies: er bestaat niet zoiets als een meesterscout. Scouten is vreselijk moeilijk, en zelfs de beste scouts hebben het vaker fout dan goed. Een scout die werpers bekeek, maakte het wel heel bont. Hoe slechter hij je vond, hoe meer kans je had op succes in de Major League.

Spectaculair nieuw zijn de inzichten niet, spectaculair gedetailleerd zijn ze wel. De verhalen zeggen iets over het vermogen om prestaties te voorspellen in de sport. Maar ook erbuiten. Want bedenk: als deze werknemers al niet goed kunnen worden beoordeeld, door goedbetaalde scouts, welke werknemers dan wel?

De sterspeler die flopte en de nobody die sterspeler werd

De stukken staan vol met smakelijke voorbeelden van overschatting en onderschatting.

Zo contracteerden de Reds in 1999 Ken Griffey Jr. Griffey was op dat moment een topspeler. Denk aan iemand met de status van Karim Benzema van Real Madrid, of Gonzalo Higuaín van Chelsea: behorend tot de tien beste centrumspitsen ter wereld. (Iedereen met verstand van honkbal en voetbal kan me gerust affakkelen voor deze vergelijking.)

In ruil voor Griffey – toen al 30 jaar oud – stonden de Reds vier spelers af aan Griffeys oude club. Ook ontving Griffey een contract tot 2009, waarin hij meer dan 12 miljoen dollar per jaar ging verdienen. Duur, maar hij was het waard, aldus de scouts. Griffey was simpelweg ‘DE MICHAEL JORDAN VAN HET HONKBAL’, zoals eentje schreef.

Dat klopte welgeteld één seizoen – en daarna stortten Griffeys prestaties in. Niet veel later contracteerden de Reds een speler die precies zou gaan doen wat ze hadden verwacht dat Griffey zou gaan doen – veel punten binnenslaan: ene Joey Votto. Votto zou een van de beste spelers uit de geschiedenis van de Reds worden.

Het was een nagenoeg perfecte omdraaiing van de verwachtingen van de scouts

Maar dit is het grappige: de scouts hadden geen idee. Dat Votto nog bij de Reds speelde, en speelt, was eerder ondanks dan dankzij de oordelen van de scouts. ‘Andere [matige] mentaliteit is waarschijnlijk het resultaat van zijn Canadese achtergrond’, schreef een scout over Votto, bizar genoeg.

Griffey-de-sterspeler^* bleek weinig bij te dragen aan het team. Twee van de spelers die de Reds weggaven om Griffey te krijgen, werden elders topspelers. En Votto-de-nobody-met-zogenaamd-nadelige-Canadese-roots werd^* zesvoudig All Star, in voetbaltermen een international, ook al hadden de Reds het pas door toen hij het deed.

Kortom: opgeteld kwam het neer op een nagenoeg perfecte omdraaiing van de verwachtingen die de scouts van de betrokken spelers hadden.

Empathie met de scouts

Het fraaie aan de stukken van The Ringer is dat het geen lach-de-incompetente-scout-uit-exercitie wordt – al zit dat er wel een beetje in. De stukken laten vooral zien waarom het zo lastig is om te voorspellen. Een manier waarop de auteurs dat doen, is door in gesprek te gaan met de spelers over wie het gaat.

Neem Travis Hafner:^* Hafner was eind jaren negentig uitgebreid geobserveerd door de scouts van de Reds. Van de elf scoutingsrapporten over hem was tien keer het advies: niet kopen. ‘Het enige wapen dat hij heeft is pure kracht, hij kan ons op geen enkele manier helpen’, schreef een scout.

Diezelfde Hafner, die door de scouts van de Reds vrijwel unaniem was afgewezen, die de Major League nooit zou halen, omdat hij niet kon verdedigen en te langzaam was, werd vervolgens een van beste drie slagmannen van zijn generatie. Dat dit gebeurde, was meer ondanks dan dankzij de collectieve wijsheid van het honkbal.

Doorzettingsvermogen, coachbaarheid, en bereidheid om te veranderen – het zijn eigenschappen die lastig te scouten zijn

Want niet alleen de Reds zagen het niet in Hafner zitten, eigenlijk verwachtte geen enkel team dat hij het zou redden. Dat hij uiteindelijk speeltijd kreeg, was niet omdat de clubs het in hem zagen zitten, maar bij gebrek aan beter (in hun ogen). Eenmaal op het veld bleek Hafner een sensatie: hij was als slagman zo goed dat het niet uitmaakte dat hij nauwelijks kon rennen.

Hoe de scouts dit misten? Hafner bleek een zeer flexibele, leergierige speler, die elke kans pakte om ervaren slagmannen te bevragen op hun techniek, en die zich snel kon aanpassen als hij een stapje hogerop mocht spelen.

Doorzettingsvermogen, coachbaarheid, en bereidheid om te veranderen – het zijn eigenschappen die simpelweg lastig te scouten zijn, concluderen de auteurs van The Ringer.

De catcher met het lichaam van God die ving als een sterveling

Hafner was een onderschatte speler die er met een beetje geluk toch kwam. Lindbergh en Arthur spreken ook een overschatte speler: Ben Davis, een catcher die eigenlijk vooral op zijn fysiek werd beoordeeld. Zoals een zwijmelende scout noteerde: ‘Hij heeft het lichaam van God.’

Nu is het hebben van het lichaam van God zeker een pre, maar in een technische sport zoals honkbal is dat veel minder belangrijk dan in, zeg, atletiekdisciplines. Zoals general manager Billy Beane van honkbalploeg Oakland A’s zo memorabel zegt^* in (boek en film) Moneyball: ‘We’re not selling jeans here.’ Oftewel: aan fotomodellen hebben we niks.

Achttien scoutingsrapporten waren unaniem: halen deze man. Het idee van de Reds was dat je een speler met het lichaam van God het spel wel kunt leren. Het bleek een enorme misrekening. Als catcher was hij prima, maar als slagman (wat je ook moet doen) kon hij het niveau nooit aan.

Een pitcher, Jeff Schmidt, had hetzelfde verhaal. Als jonge werper gooide hij snoeiharde ballen, wat de scouts enthousiast maakte. Dat je met alleen een fastball niet in de Major League kon functioneren, omdat je één of twee varianten moest kunnen beheersen, werd niet als groot probleem gezien. Dat zouden ze hem wel leren.

Het gebeurde alleen nooit. Tijd om te leren was er nooit, druk om te winnen was er wel. En dus gooide Schmidt telkens weer die ene worp – de fastball – die hij wél beheerste. Op een hoger niveau bleek dat echter van weinig waarde: een pitcher die slechts één worp in zijn arsenaal heeft, is voorspelbaar en wordt weggeramd.

Wat zegt dit nu over voetbal?

Er zitten tal van andere inzichten in de data van de Reds. Zo bleken scouts gemiddeld licht racistisch: zwarte spelers werden vaker aangeduid als agressief, ongedisciplineerd en onvoorzichtig, en veel minder vaak als hardwerkend en gedisciplineerd.

Ook bleken scouts conservatief. Zelfs de beste slagmannen werden op een schaal van 20 tot 80 zelden boven de 75 ingeschat. De vermoedelijke reden: zeer positief zijn is een risico. Schat je iemand hoog in en hij faalt, dan ben je ‘naïef’. Schat je iemand laag in en hij is een succes, dan ben je ‘kritisch’. (Ook al slaat dat nergens op.)

Het aantal scoutingsrapporten over een speler bleek een betere voorspeller van latere prestaties dan de daadwerkelijke voorspellingen

Leuke andere vondst: het aantal scoutingsrapporten dat een speler had – dus: hoe vaak hij was bekeken – bleek een betere voorspeller van latere prestaties van die speler dan de daadwerkelijke voorspellingen die scouts in die rapporten deden. (In de medische wereld is hetzelfde waar te nemen.)

Al met al is de conclusie: de toekomst voorspellen is lastig, zelfs als je er enorm veel tijd en moeite in steekt. En als dit al voor honkbal het geval is, dan is dat voor voetbal vermoedelijk nog erger. Honkbal is een tragere, goed bestudeerbare sport; een individuele sport vermomd als teamsport.

Voetbal is een stuk dynamischer en complexer. Een goede voetballer lijkt in een matig team een stuk slechter en kan dus ongescout blijven; een goede honkballer valt direct op, want hij is voor zijn prestaties nauwelijks afhankelijk van anderen.

Wat dit voor praktische gevolgen heeft voor scouting? Om bij het honkbal te blijven: in de jaren na de periode waarover de stukken gaan, heeft zich een data-revolutie voltrokken, versneld na de publicatie van Moneyball. Maar scouts zijn niet vervangen door data-analisten, merkt The Ringer op. Ze werken met elkaar. Wat de ‘traditionele’ scouts dan precies bijdragen?

‘Scouts hebben waarde in de marges (...). Ze maken het onderscheid tussen twee spelers met vergelijkbare statistische profielen’, zegt een data-analist en voormalig scout. ‘Waarom zie je meer in deze speler dan in die speler? Je kunt het misschien niet benoemen, maar je ziet misschien iets zonder dat je weet waarom je het ziet.’

Meer lezen?