Ranking, de farce

Minister Bussemaker (Onderwijs, PvdA) glimlachte tevreden. ‘Times Higher Education bevestigt dat het Nederlands hoger onderwijs tot de wereldtop behoort. Dat is niet eenmalig of toevallig, Nederland staat daar al jaren.’ Om de zoveel tijd verschijnt er weer een universitair ranglijstje, waarna de persberichten de deur uitvliegen en het personeel een e-mail ontvangt van de PR-afdeling. 

Met steeds dezelfde boodschap: we doen het geweldig.

Nederland is een van de weinige landen waar vrijwel alle universiteiten de top-500 halen. Natuurlijk, de echte top is voorbehouden aan de steenrijke Amerikaanse en Engelse universiteiten, zoals Harvard en Oxford. Maar bedenk: wereldwijd zijn er maar liefst 17.000 universiteiten. Een notering bij de beste vijfhonderd lijkt dus al heel wat. 

Universiteiten rangschikken doen we nog niet zo lang. Het meest invloedrijke lijstje, de zogenoemde ‘Shanghai Ranking’, is nog maar tien jaar oud. De aanvankelijke doelstelling was bescheiden: Chinese studenten adviseren bij hun buitenlandse studiekeuze. Andere lijstjes volgden snel: de Times Higher Education Ranking in 2004, de Performance Ranking of Scientific Papers in 2007, de Leiden Top-500 in 2010 - en zo zijn er nog een handvol. 

De hamvraag luidt: wat meten ze?

Aantallen. Veel aantallen. Denk aan: publicaties, citaties, prijzen, geldstromen, onderzoekers en diploma’s. Soms wordt ook de studenttevredenheid of de reputatie van de universiteit meegerekend. De Times Higher Education Ranking en de QS World University Ranking kijken naar meer: citatiescores, de student/staf-ratio, geldstromen vanuit de industrie, de reputatie van de universiteit en de ‘kwaliteit’ van het onderwijs. De Shanghai Ranking focust op onderzoek en kijkt naar (Nobel)prijzen, citatiescores en publicaties in prominente wetenschappelijke tijdschriften als Nature en Science. De Performance Ranking of Scientific Papers kijkt naar het aantal artikelen en citaties. De Leiden Top-500 heeft een nog kleinere focus en kijkt naar - hou je vast - artikelen en recensies die in Engelstalige tijdschriften zijn verschenen in de Web of Science database van Thomson Reuters en dan alleen tussen 2008 en 2011. 

Kwaliteit = kwantiteit

Een ding is zeker: in kwantitatief opzicht gaat het prima met het Nederlandse onderzoek.

Als je kijkt naar het aantal publicaties per duizend inwoners staat Nederland op de vijfde plaats van de wereld. Per duizend onderzoekers staan we op de tweede plek. Nederlandse onderzoekers zijn bijna twee keer zo productief als hun Deense en Duitse collega’s. Het aantal publicaties neemt dan ook gestaag toe (met één derde sinds 2000).

Maar hoe zit het met de kwaliteit van al dat onderzoek? Wie op de website van de VSNU (Vereniging van Universiteiten) op het tabblad ‘onderzoekskwaliteit’ klikt, krijgt een verhaal over ‘citatie-impact’: hoe vaak Nederlandse publicaties worden geciteerd. Kwantiteit dus. Wat blijkt: ‘de gebiedsgenormeerde citatie-impactscore’ van Nederland is 40 procent hoger dan het wereldgemiddelde, waarmee Nederland op de derde plaats achter Zwitserland en Denemarken staat. Een stuk dat veel geciteerd wordt, geldt hier dus als ‘kwalitatief’.

Maar er zijn talloze ‘weapons of mass citation’. Schrijf een briljant stuk waar niemand omheen kan, is er één. Maar ook: schrijf een mediageniek stuk dat flink de aandacht trekt. Schrijf een extreem slecht stuk, waar andere wetenschappers naar verwijzen als voorbeeld van hoe het niet moet. Schrijf in een vakgebied waar veel geciteerd wordt (liever psychologie dan cultural studies). Wissel artikelen uit met collega’s – ‘ik zet jouw naam boven mijn stuk, mag ik dan boven het jouwe?’ Schrijf een artikel, vooral geen boek. En schrijf veel - de kans dat je stuk onopgemerkt blijft is namelijk vrij groot. Naar schatting wordt 90 procent van alle wetenschappelijke publicaties nooit geciteerd.

En 50 procent nooit gelezen.

Eén veelschrijver kan het verschil maken voor een hele universiteit. Zo behaalde de Universiteit van Alexandrië de 147ste plek door een Egyptische ingenieur die 320 artikelen had gepubliceerd

Eén veelschrijver kan het verschil maken voor een hele universiteit. Zo behaalde de Universiteit van Alexandrië de 147ste plek in de Times Higher Education Ranking van 2010 - boven de universiteiten van Delft, Rotterdam, Amsterdam en Groningen. Ene Mohamed El Naschie, een Egyptische ingenieur die 320 artikelen had gepubliceerd in een tijdschrift waar hij zelf redacteur was, bleek de grote weldoener. 

Excellent onderwijs

Als het over de kwaliteit van het onderwijs gaat, maken de rankings het nog bonter. Volgens minister Bussemaker behoort ons universitaire onderwijs tot de wereldtop. Ze baseert zich op de Times Higher Education Ranking. In dat lijstje doen we het inderdaad goed, maar niet dankzij de factor ‘teaching’ (die 30 procent van de eindscore bepaalt). Nederlandse universiteiten behalen hier tussen de 30 en 40 (van de 100) punten. ‘Ronduit beroerd,’ oordeelde NRC Handelsblad.

Maar het wordt nog erger, want wat is ‘teaching’? In de bijsluiter lezen we dat een universiteit onderwijspunten scoort met een goede staf-student-ratio, meer promovendi, meer masterstudenten, meer geld en een betere reputatie onder wetenschappers. 

Dat zijn bizarre indicatoren.

Meer geld kan ook meer geld voor onderzoek, gebouwen of overhead betekenen. Meer promovendi kan ontaarden in een ‘ promovendifabriek’, waar jonge onderzoekers zo goedkoop mogelijk onderzoek verrichten. Helemaal bizar is dat Nederlandse universiteiten extra punten voor hun onderwijs krijgen omdat ze in de afgelopen jaren meer diploma’s zijn gaan produceren. Terwijl het aantal docenten sinds 1998 min of meer gelijk bleef, het aantal studenten explodeerde (plus 53 procent), die studenten met 31 uur studie per week tot de luiste van Europa behoren, werd er toch steeds sneller gestudeerd (van het cohort dat in 2002/2003 begon, had 42 procent na vier jaar een diploma; van de groep uit 2008/2009 was dat al 57 procent). 

Eén woord, vijftien letters: diploma-inflatie. In de Times Higher Education Ranking wordt het beloond met een hogere score voor onderwijs.

Ook een goede staf-student-verhouding zegt weinig over de kwaliteit van het onderwijs. Het aantal onderzoekers wordt immers meegeteld. In Nederland kwamen er in de afgelopen dertien jaar 5.000 fte’s voor onderzoek bij, terwijl het aantal fte’s voor onderwijs relatief afnam. Het zal de rankings een worst wezen.

En wat reputatie betreft: waar zouden professoren, ondernemers en studenten hun mening op baseren, als ze gevraagd wordt welke universiteit ze het beste vinden? 

Precies: op de rankings.

Een aantal Amerikaanse hoogleraren werd eens gevraagd tien rechtenfaculteiten op volgorde te zetten van goed naar slecht. De rechtenfaculteit van Penn State University kwam bovenaan - deze universiteit deed het immers prima in de lijstjes. Enige probleem: Penn State had geen rechtenfaculteit. 

Erger dan nutteloos

Zo vormen de ranglijstjes een selffulfilling prophecy. Als je goed scoort in de Shanghai Ranking, dan gaat je reputatie in de Times Higher Education Ranking ook omhoog. Subsidieverstrekkers zullen meer geneigd zijn geld te geven aan wetenschappers van de ‘beste’ universiteiten. En meten op reputatie maakt het investeren in marketing wel heel aantrekkelijk. Is het toevallig dat het aantal PR-medewerkers aan Nederlandse universiteiten tussen 2005 en 2010 met 34 procent toenam?

De bestuurders van universiteiten zijn nogal dubbelhartig over de rankings. Bert van der Zwaan, rector van de Universiteit Utrecht, uitte onlangs nog zijn ongenoegen tegenover het lokale universiteitsblad. ‘Geloof ik in die rankings? Nee. Zeggen die rankings iets? Nee. Moeten wij er aan meewerken? Nee, wij werken er niet aan mee. Ze worden buiten onze medewerking gemaakt.’ 

Maar toen de interviewer opmerkte dat het personeel net weer een vrolijk mailtje had gekregen omdat Utrecht volgens de Shanghai-ranglijst de beste universiteit van Nederland is, krabbelde de rector iets terug. ‘Klopt, daar zit een dubbelheid in. Maar als een ranking iets zegt over kwaliteit, dan kan je er wel blij mee zijn. (...) Beoordelen alle rankings op kwaliteit? Nee. Die beoordelen vaak op onzin. Vind ik het fijn als we hoog staan? Ja, als het staat voor kwaliteit.’

Let op het woordje ‘als’.  

De opmars van de ranglijstjes zou niet zo erg zijn als ze de werkelijkheid alleen maar verkeerd weergeven. Maar ze zijn erger dan nutteloos: rankings sturen het beleid. Zo proberen we in Nederland ‘buitenlands toptalent’ aan te trekken dat een opleiding heeft afgerond aan één van de 200 ‘beste’ universiteiten ter wereld. Alexandrië hoorde daarbij in 2010, met dank aan Mohamed El Naschie. Maar als Tilburg in het buitenland zou liggen, zouden diens kennismigranten geen kans maken bij de Immigratie en Naturalisatiedienst. 

Rankings zorgen ervoor dat universiteiten meer gaan investeren in onderzoek en marketing (goed voor de citatie- en reputatiescores), en minder in onderwijs. Ze maken fusies aantrekkelijker, want de lijstjes baseren zich voor een groot deel op absolute cijfers. Twee keer zoveel Nobelprijswinnaars betekent twee keer zoveel punten in de Shanghai Ranking, hoe groot je universiteit ook is.

Overigens zijn de Vrije Universiteit en de Universiteit van Amsterdam al druk bezig met een fusie. Ook de universiteiten van Leiden, Rotterdam en Delft (de Nederlandse nummer één, twee en drie van de Times Higher Education Ranking) denken erover na. Volgens de logica van de rankings zouden al onze universiteiten moeten samengaan - dan hebben we in één klap ons Harvard aan de Rijn. 

Waarom rankings belangrijk zijn

Stel je eens voor: een ranglijst voor excellente Nederlanders. Ik dacht aan de volgende criteria: 

1. Het aantal gelezen boeken (20 procent).

2. Het aantal berichten over deze persoon op Twitter en Facebook (15 procent). 

3. Het inkomen (15 procent).

4. Het aantal geschreven woorden per dag (25 procent). 

5. De reputatie onder landgenoten (15 procent).

6. De lengte in centimeters (10 procent).

Albert Verlinde zou goed scoren denk ik. Geert Wilders ook, net als Alexander Rinnooy Kan en Doutzen Kroes. Het lijstje zou, kortom, nergens op slaan. In de eerste plaats omdat het kwantiteit in plaats van kwaliteit meet. In de tweede plaats omdat het totaal verschillende indicatoren bij elkaar optelt die multi-interpretabel en door en door subjectief zijn. En in de derde plaats omdat het volstrekt niet duidelijk is waar de verschillende wegingen (10 procent, 25 procent) vandaan komen. 

Toch is dit de manier waarop universitaire ranglijstjes tot stand komen. 

De vraag wat een goede universiteit is, is uiteindelijk door en door politiek van aard. Universiteiten zijn extreem complexe organisaties met talloze doelstellingen, die stuk voor stuk moeten worden afgewogen. Dat is moeilijk, en juist daarom zijn de rankings zo verleidelijk. ‘We moeten af van alleen die cijfers’, zei minister Bussemaker onlangs nog in Buitenhof, terwijl ze een paar minuten eerder nog stelde dat we het heel goed doen wat onderwijs en onderzoek betreft (‘zeker als je het vergelijkt met vergelijkbare landen’). Sibrand Poppema, de baas van de Universiteit van Groningen vatte het dilemma eens treffend samen: 

‘Ranglijsten zijn alleen belangrijk omdat iedereen ze belangrijk vindt.’