Als het om onderwijs gaat, hebben veel onderzoeken ‘een hoog prutsgehalte’. Hoe kan het beter?

‘Het kwaad is al geschied. Sjongejonge op basis van 1 Keniaanse studie,’ tweette de socioloog Herman van de Werfhorst maandag 20 juni tijdens het NOS-journaal. De NOS bracht die avond het nieuws dat basisschoolkinderen gebaat zijn bij klassen met leerlingen van gelijk niveau. Wat de NOS er niet bij vertelde, was dat het Centraal Planbureau (CPB) die conclusie had getrokken op basis van één Keniaanse studie. Een van de bevindingen van de onderzoekers was dat het experiment ertoe bijdroeg dat docenten vaker daadwerkelijk in de klas te vinden waren. Niet zo vreemd dat dat leerwinst oplevert.

Het was slechts één van de vierhonderd maatregelen die het CPB onderzocht, en waarover het die dag de literatuurstudie Kansrijk Onderwijsbeleid presenteerde. Een studie die sterk economisch is ingestoken. Van de 310 literatuurverwijzingen in het rapport, zijn er 222 gepubliceerd in economische tijdschriften. De onderwijskunde is met 29 artikelen vertegenwoordigd, de psychologie met zeven en de sociologie met drie, turfde socioloog Thijs Bol.

Economen en sociologen kregen het met elkaar aan de stok op Twitter en op meerdere sites. ‘De sociologie heeft de laatste decennia de boot gemist en uit frustratie verlangt men naar de goede oude tijd waarin hun vakgebied een grotere invloed had op het publieke debat en beleid,’ schreef econoom Lex Borghans (Maastricht University) in een blog op economie.nl. ‘Het zou verstandig zijn als economen een toontje lager zouden zingen,’ schreef socioloog Mark Levels in een artikel op Stuk Rood Vlees.

Achter het geruzie gaat een interessant debat schuil over de verschillende manieren waarop sociologen en economen onderzoek doen naar onderwijs, en de manier waarop beleid tot stand komt.

Sociologie: onderzoek ‘met nogal hoog prutsgehalte’

Volgens econoom Borghans had veel empirisch sociaalwetenschappelijk onderzoek eind jaren tachtig een ‘nogal hoog prutsgehalte,’ zowel de economie als de sociologie. In zijn blog schrijft hij: ‘Onderzoek was meer een soort debat waarbij de onderzoekers op zoek gingen naar empirische analyses die hun gelijk konden bevestigen. Er werd heel opportunistisch omgegaan met analyses en in papers werd alleen die variant opgenomen die het beste paste bij wat de onderzoeker wilde aantonen.’

De economische wetenschappen ontwikkelden zich. Er ontstonden, zo schrijft Borghans, zwaardere eisen voor onderzoek dat als betrouwbaar geclassificeerd kon worden. De nieuwe onderzoeksmethoden waren gebaseerd op quasi-experimenteel onderzoek uit de econometrie. Een voorbeeld van zo’n techniek is regression discontinuity: wanneer een beleidsmaatregel de ene groep nét wel en een andere groep nét niet treft, kunnen die twee groepen gebruikt worden om het effect van de maatregel vast te stellen.

Een voorbeeld daarvan is recent onderzoek van economen Damon Clark en Heather Royer . Zij onderzochten de samenhang tussen opleidingsniveau en gezondheid. Het idee is wijdverbreid dat hogeropgeleiden gezonder zijn, en dat een betere opleiding dus leidt tot een betere gezondheid.

Onderzoek was meer een soort debat waarbij de onderzoekers op zoek gingen naar empirische analyses die hun gelijk konden bevestigen

Royer en Clark onderzochten twee wijzigingen in het Britse onderwijsstelsel, in 1947 en 1972. In beide gevallen ging het om de verlenging van de leerplichtige leeftijd met één jaar: van 14 naar 15 in 1947 en van 15 naar 16 in 1972. Deze rigide, arbitraire verhoging leidt ertoe dat leerlingen die in leeftijd maar een paar dagen van elkaar verschillen, in twee groepen kunnen worden opgedeeld: zij die nét wel en zij die nét niet een jaar extra naar school moeten.

Door deze twee onderzoeksgroepen met elkaar te vergelijken, konden Clark en Hoyer aantonen dat de verlenging van de leerplicht met één jaar in beide gevallen géén effect had op de gezondheid van de leerlingen. Wél maten ze een effect op het latere inkomen.

Twee econometristen, Joshua Angrist en Jörn-Steffen Pischke, beargumenteren in het standaardwerk Mostly Harmless Econometrics dat het onder zulke omstandigheden is toegestaan om resultaten causaal te interpreteren. Dat wil zeggen: dat de oorzaak (in dit geval langer naar school gaan) leidt tot het gevolg (een hoger inkomen op latere leeftijd).

Zonder zo’n ‘causaal design’ bij een causale onderzoeksvraag is het tegenwoordig bijna onmogelijk om in gezaghebbende economic journals te publiceren. Andere, niet-experimentele methoden om causale vragen te beantwoorden doen economen af als ‘niet overtuigend.’

Zoals sociologische methoden. De sociologie ontwikkelde zich sinds eind jaren negentig namelijk in een andere richting. Het wetenschapsgebied ging zich meer richten op landenvergelijkend onderzoek. Door de resultaten van landen op internationaal vergelijkend onderzoek met elkaar te vergelijken proberen sociologen iets te zeggen over kenmerken van schoolsystemen, zoals vroege selectie.

Uit een overzichtsstudie van dit landenvergelijkend onderzoek van sociologen Herman van de Werfhorst en Jonathan Mijs - zij gebruiken overigens ook onderzoek van economen - blijkt juist dat vroege selectie niet leidt tot gemiddeld betere prestaties, maar dat leerlingen bij sommige vakken gemiddeld juist minder scoren. En de leerwinst van de slimme groep is kleiner dan het leerverlies van de zwakkere groep.

Wel leidt vroege selectie tot toenemende ongelijkheid, blijkt uit de overzichtsstudie, terwijl standaardisatie (bijvoorbeeld door Cito-toetsen) die ongelijkheid juist vermindert.

Wat is af te dingen op onderzoek van sociologen?

We hebben dus te maken met twee wetenschappen met een andere opvatting over hoe je wetenschap bedrijft. Beide methoden hebben hun mitsen en maren.

De belangrijkste kritiek op het sociologische onderzoek is dat onderwijssystemen complex zijn, en dat maakt ze moeilijk met elkaar te vergelijken. Als landen waarin leerlingen vroeg op niveau geselecteerd worden beter presteren op internationaal vergelijkende onderzoeken, hoeft dat niet te komen door die vroege selectie. Hooguit kunnen er correlaties worden aangetoond.

Borghans is, evenals andere economen, kritisch over dat onderzoek. Hij stelt dat het vaak tot onjuiste conclusies leidt. Volgens socioloog Thijs Bol is sociologisch onderzoek de laatste jaren, mede onder invloed van ontwikkelingen in de economische wetenschappen, wel sterk verbeterd. Zo onderzoeken sociologen bijvoorbeeld steeds meer landen gedurende een langere periode, waardoor effecten beter kunnen worden getoetst.

Wat is af te dingen op onderzoek van economen?

Bij het onderzoek van de economen zijn ook kanttekeningen te plaatsen. Allereerst is er een fundamenteel bezwaar: hoewel Angrist en Pischke zeggen dat het toegestaan is resultaten onder bepaalde omstandigheden causaal te interpreteren, betekent dit niet dat de resultaten ook onomstotelijk causaal zijn. Dat zou fundamenteel in tegenspraak zijn met de immer voorlopige status van (sociaal)wetenschappelijke kennis. Bovendien is het ene causale onderzoeksdesign beter dan het andere. Causaliteit is dus geen hokje dat wel of niet aangevinkt kan worden, maar een schaal waarop al het onderzoek zich bevindt.

Economen zoeken eerst naar data over een experiment, om daar vervolgens een onderzoeksvraag bij te stellen

Ook geldt dat hoe causaler het onderzoeksdesign is, hoe moeilijker de resultaten zich laten veralgemeniseren. De Keniaanse context is heel anders dan de Nederlandse. En wat geldt voor het Verenigd Koninkrijk in de jaren veertig en zeventig, hoeft niet te gelden voor Nederland in 2016.

Mark Levels, socioloog aan Maastricht University, heeft nog een kritiekpunt. ‘Een veld dat alleen maar ‘causale’ onderzoeksmethoden toestaat, laat belangrijke vragen onbeantwoord,’ schrijft hij in een blog op Stuk Rood Vlees. Had het Verenigd Koninkrijk de leerplichtige leeftijd niet tot tweemaal toe verhoogd, dan hadden economen het effect daarvan op de gezondheid en het latere inkomen niet kunnen meten. Economen zijn dus andersom gaan werken, stelt Levels. Zij zoeken eerst naar data over een experiment, om daar vervolgens een onderzoeksvraag bij te stellen. Levels: ‘Een beetje zoals de man uit de parabel die zijn sleutels in een donkere steeg is verloren, maar naarstig naar die sleutels zoekt onder een straatlantaarn omdat daar zo’n handig licht brandt.’

Wat heb je liever: goede antwoorden, of goede vragen?

Economen proberen met hun onderzoek dus causale verbanden aan te tonen, en nemen het voor lief dat sommige vragen zo onbeantwoordbaar blijven en dat hun conclusies niet te veralgemeniseren zijn. Sociologen kunnen alle vragen stellen, maar de resultaten van hun onderzoeken tonen minder sterke verbanden.

Het CPB heeft de afgelopen jaren geprobeerd de aanpak van de economen te bevorderen, en de literatuurstudie Kansrijk Onderwijsbeleid komt voort uit die koers. Het Planbureau geeft aan bij de selectie alleen gebruik te hebben gemaakt van gerandomiseerde experimenten of quasi-experimentele studies. Niet zo gek volgens Levels. Beleid moet steeds meer gebaseerd zijn op harde onderzoeksfeiten, en de zelfverzekerdheid van economen maakt hen erg aantrekkelijk voor evidencebasedbeleidsmakers die behoefte hebben aan schijnbaar zekere uitspraken.

Niet voor niets breidde de economische wetenschap zich de afgelopen decennia dan ook uit naar andere wetenschapsgebieden. Waren er ooit alleen ‘gewone’ economen, nu zijn er ook gezondheidseconomen, misdaadeconomen, vruchtbaarheidseconomen en dus ook onderwijseconomen.

De media weten het wel

Toch is dat onderzoek van economen niet zaligmakend. Dat erkennen economen zelf, en dat merkt het CPB ook op in de eigen literatuurstudie. Zo staat al in de inleiding dat relatief veel informatie is gebaseerd op buitenlands onderzoek. ‘Het is op voorhand niet duidelijk in hoeverre die kennis ook geldig is in de Nederlandse situatie.’ Bovendien merkt het CPB op dat het zich uitsluitend richt op leerwinst, en dat niet-cognitieve vorderingen hierbij vaak onderbelicht blijven. Zeker in het geval van vroege selectie is dat een belangrijke kanttekening. Het belangrijkste argument om leerlingen van verschillende niveaus tot op latere leeftijd bij elkaar in de klas te houden is immers niet dat dit leerwinst oplevert, maar dat dit kansenongelijkheid tegengaat. In de conclusie is die nuance verdwenen.

In die conclusie schrijft het CPB: ‘Op de basisschool parallelklassen indelen naar leerprestatie levert een leerwinst op van 40 procent van een onderwijsniveau. In het hoger onderwijs werkcolleges indelen naar leerprestatie levert een leerwinst op van 36 procent van een onderwijsniveau.’

In het persbericht: ‘Kinderen presteren het best in een klas met kinderen op hun eigen niveau.’

In de krant: ‘Leerling toch gebaat bij vroege schoolkeuze.’

Hoe zou het beter kunnen?

Van de Werfhorst en Bol verwachten beter van een nationaal adviesorgaan als het CPB. Samen met Levels en socioloog Rolf van der Velden pleiten zij in een artikel op Stuk Rood Vlees voor een diverser palet aan onderzoeksdisciplines bij de totstandkoming van beleid.

Volgens hen zijn bij veel economen echter de multidisciplinaire luiken nog hermetisch gesloten. Zij wijzen op onderzoek van sociologen en economen waaruit blijkt dat de meerderheid van de Amerikaanse economieprofessoren multidisciplinariteit onzinnig vindt, terwijl een kleine minderheid in de sociologie, politicologie en psychologie dat vindt. Uit ander onderzoek blijkt dat economen zelden citeren uit bronnen buiten het eigen veld.

De vier sociologen vinden dat de verschillende maatschappijwetenschappen bondgenoten zouden moeten zijn wanneer het om onderzoek gaat dat belangrijk is voor beleidsmakers. ‘Dat zou de advisering rijker maken en winst zijn voor het publieke debat.’

En dan had de krant kunnen koppen: ‘Uit één Keniaanse studie blijkt dat leerlingen beter presteren op de basisschool als zij in klassen zitten met leerlingen van gelijk niveau, al kan dat ook komen doordat docenten door het experiment vaker daadwerkelijk in de klas te vinden waren, en deze conclusie laat zich moeilijk vertalen naar de Nederlandse onderwijssituatie en uit veel onderzoek dat in de studie niet is meegenomen blijkt dat de gemiddelde prestaties juist afnemen als leerlingen van gelijk niveau bij elkaar zitten, maar eigenlijk gaat het daar helemaal niet om, want we stoppen leerlingen van verschillende niveaus bij elkaar om ongelijkheid tegen te gaan, en veel onderzoeken die ook niet in het CPB-rapport zijn opgenomen tonen dat vroege selectie juist leidt tot toenemende ongelijkheid.’

En dat op basis van bergen onderzoek van economen, sociologen en onderwijskundigen. Sjongejonge.