Ik maak me zorgen over het onderzoek naar veiligheid van docenten (maar twijfel of ik erover moet schrijven)
Groot in het nieuws vorige week: het onderzoek van DUO Onderwijsonderzoek & Advies naar sociale veiligheid van docenten.
De krantenkoppen waren stevig, denk maar aan ‘Kwart docenten uitgescholden, geïntimideerd of geduwd door leerlingen’ (NOS), ‘Toename van geweld tegen docenten voortgezet onderwijs’ (NRC) en ’"Docenten voelen zich steeds minder veilig op school"’ (De Telegraaf).
Ik besloot in de cijfers te duiken. En stuitte zo meteen op een journalistiek dilemma.
Over welke data we praten
Allereerst: hoe zijn de data verzameld? DUO Onderwijsonderzoek & Advies (geen connectie met de Dienst Uitvoering Onderwijs, die onder meer de studiebeurzen regelt) heeft via e-mail contact opgenomen met docenten.
De mailadressen kwamen uit twee bronnen. Allereerst het online panel docenten voortgezet onderwijs van DUO (het onderzoeksbureau). Daarin zijn docenten verzameld die aan eerder onderwijsonderzoek hebben meegedaan.
De andere bron is de onderwijsdatabase van het bureau. ‘Onze onderwijsdatabase bevat vrijwel alle VO-scholen in Nederland’, liet onderzoeker Liesbeth van der Woud me via e-mail weten, ‘en circa 80 procent van alle docenten.’
Wat ze me ook liet weten, is dat 11 procent van de benaderde docenten heeft gereageerd. Zo’n 10.000 docenten zijn gemaild, uiteindelijk hebben 1.124 docenten een vragenlijst ingevuld.
Waarom dit onderzoek een flink vertekend beeld kán geven
Die 11 procent, daarbij gingen bij mij de alarmbellen af. Zeker omdat ik dat getal niet in het onderzoeksrapport kon terugvinden. Apart, want non-respons kan veel gevolgen hebben voor de resultaten.
Als die 11 procent respondenten en die 89 procent niet-respondenten hetzelfde zijn, dan is er niet veel aan de hand. Maar mensen die niet antwoorden, hebben misschien wel minder last van dit soort problemen. Of juist meer, maar praten er liever niet over.
Wat als die overige 89 procent - een dikke 9.000 docenten - allemaal had gezegd dat ze zich veilig voelden? Of juist gezegd dat ze ook last hadden van de problemen?
Een voorbeeld: uit het rapport blijkt dat 23 procent van de respondenten zegt zich minder veilig te voelen dan drie jaar geleden. Dit waren zo’n 259 docenten.
Als de ruim 9.000 niet-respondenten het met ze eens waren geweest, was het percentage van 23 procent naar 92 procent opgelopen. Als ze het allemaal oneens waren geweest, was het slechts 3 procent.
Sterk dat die 89 procent allemaal één bepaalde kant op waait. Dus stel nu dat de groep overige docenten slechts – ik noem maar iets – 10 procentpunt afweek van de ondervraagde groep, zelfs dan kan het percentage in plaats van 23 al zo laag zijn als 14 of zo hoog als 32.
Kortom: deze cijfers moet je met een flinke korrel zout nemen. De groep respondenten en groep niet-respondenten kunnen zodanig verschillen, dat de percentages te hoog of juist te laag uitvallen.
Maar...
Ik had al een hele column klaarstaan, met min of meer letterlijk wat hierboven stond. Maar iets knaagde. Het was iets wat Van der Woud in haar e-mail had geschreven.
Ze zei dat de resultaten overeenkwamen met medewerkerstevredenheidsonderzoeken (mijn Scrabblewoord voor de kerstvakantie) op individuele scholen, waar sociale veiligheid ‘nagenoeg altijd een thema’ is.
Nu kunnen daar dezelfde problemen spelen als bij het landelijk onderzoek. Maar ook Arie Slob reageerde en stelde dat zijn ministerie in 2016 en 2017 op vergelijkbare cijfers kwam. ‘Er bleek toen ook dat schelden en intimideren op alle schooltypes voorkomt, van vmbo tot vwo’, meldt de NOS.
En uit cijfers van het Centraal Bureau voor de Statistiek blijkt dat 7 procent van de medewerkers in het onderwijs te maken krijgt met lichamelijk geweld door ‘klanten’. (De cijfers kijken naar alle sectoren, vandaar dat het verwijst naar de algemene term ‘klanten’ en wat moeilijker vergelijkbaar is.)
Daar kwam mijn dilemma om de hoek. Een respons van 11 procent is heel laag en moet vermeld worden bij de publicatie van de resultaten, zodat je de cijfers op waarde kunt schatten. (Van der Woud liet me weten dat het weglaten van de respons ‘geen bewuste zet’ is geweest.)
Maar wat als ik met die kanttekeningen de indruk wek dat de cijfers sowieso niet kloppen? En dat lezers daaruit afleiden dat er niets aan de hand is? (Overigens hadden de cijfers ook veel hoger uit kunnen vallen, dus je zou net zo goed kunnen denken dat het probleem veel erger is dan beschreven.)
De resultaten kúnnen vertekend zijn, maar dat wil nog niet zeggen dat dat ook daadwerkelijk het geval is.
Ik ben wel benieuwd, wat vinden jullie? Moet je als journalist zulke kanttekeningen plaatsen, met het risico dat lezers denken dat het probleem überhaupt niet bestaat? Of moet je je beperken tot onderzoeken waarvan de resultaten overduidelijk lariekoek zijn?
Nog een bron van vertekening
Overigens was er nog een bron van vertekening: die door de media. Want al was het onderzoek representatief, de berichtgeving was nogal selectief.
Ja, 23 procent van de docenten zegt zich minder veilig te voelen dan drie jaar geleden. Maar tegelijkertijd stelt 84 procent dat ze zich veilig voelen. En is er nog eens 8 procent die het niet eens, maar ook niet oneens is met de stelling ‘Ik voel mij veilig op school’.
Laten we ook dat niet vergeten.
Tot slot...
...vertelde ik gisteren in Tijd voor Max over mijn boek. Hier kun je het terugzien (vanaf 2:38).
Met dank aan hoogleraren Casper Albers en Jelke Bethlehem, die met me meekeken naar het DUO-onderzoek.