Hoe de GGD wegkomt met slechte wetenschap (en de overheid dat goedpraat)

‘Krijg jij ze ook weleens: van die kritische vragen over de kinderopvang? Van ouders, vrienden, familie? Met deze antwoorden kun je er altijd professioneel op reageren!’ In het januarinummer van het vakblad Kinderopvang wordt lezers een poster aangeboden met acht veel voorkomende kritische vragen over de kinderopvang – inclusief antwoorden waarmee ze voortaan iedereen de mond kunnen snoeren. Afzender: de Brancheorganisatie Kinderopvang.

De opmerkelijkste vraag: is de kwaliteit van de Nederlandse kinderopvang slecht?

Het antwoord: ‘Er is geen sector waar meer aandacht is voor kwaliteit. Om open te kunnen als opvang gaat de eigenaar door een enorm lang traject en als je eenmaal open bent, blijft de inspectie controleren en worden regels aangepast of aangescherpt naar de wensen van de tijd.’

Het meetinstrument meet niet

Verwijzen naar de inspectie van de GGD is, zeker sinds de marktwerking in 2005 haar intrede deed in de kinderopvang, hét middel van branche en overheid om kritische vragen over de kwaliteit van de kinderopvang af te wimpelen. Maakt u zich zorgen over de perverse prikkels die uitgaan van de marktwerking in deze sector? Geen zorgen: de crèches worden geïnspecteerd door de GGD. Twijfels over het feit dat je in Nederland geen pedagogische of soortgelijke opleiding nodig hebt om een crèche te mogen openen? Nergens voor nodig: de GGD houdt de wacht.

Het is helemaal niet duidelijk of dat meetinstrument van de GGD echt werkt. En dus weten we niet of een crèche genoeg pedagogische kwaliteit levert

Helaas betreft het een valse geruststelling.

Dat zit zo: een inspectierapport van de GGD stelt pas iets voor als je zeker weet dat het meetinstrument waarmee de GGD de kwaliteit in kaart brengt, ook daadwerkelijk meet wat het moet meten. En daar zit precies het probleem: het is helemaal niet duidelijk of dat meetinstrument van de GGD echt werkt. En dus weten we niet of een crèche genoeg pedagogische kwaliteit levert.

Realiseert de overheid zich dit dan niet?

Jawel, maar die dacht het probleem te hebben opgelost door wetenschappelijk onderzoek te laten doen naar dit meetinstrument. Daarmee zou het meetinstrument, en daarmee de kwaliteit van de kinderopvang, boven iedere twijfel verheven raken.

Het onlangs verschenen onderzoeksrapport legde ik voor aan hoogleraar gezinspedagogiek Rien van IJzendoorn. Volgens deze ervaren kinderopvangonderzoeker stelt het onderzoek weinig voor: ‘Het onderzoek levert helaas geen bewijs voor de deugdelijkheid van het GGD-instrument. De studie is behept met enkele ernstige methodische en statistische tekortkomingen en fouten.’

Kortom: het wetenschappelijk bewijs moet nog worden geleverd.

Hoe het instrument valide werd

Om dit uit te leggen, is wat context nodig.

Tot 2012 letten GGD-inspecteurs vooral op de veiligheid van de crèches. Als een crèche was goedgekeurd, kon je er als ouder van uitgaan dat je kind nooit pindakaas zou eten waarvan de houdbaarheidsdatum was verstreken, dat zijn of haar vingers nooit beklemd zouden raken tussen een deur en hij of zij nooit over de rand van het bedje zou vallen.

Maar of leidsters met je kind praten tijdens het verschonen van een luier, of ze goed reageren op ruzies of vragen van de kinderen - met andere woorden: over hoe het met de pedagogische kwaliteit gesteld was -, daar werd in de inspectierapporten amper aandacht aan besteed.

In 2012 stelde minister Lodewijk Asscher (PvdA, Sociale Zaken) dat daar verandering in moest komen. De pedagogische kwaliteit moest veel duidelijker in kaart worden gebracht. Sterker nog, de pedagogische kwaliteit moest hét speerpunt worden van de GGD-inspecties.

Om de GGD-inspecteurs daarbij te helpen is een toetsingsinstrument ontwikkeld waarmee de pedagogische kwaliteit beter gemeten kon worden. Om er zeker van te zijn dat dit instrument voldeed, wilde het ministerie van Sociale Zaken eerst weten of het instrument écht betrouwbaar was. Dus: komen verschillende inspecteurs in dezelfde crèchesituatie tot een overeenkomstige beoordeling? Hoogleraar kinderopvang Ruben Fukkink werd gevraagd dit te onderzoeken en concludeerde dat dit het geval is.

Maar het ministerie had nog twee vragen:

1. Meet het GGD-instrument wat het moet meten? Met andere woorden: komen alle aspecten die samen de pedagogische kwaliteit bepalen wel voldoende aan bod?
2. Meet het praktische toetsinstrument van de GGD ongeveer hetzelfde als een wetenschappelijk gevalideerd instrument (dat voor gebruik in de dagelijks praktijk iets minder handig is)?

Ofwel: is het GGD-meetinstrument een valide meetinstrument?

Om dit uit te zoeken vroeg het ministerie verschillende onderzoeksinstellingen een offerte uit te brengen voor het doen van dit zogenoemde valideringsonderzoek. Op grond van deze offertes werd onderzoeksbureau Sardes begin 2014 uitgekozen – zij zouden het beste onderzoek leveren voor het minste geld.

Na afronding van het Sardes-onderzoek naar de validiteit, werd in december vorig jaar het nieuwe ‘Veldinstrument observatie pedagogische praktijk kindercentra en peuterspeelzalen’ - het nieuwe meetinstrument van de GGD dus - officieel gelanceerd. In de inleiding van het GGD-document valt te lezen dat de wens van het ministerie werkelijkheid is geworden: ‘In 2014 bleek uit onderzoek tevens dat het instrument overwegend valide was (Jepma & Muller, 2014).’

1. De vergelijking klopt niet

En hier gaat het mis. Verschillende door mij geraadpleegde wetenschappers zeggen onafhankelijk van elkaar dat de conclusie ‘overwegend valide’ nooit had mogen worden getrokken.

De voornaamste fout die zou zijn gemaakt, is dat het nieuwe meetinstrument van de GGD niet is vergeleken met een ander meetinstrument waarvan wél wetenschappelijk is aangetoond dat het een betrouwbaar en valide beeld geeft van de pedagogische kwaliteit. De onderzoekers van Sardes hebben het GGD-instrument namelijk vergeleken met een ‘schaduwinstrument waarvan de wetenschappelijke status onduidelijk is,’ aldus professor Van IJzendoorn.

Met andere woorden: ze hebben – in tegenstelling tot wat ze in het rapport beweren - de concurrente validiteit helemaal niet onderzocht. Daarvoor hadden ze het GGD-instrument moeten vergelijken met een meetinstrument dat wél gevalideerd is.

2. Ongetraind corresponderen over de resultaten

Waar de Sardes-onderzoekers ook in tekort zouden zijn geschoten, is de manier waarop zij de inspecteurs met beide instrumenten hebben laten werken. De inspecteurs, die met het alternatieve meetinstrument werkten, waren volgens professor Van IJzendoorn onvoldoende getraind in het toepassen van het schaduwinstrument. Dat druist volgens hem in tegen de wetenschappelijke regels die gelden voor een dergelijk onderzoek: ‘Een observatieinstrument vergt altijd gedegen training.’

Wat volgens hem ook niet klopt, is dat de inspecteurs van het GGD-instrument en het schaduwinstrument niet onafhankelijk van elkaar hebben gewerkt. Dat komt ‘doordat beide inspecteurs gelijktijdig observeerden en met elkaar over ontbrekende informatie communiceerden,’ aldus Van IJzendoorn.

3. De berekeningen zijn te rooskleurig

Tot slot maakt de Leidse professor bezwaar tegen de statistische bewerkingen die zijn gebruikt en tegen de manier waarop de bevindingen zijn geïnterpreteerd. Dat zou veel te rooskleurig zijn.

Zijn conclusie over het onderzoek is helder: ‘De validiteit van een instrument toetsen is werk voor hooggeschoolde wetenschappers die helaas door het ministerie niet zijn ingeschakeld.’

Hoe het ministerie het spint

Gevraagd naar een reactie op de genoemde bezwaren, komt het ministerie aanvankelijk met een aantal tegenwerpingen die erop neerkomen dat ik het doel van het onderzoek niet goed heb begrepen. Dat was namelijk niet het GGD-meetinstrument toetsen aan een valide meetinstrument (het meten van de concurrente validiteit), maar ‘het herijken van het observatieinstrument aan de hand van de laatste wetenschappelijke inzichten en aan de hand van vergelijkbare observatieinstrumenten.’

Verderop in dezelfde mail is het doel wéér anders: ‘enkele (kleine, maar) noodzakelijke aanpassingen te maken.’

Gek, want in de offerteaanvraag staat letterlijk het volgende:

‘Doel van het onderzoek: Komen tot een uitspraak over de validiteit van het instrument observatie pedagogische praktijk. Indien het instrument niet valide blijkt te zijn, welke aanpassingen zijn daarvoor nog nodig?’

Ik heb nu toch het gevoel dat zij duidelijke vragen stelt en dat we aan het duiken zijn

Door het doel van het onderzoek opeens te veranderen, lijkt het ministerie een poging te doen om de fouten van het onderzoek te verdoezelen. Het lijkt wel of ze proberen te suggereren dat de nieuw geformuleerde doelen de niet-wetenschappelijke aanpak heiligt.

Als ik hen hier op wijs, belooft de woordvoerder van het ministerie snel weer met een reactie te komen. En het antwoord dat dan komt, geeft een aardig inkijkje in hoe het ministerie van Sociale Zaken met dit belangrijke onderzoek omgaat: door een vergissing krijg ik alle e-mails onder ogen die de beleidsambtenaren met elkaar hebben uitgewisseld naar aanleiding van mijn tweede mail.

Een beleidsmedewerker schrijft: ‘Zie onder een kort beantwoordinglijntje’ [ze verwijst naar een formele reactie die ze mij zouden kunnen sturen, ME] ‘Het is meer een algemene reactie dan echt een antwoord op haar vragen. We hebben het gevoel dat we steeds verder worden gezogen in een wetenschappelijk debat en dat elk antwoord de discussie verder voedt. Over wetenschappelijke aanpakken valt altijd te twisten.’

De woordvoerder reageert als volgt: ‘Ik ben ervoor te waken om de diepte in te gaan en haar [ik dus, ME] te veel informatie te geven, maar heb nu toch het gevoel dat zij duidelijke vragen stelt en we aan het duiken zijn.’

De directeur kinderopvang van het ministerie zelf komt dan met de volgende opmerking: ‘Ik vind zelf dat we bij eerdere antwoorden al veel te diep op de materie zijn ingegaan. Dat leidt ertoe dat onze antwoorden net iets anders zijn dan in het onderzoeksrapport zelf of net iets anders dan in de offerte-aanvraag. Vervolgens worden dan weer vragen gesteld over die verschillen. En zo komen we steeds verder van huis.’

‘Er is geen sector waar meer aandacht is voor kwaliteit’

Het ministerie maakt zich klaarblijkelijk meer zorgen om haar eigen reputatie dan om de kwaliteit van het onderzoek. Kort na de vergissing doet de woordvoerder nog een poging om de zaak recht te breien. Ze gooit het dit keer op een conflict tussen wetenschappers. Slim, want het is zeker waar dat wetenschappers van mening kunnen verschillen. Maar dat gaat bijna altijd over de interpretatie van de onderzoeksresultaten. Niet over de manier waarop je een validiteitsmeting doet. Daar zijn gewoon heldere regels voor.

De woordvoerder laat tenslotte telefonisch weten dat het ministerie de door de wetenschappers aangevoerde kritiekpunten ‘echt serieus’ zal nemen. Tussen nu en twee jaar wordt het toezicht op de kinderopvang drastisch hervormd. In juni 2017 treedt het zogenoemde ‘Nieuwe Toezicht’ in. Bij het uitwerken van dit Nieuwe Toezicht-project zal de kritiek van de genoemde hoogleraar worden meegenomen.

Dat klinkt goed, maar als in het verleden behaalde resultaten een garantie voor de toekomst moeten zijn, dan is er voor jonge ouders weinig reden om gerust achterover te leunen. Dit is namelijk niet de eerste keer dat de beleidsambtenaren zich weinig aan lijken te trekken van het wetenschappelijke gehalte van hun beleidsinstrumenten.

Een halfjaar geleden schreef ik al hoe zij het advies van verschillende hoogleraren negeerden bij het selecteren van trainingen die de interactievaardigheden van pedagogisch medewerkers (de vaardigheden die het meest bepalende zijn voor de kwaliteit van de kinderopvang) moesten versterken. Uitgerekend de enige twee trainingen waarvan wetenschappelijk is aangetoond dat ze werken, werden toen niet geselecteerd.

Ik denk aan de poster: ‘Er is geen sector waar meer aandacht is voor kwaliteit.’ Het zou toch wel mooi zijn als je dat zonder te blozen zou kunnen zeggen tegen de ouders.

Dit artikel is geschreven door Marilse Eerkens.