In een ver en duister verleden, toen ik mijn brood nog verdiende met vakkenvullen, kwam ik tot een schokkende conclusie: onze manager besteedde het gros van zijn werkdag aan het verhullen van zijn eigen nutteloosheid. Stond je net rustig een vak te vullen en dan kwam die vent in z’n stoffige H&M-pak langs om te vertellen dat je een vak moest vullen. Dank voor de aanwijzing, daar had ik nog niet aan gedacht. (Als je echt pech had, kreeg je ook nog de klassieker ‘niet lullen maar vullen’ naar je hoofd.)

De manager kwam opnieuw in mijn vizier toen ik met collega Rutger Bregman een boek schreef getiteld Daarin haalden we wetenschappelijk onderzoek aan over de economische meerwaarde van de manager.

Die meerwaarde was er niet.

Sterker nog, de onderzoekers toonden aan dat minder productief waren.

Mooi, dat was precies de wetenschappelijke dressing die nodig was voor ons verhaal - onomstotelijk bewijs dat een beroepsgroep die veel verdient, eigenlijk economische waarde vernietigt. Vuilnismannen verdienen meer dan managers. QED.

Laatst las ik het onderzoek nog eens kritisch door. Heel eerlijk: dat wetenschappelijke artikel bood onvoldoende ondersteuning voor onze harde conclusies. Het onderzoek was namelijk gebaseerd op een karige zeventien observaties, over negentien landen, in een periode van twintig jaar. Dat was misschien meer dan mijn N=1-observatie in de Albert Heijn, maar om als het oordeel van de wetenschap te kunnen dienen.

Hoe we wetenschap gebruiken

Naar aanleiding van mijn stokpaardje hadden we op de redactie een discussie over hoe we wetenschap gebruiken in onze verhalen. Conclusie: we zijn niet kritisch genoeg op wat wetenschap ons kan vertellen en gaan te selectief om met wetenschappelijke resultaten.

Daarmee doen we jullie tekort. Voor de meesten van jullie wordt namelijk niet duidelijk of het gebruikte onderzoek van voldoende kwaliteit is, of er meer onderzoeken zijn van gelijke kwaliteit die een tegengesteld punt maken en of onderzoek überhaupt wel ons punt ondersteunt.

Wanneer we wetenschap aanhalen, doen we dat immers vaak met een beroep op autoriteit:

‘Onderzoekers van de TU Delft hebben aangetoond dat landen met meer managers zijn.’

‘Uit onderzoek van John Pencavel blijkt dat coöperatieve fabrieken tussen de zes en veertien procent productiever zijn

‘Volgens de ‘beste inschattingen’ van het IPCC hebben we een kans van 66 procent dat de opwarming van de aarde

We kunnen misschien wat meer details kwijt over het onderzoek in het artikel zelf of in maar uiteindelijk moeten jullie erop kunnen vertrouwen dat we wetenschap op een correcte manier gebruiken. Kortom: we hebben hier een grote verantwoordelijkheid.

Stop met de pil! Of niet?

Ik wil nog een voorbeeld geven van waar de verkeerde omgang met wetenschap fout kan gaan. Ook in dit geval is door onze eind- en hoofdredactie onvoldoende zorgvuldig toegezien op het zorgvuldig gebruik van wetenschappelijke bronnen. Als er onzorgvuldigheden in artikelen staan, dan zijn die dan ook primair aan ons als redactie toe te schrijven, en niet aan de auteurs die voor ons schrijven.

Dat gebeurde in het artikel van schrijfster Bregje Hofstede. Het sloeg enorm aan bij lezers, werd opgepikt door RTL Late Night en was zelfs aanleiding voor een serie op ons platform over alternatieven voor de pil.

Hofstede beschrijft in het artikel haar persoonlijke ervaring met de pil. Nadat ze was overgestapt op een nieuwe pil kwam haar seksleven in een ‘vrije val’. Tot ze met de pil stopte en plots het libido had van ‘tien mariniers na een maand in de woestijn.’ Maar Hofstedes ervaring is niet particulier, maakt ze duidelijk. ‘Gemiddeld genomen’ neemt volgens onderzoek ‘de seksuele responsiviteit van pilgebruiksters af.’ ‘Minstens 10 tot 15 procent van de vrouwen [deelt] mijn ervaring dat de pil, die ons de mogelijkheid van zorgeloze seks biedt, gelijktijdig ons plezier daarin tempert’.

De wetenschappelijke bewijsvoering voor dit artikel is echter dun. Te dun, in elk geval om de - door ons gekozen titel - te rechtvaardigen.. In het artikel zelf worden drie bronnen genoemd: een ‘recent experiment’, het oordeel van seksuoloog Rik van Lunsen en een link naar (dat weer verwijst naar een onder 1.086 studenten). Hofstede vertelde mij dat de eindredactie een aantal van haar wetenschappelijke bronnen uit het artikel heeft gehaald. Niettemin, ook met de geschrapte bronnen is het artikel problematisch.

Hofstedes belangrijkste bron is Rik van Lunsen. Van Lunsen heeft meegewerkt aan het bedenken van voor het farmaceutische bedrijf Pantarhei Bioscience. Die pil is momenteel in ontwikkeling.

Dat Van Lunsen zo zijn belangen heeft, betekent niet dat hij er per definitie naast zit. Maar wel dat zijn claims extra kritisch behandeld moeten worden. En dat hij dus zeker niet als enige bron van expertise mag worden opgevoerd.

Daarnaast: niet elk wetenschappelijk onderzoek in het artikel

Het belangrijkste punt: je kunt geen uitsluitsel krijgen op basis van wetenschappelijke onderzoeken. In de medische wetenschap maakt men daarom vaak systematische reviews of meta-analyses, waarin al het onderzoek wordt verzameld en samengevoegd.

In dit onderzoek-naar-onderzoek is Hofstede’s hypothese (nog) niet bewezen. ‘Beter onderzoek is nodig om een duidelijke boodschap te geven aan vrouwen’, in 2004 op basis van een synthese van dertig onderzoeken. Maar tot die tijd ‘moeten aanbieders voorzichtig zijn negatieve ervaringen toe te schrijven aan [de pil].’

Negen jaar later was de conclusie al niet veel duidelijker. Pastor en zijn co-auteurs bekeken in 2013 ‘Behandeling met [de pil] zorgt ervoor dat vrije testosteronniveaus dalen, maar in de meeste gevallen heeft dit geen negatief effect op het libido.’ Sterker nog, in de meeste gevallen bleek pilgebruik juist geassocieerd met meer seksuele lust. ‘Gemiddeld genomen’ nam de lust dus juist toe. Niet áf, zoals Hofstede beweerde.

Voor de duidelijkheid: dit meta-onderzoek ging over verschillende onderzoeken met verschillende methoden. In de meeste onderzoeken is slechts een verband geconstateerd (pilgebruiksters hebben een hoger/lager libido), dat nog niks zegt over een oorzakelijk verband - pilgebruik zorgt voor een hoger/lager libido.

Om oorzakelijkheid te kunnen vaststellen heb je eigenlijk een nodig. Ook in onderzoeken met deze opzet werd echter vaker een positief effect dan een negatief effect gemeten.

Kortom, op basis van wat we tot nu toe weten, had de kop boven het artikel (die niet van Hofstede, maar van onszelf kwam) net zo goed kunnen zijn:

Hofstede zegt in een reactie dat het beschikbare onderzoek eigenlijk te weinig houvast biedt. Het maakt namelijk geen onderscheid tussen de verschillende effecten van de pil. Enerzijds heeft de pil invloed op psychologische factoren: de kleinere kans op zwangerschap bijvoorbeeld, maakt seks zorgelozer. Dat is positief voor het libido. Anderzijds heeft de pil ook fysieke gevolgen, bijvoorbeeld voor je testosteronniveau. En daar schuilt het gevaar, want zoals Hofstede al in het artikel schrijft, ‘testosteron is verantwoordelijk voor wat wij libido noemen.’

Hofstede heeft zeker een punt. Dat testosteron een effect heeft op de vrouwelijke seksualiteit staat vast. Het is echter moeilijk te zeggen wat die effecten precies zijn, wanneer ze optreden en hoe groot ze zijn. ‘Verschillen in testosteronniveaus hebben alleen een impact op seksuele behoefte wanneer de waarden onder een bepaald niveau dalen,’ stelt Pastor. ‘En die veranderingen zijn vooral aanwezig bij vrouwen die gevoelig zijn voor zulke veranderingen.’ Maar uiteindelijk is het niet testosteron, maar zijn het ‘psychosociale, culturele en relationele factoren’ die ‘de grootste invloed op het libido’ hebben.

Eigenlijk is het onderscheiden van die twee factoren een beetje een academische discussie. Voor pilgebruiksters gaat het immers om de vraag ‘heb ik met de pil meer of minder plezier in bed?’. Of de uiteindelijke oorzaken nou psychologisch of fysiologisch zijn, maakt in de praktijk

Minder ronkend

Begrijp me niet verkeerd: het kán dat sommige vrouwen libidoverlies ondervinden van de pil. Hofstedes artikel was echter erg stellig: 10 tot 15 procent van de vrouwen heeft hier last van, hoge doseringen zijn gevaarlijker, testosteron is verantwoordelijk voor je libido. Terwijl de wetenschap vooral erg onduidelijk is.

Bovendien moet duidelijk zijn: libidoverlies is een veelvoorkomend probleem en kan veel meer oorzaken hebben dan alleen de pil. 39 procent van de vrouwen boven de 40 zegt bijvoorbeeld We moeten hen niet de indruk geven dat dit een eenvoudige medische oplossing heeft (stop met de pil!).

Met name bij dit soort medische vraagstukken is voorzichtigheid geboden. De kop was veel te ronkend, maar ook in de tekst had duidelijker moeten staan wat de beperkingen van het bestaande onderzoek zijn.

Wat te doen?

Een goed geschreven verhaal dat aannemelijk klinkt, trekt natuurlijk veel lezers. Het loont vaak niet om die ingewikkelde werkelijkheid, vol van nuance, verder uit te diepen. Maar dat uitdiepen brengt ons wel dichter bij de waarheid, en dat is een essentieel criterium voor onze journalistiek.

Dus: wat moeten wij - als correspondenten - beter doen? Ik heb nog geen compleet antwoord, maar hier een paar suggesties die ik aan mijn collegae deed:

  • Lees altijd het originele onderzoek. Lees niet alleen een samenvatting uit de andere media of slechts de conclusie en het abstract, maar lees het artikel zélf, tot je begrijpt wat er ongeveer gedaan wordt. Stel jezelf een paar standaardvragen: Hoe groot is het onderzoek? Welke methode gebruiken ze? Kun je gaten schieten in hun methode?
  • Link naar het originele onderzoek. Maak voor lezers de drempel zo laag mogelijk om ons te controleren. Plaats een duidelijke link naar het artikel en probeer betaalmuren te vermijden.
  • Gebruik waar mogelijk meta-onderzoek. Eén studie is geen studie. Wil je echt betrouwbare conclusies trekken, dan is het nodig meerdere onderzoeken samen te vatten.
  • Luister naar onze lezers/experts. Wees ook na de publicatie alert. Experts wijzen ons regelmatig op wetenschappelijke onvolkomenheden. Sta ervoor open dat je ernaast kunt zitten en ga het gesprek aan.

Het probleem is dat we een balans moeten vinden: we zijn geen wetenschappelijk vakblad. Als onze eindredactie echt elk artikel zou willen checken, zou die bijna een week vooruit moeten werken. Misschien is dus de meest praktische suggestie waar we mee aan de slag kunnen:

  • Vraag belangeloze experts mee te lezen. Probeer op voorhand - zeker wanneer je zelf niet goed bent ingevoerd in de wetenschap - iemand te vinden die wel goed kan beoordelen of je wetenschappelijke onderbouwing deugt. Hier zouden we ook systematischer onze lezers voor kunnen gebruiken. Leg een lijst aan van lezers met expertise die je kunt mailen voor je een artikel publiceert. Crowdsource je eindredactie!

Dus iedereen die denkt dat hij expertise kan bijdragen,