Voor de liefhebber: bereken nu zelf hoeveel onderzoek niet klopt

In mijn vorige artikel legde ik uit dat het gros van het statistisch onderzoek niet klopt. Tenminste, als je een paar veronderstellingen maakt.

Voor wie als onderzoeker mijn voorbeeld wat kort door de bocht vond, heeft psychologieprofessor Felix Schönbrodt een online applicatie gebouwd waarmee je zelf je veronderstellingen kan kiezen en kan becijferen hoeveel onderzoek de mist ingaat.

Vul in:

- Het aantal ware verbanden: welk percentage van de geteste verbanden bestaat ook echt?

- De ‘p-waarde’: wat is de kans op valse positieven (verbanden die niet bestaan maar bij onderzoek wel een verband laten zien)?

- De ‘statistische kracht’: wat is de kans op valse negatieven (verbanden die wel bestaan, maar bij onderzoek geen verband laten zien)?

- Het ‘p-hacking’-percentage: welk aandeel van de onderzoeken laat een significant resultaat zien, dat eigenlijk geen significant resultaat is?

En voilà! Je krijgt te zien hoeveel van je onderzoeksresultaten niet klopt.