Ook experts struikelen over statistiek: zelfs statistici interpreteren resultaten regelmatig verkeerd

In dit artikel:

Een Zweedse onderzoeksgroep van onder meer Uppsala University en het Karolinska Institutet concludeert dat veel mensen statistische onderzoeksresultaten verkeerd interpreteren. Dat geldt niet alleen voor leken, maar ook voor psychologen, artsen, apothekers, epidemiologen, statistici en docenten statistiek. De resultaten zijn gepubliceerd in PLOS One.

De onderzoekers analyseerden 55 studies uit de periode 1963-2024, geselecteerd uit ongeveer 6.300 publicaties. In totaal deden meer dan 15.000 mensen uit onder meer Europa, China en Zuid-Amerika mee. Omdat de onderzoeken sterk van elkaar verschilden, konden de uitkomsten niet worden samengevoegd tot één algemeen percentage.

Een belangrijk probleem betreft de p-waarde. Die geeft aan hoe waarschijnlijk het is om, uitgaande van de aanname dat er geen effect bestaat, een verschil te vinden dat minstens zo groot is als het waargenomen verschil. Een lage p-waarde bewijst dus niet dat een hypothese waar is, noch dat een resultaat bij herhaling vrijwel zeker terugkomt. Ook betekent ‘statistisch significant’ niet automatisch dat een effect in de praktijk belangrijk is: een klein effect kan bij een groot onderzoek toch significant zijn.

Betrouwbaarheidsintervallen worden eveneens vaak verkeerd begrepen. Een 95-procentinterval betekent strikt genomen dat bij zeer veel herhalingen 95 procent van de berekende intervallen de werkelijke waarde zou bevatten. In klassieke kennistests koos 80 procent van Duitse docenten methodologie minstens één fout antwoord, evenals bijna 90 procent van deelnemende psychologen en alle psychologiestudenten. In een Zweedse studie beantwoordde slechts 12,5 procent van de statistici en epidemiologen twee kernvragen over significantie correct. Bij Nederlandse psychologiestudenten en -onderzoekers wees maar ongeveer 2 procent zes onjuiste uitspraken over betrouwbaarheidsintervallen allemaal af. Ervaring bleek weinig verschil te maken.

De onderzoekers waarschuwen dat zulke misverstanden kunnen leiden tot te stellige conclusies, slechtere beslissingen en mogelijk bijdragen aan problemen zoals de replicatiecrisis. Ze vonden geen aanwijzingen dat het begrip sinds die crisis in 2015 duidelijk is verbeterd. Het tonen van een betrouwbaarheidsinterval naast of in plaats van alleen een p-waarde lijkt fouten wel te verminderen, maar lost het probleem niet op. Zo dacht 39 procent van studenten bij een niet-significant resultaat dat er geen effect was, tegenover 13 procent wanneer een betrouwbaarheidsinterval werd getoond. De auteurs pleiten daarom voor beter statistiekonderwijs, duidelijkere rapportage en officiële richtlijnen over de uitleg van betrouwbaarheidsintervallen.