Missförstånd om statistik vanliga även bland erfarna forskare
Även forskare och personer med omfattande utbildning i statistik har ofta svårt att tolka statistiska resultat korrekt. Det visar en ny systematisk översikt från bland annat Uppsala universitet, där forskarna sammanställt 55 studier med över 15 000 deltagare.
Statistik är ett viktigt verktyg inom många vetenskapliga områden. Med hjälp av statistiska metoder kan forskare inte bara beskriva det som har observerats, utan också dra mer generella slutsatser. Det kan exempelvis handla om att undersöka om ett läkemedel har en effekt eller om det finns ett samband mellan luftföroreningar och människors hälsa.
Att dra slutsatser från statistiska resultat kallas statistisk inferens. Hur resultaten från statistiska analyser beskrivs och förstås påverkar vilka slutsatser som faktiskt dras.
– Vi har funnit många studier som undersökt detta på olika sätt. Det är slående att forskarna, trots att de använt olika metoder, kommit fram till så likartade slutsatser: kunskapen om vad man faktiskt kan utläsa av statistiska resultat är bristfällig och missförstånd är vanliga, säger Per Lytsy, anknuten forskare vid Institutionen för folkhälso- och vårdvetenskap på Uppsala universitet.
Missförstånd även bland statistiskt kunniga
I den systematiska översikten har forskarna undersökt 55 studier som publicerades mellan 1963 och 2024. De flesta studierna är enkätundersökningar där deltagarna fått tolka statistiska resultat eller ta ställning till om olika påståenden är korrekta eller felaktiga. Andra studier har undersökt hur statistiska resultat påverkar tilltron till vetenskapliga slutsatser. Bland deltagarna finns studenter, forskare, hälso- och sjukvårdspersonal, statistiker och personer som undervisar i statistik.
Ett återkommande missförstånd är att statistisk signifikans (att ett resultat från en undersökning är verkligt och inte beror på en slump) uppfattas som ett bevis för att en hypotes är sann eller att en effekt är betydelsefull. Ett läkemedel kan exempelvis ge en statistiskt signifikant förbättring utan att förbättringen har någon praktisk betydelse för patienterna.
Ett skäl till att missförstånd är så vanliga kan vara att statistiska begrepp ofta är svåra att förstå och inte alltid stämmer överens med hur vi intuitivt resonerar om sannolikheter och osäkerhet.
Dessutom bygger statistiska metoder på olika teoretiska utgångspunkter och används ibland tillsammans, vilket kan göra det ännu svårare att förstå vilka slutsatser som är berättigade.
– Ett vanligt exempel är att tolka p-värdet som sannolikheten för att den hypotes vi testar är sann eller falsk. Men den slutsatsen kan man inte dra utifrån ett p-värde. Sådana feltolkningar kan leda till att vi tillskriver forskningsresultaten större säkerhet än vad det finns grund för, säger Ronnie Pingel, universitetslektor vid Statistiska institutionen på Uppsala universitet.
Viktigt för utbildning och beslut
Genom att sammanställa studier från flera decennier ger den nya översikten en bredare bild av hur utbredda och återkommande missförstånden är, även bland personer med omfattande utbildning i statistik.
Forskarna hoppas att översikten ska bidra till ökad medvetenhet om statistiska feltolkningar, bättre undervisning i statistik och mer kritisk granskning av vetenskapliga resultat.
– Att kunna använda statistiska metoder är inte samma sak som att förstå vad resultaten betyder. Vår översikt visar att missförstånd är vanliga även bland erfarna forskare. Det riskerar att leda till felaktiga slutsatser och i förlängningen sämre beslut, säger Per Lytsy.
