Vilken forskare som analyserar datan kan påverka resultaten

I vilken utsträckning beror studiers resultat på vem som analyserar dem? Det har hundratals forskare undersökt genom att analysera 100 studier inom samhälls- och beteendevetenskap på nytt. Resultaten visar att resultaten ofta blev olika, men slutsatserna var ofta mer samstämmiga.

En studie ledd av Eötvös Loránd-universitetet i Budapest i Ungern, där en forskare från Umeå universitet medverkat, har satt en siffra på något som den publicerade vetenskapliga litteraturen vanligtvis inte fördjupar sig särskilt mycket i: Hur mycket beror ett resultat på den enskilda person som råkar analysera datan?

100 studier inom samhälls- och beteendevetenskap har analyserats på nytt av 457 oberoende forskare.

Vart och ett av 100 publicerade påståendena gavs till minst fem oberoende analytiker. Varje analytiker fick tillgång till data och påståenden, men inga instruktioner om hur de skulle testas. Frågan var enkel: om kompetenta forskare får göra egna, välgrundade val kring hur samma data ska analyseras – kommer de då fram till samma svar?

Resultaten visar ett endast en tredjedel av de nya uppskattningarna av effektstorlek* låg nära originalen.

*Effektstorlek är ett mått som kan användas för att bedöma och tolka storleken på ett statistiskt resultat.

En tredjedel av resultaten, tre fjärdedelar av slutsatserna

Oftast blev resultaten olika – åtminstone när det gäller de exakta siffrorna. I drygt en tredjedel av fallen låg de nya beräkningarna nära originalet, och med ett större spann ökade det till drygt hälften.

Däremot var slutsatserna mer samstämmiga: i nästan tre av fyra fall drog forskarna samma övergripande slutsats som i originalstudien. Skillnaderna kunde inte förklaras av analytikernas statistiska expertis, och större datamängder gjorde inte resultaten mer enhetliga.

Det innebär inte att den publicerade litteraturen generellt är felaktig, utan att en enskild analysväg genom ett dataset inte räcker för att avgöra en fråga.

Författarna bakom studien rekommenderar därför att resultat med stor betydelse kompletteras med strukturerade robusthetsrapporter eller analyser utförda av flera oberoende forskare.

Tydligare bild av hur vetenskap fungerar

Marcus Kubsch, universitetslektor vid Institutionen för naturvetenskapernas och matematikens didaktik på Umeå universitet, arbetade med tre av de 100 datamängderna. Han byggde sina egna analyser utifrån påståendena och rådata och skickade in kod och resultat till projektledningen.

Hans intresse för ämnet började redan som masterstudent och som doktorand upptäckte han, medan han analyserade data i ett annat projekt, ett dolt fel i ett R‑skript som hade lett till förhöjda effektstorlekar.

– När man väl har sett ett sådant fel börjar man undra hur ofta samma sak händer utan att upptäckas, säger han.

Nu har han alltså tillsammans med hundratals forskare undersökt detta närmare.

– Flera hundra personer på alla kontinenter var villiga att lägga ned verklig arbetstid på ett problem där den enda belöningen är en tydligare bild av hur vetenskap faktiskt fungerar. Det säger något både om forskningsfältet och om resultaten.

Vetenskaplig artikel:

Investigating the analytical robustness of the social and behavioural sciences, Nature.