Hälften av samhällsvetenskapliga resultat kan inte upprepas
Långt ifrån alla studier inom samhälls- och beteendevetenskap kan upprepas och få samma resultat igen. Det visar en stor internationell studie som undersökt vetenskaplig tillförlitlighet.
Ett stort internationellt samarbete om vetenskaplig tillförlitlighet, som forskare från bland annat Karolinska institutet medverkat i, har gått i mål. Forskningsprogrammet, som kallas SCORE, omfattar 865 forskare som analyserat närmare 3 900 vetenskapliga artiklar publicerade mellan 2009 och 2018 i 62 tidskrifter inom kriminologi, ekonomi, utbildningsvetenskap, hälsovetenskap, ledarskap, marknadsföring, organisationsbeteende, psykologi, statsvetenskap, offentlig förvaltning och sociologi.
I tre studier publicerade i Nature har olika metoder använts för att undersöka om forskningsresultaten är tillförlitliga. Frågeställningarna var om resultaten går att reproducera, om de är robusta respektive om de går att replikera. Replikering innebär att man testar samma frågeställning men med nya data.
I replikeringsstudien analyserade forskarna 164 tidigare publicerade resultat inom samhälls- och beteendevetenskap. Resultatet visar att knappt hälften, 49 procent, kunde upprepas med en liknande effekt som i originalstudien.
Brist på delad data gjorde det svårt att upprepa studier
I studien om reproducerbarhet gjordes i stället samma analys på samma data som i originalstudien. Reproducerbarheten försvårades av att data ofta inte var tillgängliga: knappt en fjärdedel av de studerade artiklarna hade delat data öppet.
Av totalt 143 artiklar kunde 74 procent reproduceras ungefärligen och 54 procent exakt. När originaldata och kod fanns delade var motsvarande siffror 91 respektive 77 procent.
– Det visar att öppenhet är nyckeln till trovärdiga forskningsresultat. Delning av forskningsdata gör det möjligt för utomstående att bedöma vilka resultat som går att lita på, säger Gustav Nilsonne, docent i neurovetenskap vid Karolinska institutet.
Med alternativa analyser fick en av tre samma resultat
I studien om robusthet prövades alternativa analyser på samma data i 100 olika artiklar. För varje artikel analyserade minst fem forskare samma hypotes med samma data, men med den typ av analys de själva bedömde vore bäst.
Endast en tredjedel av de nya analyserna fick nästan exakt samma resultat som i originalstudien. Tre av fyra analyser nådde dock samma övergripande slutsats som den ursprungliga artikeln. Men i ungefär en fjärdedel av fallen hittades inga tydliga effekter alls, och i ett fåtal fall (cirka två procent) pekade resultaten åt motsatt håll.
– Det här är världens hittills största forskningsprojekt som undersökt tillförlitlighet hos rapporterade vetenskapliga resultat och ett exempel på hur stora samarbeten kan ta sig an frågor som ingen forskargrupp ensam skulle kunna besvara. Jag hoppas att vi kommer att få se systematiska replikeringsförsök i fler forskningsfält framöver, avslutar Gustav Nilsonne.
Vetenskapliga artiklar:
Investigating the reproducibility of the social and behavioural sciences, Nature.
Investigating the analytical robustness of the social and behavioural sciences, Nature.
Investigating the replicability of the social and behavioural sciences, Nature.
