Chattbotar som terapeuter – inte riskfritt

Appar som lovar lindring av psykisk ohälsa växer lavinartat. Men eftersom många klassas som friskvård skyddas inte sårbara användare av en ny EU-förordning. Forskare manar därför till försiktighet vid val av appar som inte utvecklats av vårdgivare.

– Många som använder den här typen av appar är desperata efter hjälp. Men när du ger råd till sjuka måste det vara kvalificerade råd, säger forskaren Petra Müllerová vid Lunds universitet.

Petra Müllerová forskar om medicinsk rätt med inriktning på ny e-hälsoteknik och dess reglering på EU-nivå. Hon konstaterar att friskvårdsapparna befinner sig i en juridisk gråzon eftersom de kategoriseras just som friskvård.

– Appar som säger sig behandla sjukdomar regleras på EU-nivå som medicintekniska produkter. Många tillverkare säger sig i stället ägna sig åt friskvård som inte är lika hårt reglerat. Reglering kräver certifiering vilket kostar pengar och ställer höga krav på bland annat dataskydd och evidensbaserad vård, säger Petra Müllerová.

Därför är en mycket liten del av apparna certifierade.

– Det är bra att vi har den nya AI-förordningen, men den omfattar således bara en bråkdel av apparna som finns på marknaden. En majoritet av apparna befinner sig i en gråzon och låtsas att de inte har ett medicinskt fokus, säger Petra Müllerová.

Baseras inte på vetenskap

Många som lider av psykisk ohälsa väljer att ladda ned en app, antingen i stället för att söka vård eller som komplement till vårdkontakter.

Men frånvaron av både kvalificerad sjukvårdspersonal och evidensbaserad vård i dessa appar – det vill säga vård baserad på vetenskaplig grund – är mycket problematiskt, enligt Petra Müllerová. Det är inte heller tillräckligt tydligt vilken typ av AI som används.

– Drabbade av psykisk ohälsa kan i många länder vänta i månader på vård, och i väntan på att få träffa en läkare kanske de laddar ned en app baserat på sådant som pris och antal stjärnor. Men om du lider av psykisk ohälsa och får okvalificerade råd kan det få mycket negativa konsekvenser, säger Petra Müllerová.

– Vissa använder det kanske till och med i stället för att söka vård, eftersom det är mer bekvämt att prata med en AI i en app som man laddat ned.

Svårt att kontrollera

I dagsläget är marknaden för friskvårdsappar helt oreglerad. Men även om det fanns en reglering på plats skulle den vara omöjlig att efterleva, menar Petra Müllerová.

– Vi har cirka 70 000 appar som handlar om psykisk hälsa inom EU. Även om de skulle vara reglerade, vem skulle kontrollera alla dessa appar? Det är redan omöjligt att kontrollera att de följer GDPR.

Det är alltså svårt att få kontroll på apparna, men det finns initiativ för att skapa mer ordning i oredan. Ett exempel i Norden är en katalog över säkra hälsoappar som NordDEC tagit fram.

Databas med säkra appar

NordDEC, Nordic Digital Health Evalutation Criteria, är ett nytt initiativ i Norden som startat för en säkrare digital vård.

NordDEC erbjuder en katalog av olika appar och bedömer dem sett till data och integritet, teknisk säkerhet och stabilitet, användbarhet och tillgänglighet samt att de är trygga och effektiva för både vårdpersonal och patienter.

Databasen riktar sig till hälso- och sjukvårdspersonal.

I praktiken kan vem som helst ta fram en friskvårdsapp som utlovar lindring av ångest eller depression. Medan vissa nöjer sig med att erbjuda lugnande vågskvalp fungerar andra som AI-modeller som det går att prata med.

Låtsas vara människor

Petra Müllerová har själv provat att prata med AI-modeller i ett urval av appar som finns på marknaden. Hon reagerade på att de försöker framstå som mänskliga. Hon frågade till exempel hur AI-modellen mådde, och fick då svaret att den hade en bra dag. Men en AI-modell kan inte ha egna känslor eller uppfattningar på det sättet.

– Tillverkarna är skyldiga att berätta för användaren att det handlar om AI-modeller och inte människor. Därför kommer brasklappen i början: ”Mitt namn är X och jag är en AI. Jag kommer vara din guide.” Efter detta låtsas de vara människor. Det är effektivt – användaren fortsätter använda appen eftersom de byggt en relation till sin AI-modell. Men det är högst oetiskt sett till WHO:s rekommendationer.

När Petra Müllerová använt olika appar har hon till exempel simulerat en användare som uttrycker självmordstankar – som ett slags ”värsta scenario”.

– I detta läge bör en AI-modell identifiera att det här är ett allvarligt problem och uppmana användaren att ringa 112. Men en jag provade frågade mig om jag ville lyssna på meditationsmusik.

Kan vara komplement till vård

Apparna kan vara ett bra komplement till den vård som ges av sjukvården, menar Petra Müllerová, men det kan inte vara enda lösningen.

– Användaren bör alltid välja en app som har utvecklats av hälso- och sjukvårdspersonal, som skyddar deras data och som har ett etiskt förhållningssätt.

Artikeln är ursprungligen publicerad i Lunds universitets nyhetsbrev Apropå.

Vetenskaplig studie:

The Role of AI in Mental Health Applications and Liability. Studien ingår i bokserien YSEC Yearbook of Socio-Economic Constitutions 2023.