AI:s mystiska ”svarta låda” har öppnats av professor i Umeå

En av pionjärerna inom förklarande AI har tagit fram en avancerad modell som förklarar vad AI egentligen gör. Modellen öppnar AI:s ”svarta låda” och finns tillgänglig för i stort sett alla AI-system. – Den kan vara till stor nytta för samhälle och näringsliv för att förstå och förklara beslut som tas av AI, maskininlärningsmodeller och neurala nätverk, säger Kary Främling, professor vid Institutionen för datavetenskap.

AI och maskininlärning används av myndigheter, sjukvård, näringsliv och industri. Så kallade djupinlärningsmetoder kan nu diagnostisera patienter i vården, mycket snabbare än människor. Men vad är det som gör att ett AI-system rekommenderar en viss sorts behandling och inte en annan, och hur kommer den fram till sina beslut?

– Explainable AI, eller förklarande AI, är ett område som många är intresserade av men som få känner till, eller behärskar fullt ut. De förklaringsmodeller som finns idag är inte heller tillräckligt begripliga för gemene man, säger Kary Främling, WASP-professor i förklarande AI vid Institutionen för datavetenskap på Umeå universitet.

Han har utvecklat CIU-metoden, Contextual Importance and Utility, och menar att den är mer effektiv än andra förklaringsmodeller för AI.

– Tyvärr var många forskare kvar i ett visst tankesätt, medan jag tidigt insåg att dessa modeller var för begränsade. I slutet av 1990-talet var dock tiden inte mogen, men jag fortsatte att utveckla CIU-metoden och idag kan jag se att det var ett bra val på lång sikt, säger Kary Främling.

Ett AI-system är ett system där ett eller flera ingångsvärden ges till en AI-modell eller ett AI-system, som sedan bearbetar informationen och producerar ett eller flera utgångsvärden. Med CIU-metoden kan man studera och förklara hur en förändring av en eller flera indata – variabler som ”ålder”, ”kön”, ”arbete” eller ”studier” – påverkar slutresultatet.

– För mig handlar det om att se till att var och en av oss kan förstå sjukhusets beslut, bankens svar på en låneansökan eller en myndighets beslut, säger Kary Främling.

AI-system som använder neurala nätverk, så kallade black box AI-system, ansågs tidigare omöjliga att förklara. Därför skapade man så kallade ”surrogatmodeller” i ett försök att imitera hur det faktiska AI-systemet fungerade och analysera vad det gjorde. Explainable AI bygger fortfarande på denna idé. CIU skapar dock inte en surrogatmodell. Istället analyserar man AI-modellens funktion utifrån hur outputs varierar som funktion av inputs.

– Det är fullt möjligt att få mer korrekt information, och inte bara en ”föraning” om vad som hände eller gick fel i ett AI-system. CIU kan ge stora möjligheter för företag och deras kunder, men också för myndigheter och medborgare, säger Kary Främling.

FAKTA CIU

CIU är implementerat i programmeringsspråken Python och R och dess källkod är offentligt tillgänglig på Github. CIU kan också installeras som ett bibliotek och i princip integreras med vilket AI-system som helst. Modellen kan till och med förklara resultat från ”klassiska” AI-system som inte använder maskininlärning. CIU kan även appliceras på tidsserier och språkmodeller, men det är pågående forskning.

För mer information, kontakta gärna:

Kary Främling, professor vid Institutionen för datavetenskap, Umeå universitet: kary.framling@umu.se.

Victoria Skeidsvoll, kommunikatör vid Institutionen för datavetenskap: victoria.skeidsvoll@umu.se eller 070-616 57 88.