Så kan AI bli mer transparent och tillförlitlig
När artificiell intelligens används för att stödja eller fatta viktiga beslut inom exempelvis vård och offentlig förvaltning blir det avgörande att förstå hur systemen resonerat. I en ny avhandling från Göteborgs universitet presenteras en metod för hur AI-system kan utformas för att redovisa underlaget bakom sina slutsatser.
Dagens AI-assistenter baseras på stora språkmodeller som genererar svar utifrån statistiska mönster i text. Men systemen kan också ”hallucinera” och hitta på information som framstår som trovärdig. Ett uppmärksammat exempel är när vice statsminister Ebba Busch nyligen spred ett citat som en AI felaktigt påstod sig ha hittat i två olika källor, när citatet i själva verket var påhittat.
I sin avhandling visar Alexander Berman hur AI-system kan utformas för att i dialog med användaren förklara vilka fakta, regler eller observationer som ligger bakom deras slutsatser – ungefär så som människor gör när de motiverar sina resonemang.
– En viktig skillnad jämfört med språkmodeller är att förklaringarna faktiskt speglar hur systemet har resonerat, och inte bara låter övertygande, säger Alexander Berman, doktorand i datalingvistik vid Göteborgs universitet.
Transparens avgörande
I stället för att låta språkmodellen ensam generera både svar och förklaringar bygger metoden på att systemet har tillgång till information om vilket underlag som ligger bakom dess slutsatser och använder denna information när det förklarar sitt resonemang för användaren.
Språkmodeller kan fortfarande användas som komponenter i systemet, exempelvis för att tolka användarens frågor eller anpassa svaren till det aktuella sammanhanget, utan att systemets tillförlitlighet äventyras.
– Tillförlitlighet och transparens är avgörande när AI-system används för att fatta viktiga beslut. Människor måste ges en chans att bedöma om beslutet är väl underbyggt, säger Alexander Berman.
Han hoppas att forskningen ska bidra till utvecklingen av AI-system som människor faktiskt kan lita på, och att avhandlingen inspirerar till fortsatt forskning.
Avhandlingen What do you base that conclusion on? Grounding explainable AI in human dialogue strategies försvaras vid en disputation den 4 juni, klockan 10.15 i Jubileumssalen, Humanisten, Renströmsgatan 6 i Göteborg.
Disputationen går att ta del av digitalt via Zoom: https://gu-se.zoom.us/j/67994493431 och avhandlingen finns att läsa online: https://hdl.handle.net/2077/91236
Kontakt
Alexander Berman, doktorand i datalingvistik vid Göteborgs universitet, tel: 070-400 9942, e-post: alexander.berman@gu.se