AI-stöd vid mål­igenkänning rubbade operatörers omdöme

AI kan hjälpa till att känna igen mål i drönarbilder, men det är ofta oklart hur måligenkänningen går till. Forskare på FOI har testat att ge operatörer ett verktyg som visar vad AI-bedömningen baseras på. Stödet gav dock oväntade effekter på operatörernas egen bedömningsförmåga.

På uppdrag av Försvarsmakten har en grupp FOI-forskare undersökt hur operatörer kan ha hjälp av AI för att känna igen mål i bilder från obemannade flygfarkoster, så kallade UAV:er eller drönare. En teknik som verkar lovande är djupa neuronnät. Neuronnät, eller neurala nätverk, är en variant inom maskininlärning där modellen efterliknar den mänskliga hjärnan. Djupa neuronnät har flera lager av artificiella neuroner som processar information, och modellen lär sig av erfarenhet – som att tränas på stora dataset med bilder.

– Neuronnät har väldigt hög prestanda, i alla fall om man har tillräckligt bra data i tillräcklig mängd för att träna upp dem. Problemet är att det är väldigt svårt att förstå exakt vad det är som gör att de kommer fram till en viss prediktion, säger Peter Svenmarck, förste forskare på FOI:s avdelning Cyberförsvar och ledningsteknik.

Tillsammans med FOI-kollegorna Ulrika Wickenberg Bolin, Daniel Oskarsson och Rogier Woltjer har han skrivit rapporten Evaluation of Target Classification Performance of UAV Imagery with RISE Saliency Map Explanations.

Förklarar neuronnätets prediktioner

Utan att förstå hur neuronnät kommer fram till en viss prediktion är det svårt för mänskliga användare att veta om den är rimligt. Därför har det utvecklats ett forskningsområde, explainable AI eller förkortat XAI, där det tas fram metoder för att människor bättre ska kunna förstå och bedöma neuronnätens prediktioner.

– Det finns väldigt många förslag på metoder som ska kunna ge förklaringar till varför man får ett visst svar framför ett annat. Men mycket få metoder utvärderas av användare. Det finns ingen formell definition av vad som är en bra förklaring, säger Peter Svenmarck.

En metod för att förklara neuronnäts bedömningar av bilder är så kallade särdragsförklaringar. De markerar de särdrag i en bild som neuronnätet baserar sin bedömning på, till exempel vad som gör att neuronnätet tycker att bilden visar en personbil eller en stridsvagn.

I experimentet som Peter Svenmarck och hans FOI-kollegor gjorde fick 16 deltagare genomföra måligenkänning av militära fordon utifrån UAV-bilder. De fick göra måligenkänningen på tre olika sätt: utan stöd, med stöd av ett djupt neuronnät som föreslog vad bilden visade, och slutligen också med stöd av särdragsförklaringar i form av metoden RISE, Randomized Input Sampling for Explanation.

– Den här metoden är modelloberoende och kan användas oavsett hur arkitekturen för neuronnätet ser ut. Den ställer frågor till modellen, där den täcker över vissa delar av bilden. Då kan den se för vilka områden modellen är mest känslig. Och de områdena visas för användaren som särskilt viktiga, säger Peter Svenmarck.

Mer stöd gav sämre bedömning

Forskarna trodde att deltagarna i experimentet skulle bli bättre på att känna igen mål när de fick stöd av ett djupt neuronnät. De utgick från att deltagarna skulle bli ännu bättre på måligenkänning om de även fick stöd av RISE, och att RISE skulle göra dem bättre på att avgöra när det djupa neuronnätets klassificeringar var felaktiga.
Så blev det dock inte.

– Det blev precis tvärtom. Ju mer stöd deltagarna fick, desto sämre presterade de i måligenkänningen. Det har framför allt att göra med att det blev svårt för dem när neuronnätets målklassificering var inkorrekt, säger Peter Svenmarck.

När deltagarna fick stöd av både neuronnätet och RISE litade de i hög grad på neuronnätets bedömningar. Därmed missade de ofta när neuronnätet gjorde felaktiga klassificeringar. Å andra sidan var de mer misstänksamma när klassificeringarna i själva verket var rätt.

Deltagarna hade helt enkelt svårt att bedöma hur tillförlitliga klassificeringarna var. Forskarna tror det har att göra med att deras eget omdöme underminerades av att få hjälp av AI-stöden. Den här sortens resultat är inte okända sedan tidigare, utan räknas till en kategori av problem med explainable AI som kallas för XAI Pitfalls.

– Man litar på klassificeringarna, de rekommendationer man får från neuronnätet, i större utsträckning än man bör göra. Och explainable AI förstärker de här effekterna, säger Peter Svenmarck.

Brist på empiriska utvärderingar

Resultaten betyder inte att det måste vara en dålig idé att använda neuronnät och särdragsförklaringar som beslutsstöd vid måligenkänning, menar Peter Svenmarck. Men man måste pröva olika sätt och se hur det blir i praktiken. Det råder stor brist på empiriska utvärderingar inom XAI.

Han hänvisar till debatten som finns kring autonoma vapensystem, och huruvida de ska ha möjlighet att välja mål självständigt utan mänsklig inblandning.

– Många hävdar att det måste vara en människa med och ta de här besluten. Men då måste man kontrollera att de faktiskt blir bättre.

Andra metoder än särdragsförklaringar som RISE är intressanta att undersöka vidare, enligt Peter Svenmarck. Konceptbaserade förklaringar går in i detalj på neuronnätet och beräknar exakt vilka delar som har mest relevans för prediktionerna. Forskarna är även intresserade av textbaserade förklaringar.

Nu jobbar Peter Svenmarck och hans forskarkollegor vidare med förklaringar till neuronnäts bedömningar i ytterligare minst två år.

– Vi vill även studera förklaringar för stora språkmodeller. De används allt mer som militära beslutsstöd.

Läs rapporten

Läs mer