Ny avhandling om benchmark sviter för referensanalys
Referensanalys är ett viktigt forskningsämne inom datavetenskapen, eftersom det kan göra programvara snabbare och mer robust. För att särskilja de lovande från de mindre lovande metoderna, måste exaktheten på olika analysmetoder jämföras experimentellt mot varandra. För detta används så kallade benchmark sviter. I dag finns det inga standardiserade benchmark sviter för just referensanalys. I en avhandling från Linnéuniversitetet presenterar Tobias Gutzmann den teoretiska grunden för benchmarking referensanalys, och ger verktyg för att skapa och använda sådana benchmark sviter.
Dagens forskare använder ad-hoc benchmark sviter, bestående av egna testdata och egna regler för mätmetoden, för att utvärdera sina senaste resultat. Sedan jämför de den ”gamla” versionen av sin metod med den ”nya” versionen, och visar hur den ”nya” versionen förbättrar exaktheten. Tobias Gutzmann jämför olika sådana ad-hoc benchmark sviter och konstaterar att inte bara olika forskargrupper använder olika ad-hoc benchmark sviter, men att även samma forskare använder olika sviter över tiden. Detta gör det svårt att jämföra resultaten av olika metoder för referensanalys, eftersom de siffror som presenteras i experimentella resultat inte kan jämföras mellan olika forskningspublikationer.
I avhandlingen presenterar Tobias en teoretisk grund för benchmarking referensanalys, som visar hur man undviker fallgropar som ofta verkar ha ignorerats tidigare. Dessutom ger han verktygen för att skapa och använda benchmark sviter. Slutligen visar han hur man skapar exakta analysresultat, en så kallade Gold Standard, genom en gemensam ansträngning från forskarvärlden. En sådan Gold Standard kan visa vilka brister i exakthet aktuella metoder på referensanalys har. Han visar också på framtida forskningsidéer inom området.
Tobias Gutzmann kommer ursprungligen Tyskland. De senaste sju åren har han studerat och forskat vid Linnéuniversitetet.
Avhandlingen ”Benchmarking Points-to Analysis” kan beställas via lupress@lnu.se.
