Badacze Jagiellońskiego Centrum Sztucznej Inteligencji (JCSI) i Grupy Metod Uczenia Maszynowego we współpracy z naukowcami z Max Planck Institute for Informatics, opracowali nową metodę DAVE, która pozwala zajrzeć "do środka" nowoczesnych modeli AI i zrozumieć, na jakiej podstawie podejmują one swoje decyzje.
Kiedy chatbot, system medyczny lub algorytm rozpoznający twarze wydaje wyrok, skąd wiadomo, że można mu ufać? To pytanie staje się coraz ważniejsze w czasach, gdy sztuczna inteligencja podejmuje decyzje w bankach, szpitalach i sądach. Odpowiedzią na nie jest dziedzina zwana wyjaśnialnością AI (Explainable AI, XAI): naukowcy szukają metod, które pozwolą zobaczyć, co tak naprawdę „widzi” i „myśli” model.
Szczególnie trudnym orzechem do zgryzienia jest Vision Transformer – architektura AI, która w ostatnich latach zrewolucjonizowała rozpoznawanie obrazów i stała się fundamentem wielu nowoczesnych systemów, w tym modeli wielomodalnych łączących tekst z obrazem. Problem w tym, że dotychczasowe metody wyjaśniania ich decyzji dawały niestabilne, niewyraźne wyniki – trochę jakby próbować zrozumieć lekarza, który wskazuje przypadkowe miejsca na zdjęciu rentgenowskim zamiast faktycznej zmiany.
Naukowcy Jagiellońskiego Centrum Sztucznej Inteligencji (JCSI) i Grupy Metod Uczenia Maszynowego, działającej na naszym Wydziale, we współpracy z uczonymi z Max Planck Institute for Informatics, opracowali nową metodę DAVE, która rozwiązuje ten problem przez matematycznie uzasadnione „rozkładanie” tego, jak model przetwarza obraz.
Metoda rozdziela to, co w działaniu sieci jest stabilne i znaczące, od artefaktów wynikających wyłącznie z jej architektury – szumów, które zaciemniają prawdziwy obraz decyzji. W efekcie powstają precyzyjne, wysokiej rozdzielczości mapy pokazujące dokładnie, które fragmenty obrazu wpłynęły na decyzję modelu i które pozostają spójne, nawet gdy obraz jest lekko obrócony czy przesunięty.
To osiągnięcie doceniła społeczność naukowa ICML (International Conference on Machine Learning) - jednej z czołowych konferencji AI na świecie. W tym roku otrzymała rekordowe 23 918 zgłoszeń - dwukrotnie więcej niż rok wcześniej. Przyjęto 26,6 proc. prac. Tytuł spotlight otrzymało zaledwie 536 z nich, czyli 2,2 proc. wszystkich zgłoszeń, rekomendowanych przez komitet programowy jako prace o szczególnym znaczeniu dla dziedziny.
Praca „DAVE: Distribution-aware Attribution via ViT Gradient Decomposition” jest dostępna na stronie internetowej arxiv.org.
