SketchXplain: 스케치를 활용한 이미지 분류기의 직관적인 시각적 설명

SketchXplain: Intuitive Visual Explanations of Image Classifiers with Sketches

살리언시 맵 시각화는 이미지 기반 AI 예측 결과를 영역을 지목하여 설명하지만, 이러한 방식은 종종 직관적이지 않고 의미적으로 불명확하여 해석 가능성 측면에서 한계를 가지고 있습니다. 본 연구에서는 AI 설명이 사용자 지식과 일치하면서도 단순하고 선택적인 방식으로 제공되어야 한다는 점을 강조합니다. 예술 작품의 드로잉에서 영감을 받아, 우리는 SketchXplain이라는 시스템을 제안하며, 이는 직관적인 이미지 기반 설명 가능한 인공지능(XAI)을 위한 스케치 기반 시각적 설명을 생성합니다. SketchXplain은 살리언시 맵, 컨셉-병목 모델, 스케치 최적화 기술을 결합하여, 일관성 있는 관찰 결과, 지식과의 연관성을 확보하기 위한 개념, 이를 표현하는 단서, 그리고 단순화를 위한 추상화를 통합합니다. 얼굴 표정 인식, 모델링 및 사용자 연구를 통해 SketchXplain이 기존의 살리언시 맵이나 간단한 드로잉보다 빠르고 일관성 있는 시각적 설명을 제공한다는 것을 확인했습니다. 또한, 피부 병변 진단에 대한 추가적인 평가 결과, SketchXplain은 질병 증상을 보다 명확하게 시각화하여 일반 사용자가 진단을 내리는 데 더 큰 도움을 준다는 것을 알 수 있었습니다. 따라서 본 연구는 스케치가 직관적이고 단순하며 일관성 있고 빠른 이미지 기반 XAI 시각화를 위한 중요한 요소임을 보여줍니다.

Saliency map visualizations explain image-based AI predictions by pointing to regions, but these are often unintuitive and semantically unclear, leaving an interpretability gap. We argue that AI explanations should be intuitive -- coherent to user knowledge, yet simple and selective to accelerate interpretation. Inspired by artistic drawings, we propose SketchXplain to generate sketch-based visual explanations for intuitive image-based explainable AI (XAI). Combining techniques in saliency maps, concept-bottleneck models, and sketch optimization, SketchXplain integrates saliency to select coherent observation artifacts, concepts for knowledge coherence, cues to represent them, and abstraction for simplicity. Evaluating on face expression recognition, modeling and user studies showed that SketchXplain supported quicker interpretation with more aligned visualizations than saliency maps or simple drawings. Further evaluation on skin lesion diagnosis found that SketchXplain more coherently visualized disease symptoms, better supporting lay diagnosis. Thus, this work illustrates the value of sketches for intuitive, simple, coherent, and quick image-based XAI visualizations.