행동을 수정하는 것이 아니라 사고방식을 교정하라: 지식 격차 위치 추이를 통한 해석 가능한 AI 지원

Fix the Mind, Not the Move: Interpretable AI Assistance via Knowledge-Gap Localization

인간-AI 협업 환경에서 AI 어시스턴트는 종종 행동 피드백(예: 자율 주행 보조 시스템에서의 경고 또는 조향 장치 미세 조정)을 통해 인간의 비효율적인 행동을 수정합니다. 이러한 개입은 즉각적인 오류를 완화할 수 있지만, 장기적인 개선을 위해서는 반복적인 실수를 유발하는 근본적인 오해를 해결해야 합니다. 본 논문에서는 사용자의 오해를 상호 작용 행동으로부터 추론하고, 이를 교정하기 위한 표적화된 최소한의 제안을 제공하는 프레임워크인 SENSEI를 소개합니다. 우리의 접근 방식은 행동 또는 경로 수준에서의 개입과는 달리, 구조화된 지식 표현을 활용하여 오류 발생 원인을 정확하게 파악하고 수정합니다. 세 가지 장기적인 과제에서 다양한 오해와 이에 상응하는 행동 패턴을 분석한 결과, SENSEI는 단일 오해 사례만을 학습했음에도 불구하고 여러 겹쳐진 오해를 분리하며 뛰어난 일반화 능력을 보여줍니다. 사용자 연구 결과에서도 본 방법론이 실제 인간의 오해를 정확하게 식별하고, 장기적인 과제 수행 능력을 향상시키는 효과적인 지침을 제공하여 학생들의 $90%$에 해당하는 오해를 성공적으로 교정하는 것으로 나타났습니다. 코드 및 프로젝트 페이지는 https://misoshiruseijin.github.io/SENSEI/ 에서 확인할 수 있습니다.

AI assistants in human-AI collaboration often correct suboptimal human actions through behavioral feedback (e.g., alerts or steering-wheel nudges in assistive driving). Such interventions can mitigate immediate errors, but long-term improvement requires addressing the underlying misconceptions that cause repeated mistakes. We introduce SENSEI, a framework that infers user misconceptions from interaction behavior and provides targeted, minimal yet sufficient suggestions to correct them. Our approach departs from action- or trajectory-level interventions by operating over a structured knowledge representation to localize and correct the sources of erroneous behavior. Across three long-horizon tasks with diverse misconceptions and corresponding behaviors, SENSEI demonstrates zero-shot compositional generalization, disentangling multiple overlapping misconceptions despite training only on single-misconception cases. A user study further shows that our method identifies real human misconceptions and provides effective guidance that improves long-horizon task performance, successfully correcting $90\%$ of student misconceptions. Code and project page are available at https://misoshiruseijin.github.io/SENSEI/.