CoAX: 인지 기반 설명 사용자 모델 - AI 설명에 대한 인간의 이해

CoAX: Cognitive-Oriented Attribution eXplanation User Model of Human Understanding of AI Explanations

설명 가능한 AI(XAI)는 사용자가 AI 모델을 사용할 때 이해도를 높이고 의사 결정을 개선하는 것을 목표로 합니다. 그러나 XAI 분야의 혁신에도 불구하고, 최근 사용자 평가 결과 이러한 목표 달성이 여전히 어려운 것으로 나타났습니다. 인간 인지에 대한 이해는 사용자가 AI 설명을 효과적으로 활용하는 데 어려움을 겪는 이유를 설명하는 데 도움이 될 수 있습니다. 본 연구는 정형화된(표 형태의) 데이터에 대한 추론에 초점을 맞추어, AI 의사 결정 예측이라는 의사 결정 과제에서 다양한 XAI 방법(설명 없음, 특징 중요도, 특징 기여도)에 따른 추론 전략을 분석했습니다. 우리는 i) 예비 사용자 연구를 통해 추론 전략을 도출하고, ii) 종합 사용자 연구를 통해 의사 결정을 수집했습니다. 인지 모델링을 사용하여 각 추론 전략의 기반 프로세스를 구현하고, 인간의 의사 결정과 얼마나 일치하는지 평가했습니다. 연구 결과, 제안된 모델이 기존의 머신 러닝 모델보다 인간의 의사 결정과 더 잘 부합했으며, 어떤 추론 전략이 효과적인지(또는 효과적이지 않은지)에 대한 통찰력을 제공했습니다. 또한, 개발된 모델을 사용하여 실제 인간 참가자를 활용한 연구가 비용적으로 부담스러운 연구 질문에 대한 가설을 설정하고 조사하는 방법을 보여주었습니다. 본 연구는 XAI에 대한 인간의 이해를 개선하는 데 기여하며, 더 사용하기 쉽고 해석 가능한 AI 설명을 개발하는 데 필요한 정보를 제공합니다.

Explainable AI (XAI) aims to improve user understanding and decisions when using AI models. However, despite innovations in XAI, recent user evaluations reveal that this goal remains elusive. Understanding human cognition can help explain why users struggle to effectively use AI explanations. Focusing on reasoning on structured (tabular) data, we examined various reasoning strategies for different XAI methods (none, feature importance, feature attribution) in the decision task of anticipating AI decisions (i.e., forward simulation). We i) elicited reasoning strategies from a formative user study, and ii) collected decisions from a summative user study. Using cognitive modeling, we implemented the processes underlying each reasoning strategy and evaluated their alignment with human decision-making. We found that our models better fit human decisions than baseline machine learning proxies, providing insights into which reasoning strategies are (in)effective. We then demonstrate how the fitted model can be used to form hypotheses and investigate research questions that are costly to study with real human participants. This work contributes to debugging human understanding of XAI, informing the future development of more usable and interpretable AI explanations.