규칙인가, 가중치인가? 인지적 XAI 적응 모델을 활용한 설명 가능한 AI 기법에 대한 사용자 이해도 비교

Rules or Weights? Comparing User Understanding of Explainable AI Techniques with the Cognitive XAI-Adaptive Model

규칙(Rules)과 가중치(Weights)는 AI의 의사결정을 설명하기 위해 널리 사용되는 XAI(설명 가능한 AI) 기법이다. 그러나 해석 가능성을 비교할 인지적 프레임워크가 부족하여 이 둘 중 무엇을 선택해야 할지는 여전히 불분명하다. 순방향(forward) 및 반사실적(counterfactual) 의사결정 과제에 대한 도출(elicitation) 사용자 연구에서 우리는 가중치, 규칙 및 이들의 하이브리드라는 세 가지 XAI 스키마를 해석하는 7가지 추론 전략을 식별했다. 이러한 역량을 분석하기 위해, 우리는 인스턴스 속성, 선형 가중치 및 의사결정 규칙을 인코딩하는 공유 메모리 표현을 갖춘 인지적 XAI 적응 모델인 CoXAM(Cognitive XAI-Adaptive Model)을 제안한다. CoXAM은 계산적 합리성을 사용하여 순방향 또는 반사실적 의사결정 과제 각각에 대해 효용과 추론 시간 간의 트레이드오프를 바탕으로 추론 프로세스 중 하나를 선택한다. 검증 연구에서 CoXAM은 베이스라인 머신러닝 프록시 모델과 비교해 인간의 의사결정과 더 강한 일치성을 보여주었다. 이 모델은 반사실적 과제가 순방향 과제보다 본질적으로 더 어렵다는 점, 의사결정 트리 규칙이 선형 가중치보다 기억하고 적용하기 어렵다는 점, XAI의 유용성은 적용 데이터 맥락에 따라 달라진다는 점 등 여러 주요 경험적 발견을 성공적으로 재현하고 설명했으며, 이와 함께 가장 효과적인 기저의 추론 전략이 무엇인지도 식별해 냈다. 우리는 CoXAM을 통해 상이한 XAI 기법들의 디버깅과 벤치마킹을 가속할 수 있는 인지적 기반을 제공하는 데 기여한다.

Rules and Weights are popular XAI techniques for explaining AI decisions. Yet, it remains unclear how to choose between them, lacking a cognitive framework to compare their interpretability. In an elicitation user study on forward and counterfactual decision tasks, we identified 7 reasoning strategies of interpreting three XAI Schemas - weights, rules, and their hybrid. To analyze their capabilities, we propose CoXAM, a Cognitive XAI-Adaptive Model with shared memory representation to encode instance attributes, linear weights, and decision rules. CoXAM employs computational rationality to choose among reasoning processes based on the trade-off in utility and reasoning time, separately for forward or counterfactual decision tasks. In a validation study, CoXAM demonstrated a stronger alignment with human decision-making compared to baseline machine learning proxy models. The model successfully replicated and explained several key empirical findings, including that counterfactual tasks are inherently harder than forward tasks, decision tree rules are harder to recall and apply than linear weights, and the helpfulness of XAI depends on the application data context, alongside identifying which underlying reasoning strategies were most effective. With CoXAM, we contribute a cognitive basis to accelerate debugging and benchmarking disparate XAI techniques.