SPD-Faith 벤치마크: 다중 모드 대규모 언어 모델의 연쇄적 사고 과정에서의 충실성 진단 및 개선

SPD-Faith Bench: Diagnosing and Improving Faithfulness in Chain-of-Thought for Multimodal Large Language Models

연쇄적 사고(Chain-of-Thought)는 다중 모드 대규모 언어 모델(MLLM)의 해석 가능성을 향상시키는 데 널리 사용되지만, 생성된 추론 과정의 충실성은 여전히 불분명합니다. 기존 연구는 주로 지각적 환각에 초점을 맞추고 있으며, 추론 수준에서의 충실성 문제는 상대적으로 덜 탐구되었습니다. 본 연구에서는 언어적 편향으로부터 충실성을 분리하기 위해, 정교한 이미지 차이 기반 추론을 통해 명시적인 시각적 비교를 강제하는 진단 벤치마크인 SPD-Faith Bench를 소개합니다. 최첨단 MLLM에 대한 평가 결과, 지각적 무관심과 지각-추론 분리라는 두 가지 체계적인 오류 패턴이 나타났습니다. 이러한 오류는 잔여 스트림에서 시각적 주의력 감소 및 표현 변화로 인해 발생합니다. 이러한 분석을 바탕으로, 시각적 라우팅을 개선하고 추론과 지각을 일치시키는 훈련 불필요한 시각적 증거 교정 프레임워크인 SAGE를 제안합니다. 우리의 결과는 응답의 정확성 외에도 명시적으로 충실성을 평가하는 것의 중요성을 강조합니다. 본 벤치마크 및 코드는 https://github.com/Johanson-colab/SPD-Faith-Bench 에서 확인할 수 있습니다.

Chain-of-Thought reasoning is widely used to improve the interpretability of multimodal large language models (MLLMs), yet the faithfulness of the generated reasoning traces remains unclear. Prior work has mainly focused on perceptual hallucinations, leaving reasoning level unfaithfulness underexplored. To isolate faithfulness from linguistic priors, we introduce SPD-Faith Bench, a diagnostic benchmark based on fine-grained image difference reasoning that enforces explicit visual comparison. Evaluations on state-of-the-art MLLMs reveal two systematic failure modes, perceptual blindness and perception-reasoning dissociation. We trace these failures to decaying visual attention and representation shifts in the residual stream. Guided by this analysis, we propose SAGE, a train-free visual evidence-calibrated framework that improves visual routing and aligns reasoning with perception. Our results highlight the importance of explicitly evaluating faithfulness beyond response correctness. Our benchmark and codes are available at https://github.com/Johanson-colab/SPD-Faith-Bench.