FACT-E: 신뢰할 수 있는 연쇄적 사고 추론을 위한 인과 관계 기반 평가

FACT-E: Causality-Inspired Evaluation for Trustworthy Chain-of-Thought Reasoning

연쇄적 사고(Chain-of-Thought, CoT) 프롬프트는 LLM의 추론 능력을 향상시켰지만, 모델은 종종 일관성이 있는 것처럼 보이는 설명을 생성하면서도 사실과 맞지 않는 중간 단계를 포함하는 경우가 많습니다. 기존의 자기 평가 방법은 내재적인 편향에 취약합니다. 모델은 단계별 연관성이 유효하지 않더라도 일관성을 확신할 수 있으며, 이는 신뢰할 수 없는 충실도 평가로 이어질 수 있습니다. 본 연구에서는 CoT의 품질을 평가하기 위한 인과 관계 기반 프레임워크인 FACT-E를 제안합니다. FACT-E는 제어된 변경(controlled perturbations)을 활용하여 진정한 단계별 의존성을 편향에 의한 부산물과 분리하고, 보다 신뢰할 수 있는 충실도 추정치(단계 내 충실도, *intra-chain faithfulness*)를 제공합니다. FACT-E는 신뢰할 수 있는 추론 경로를 선택하기 위해 *단계 내 충실도*와 *CoT-to-answer 일관성*을 동시에 고려하여, 선택된 추론 경로는 내부적으로 충실하고 최종 정답을 뒷받침하는 것을 보장합니다. GSM8K, MATH, CommonsenseQA 데이터셋에 대한 실험 결과, FACT-E는 추론 경로 선택을 개선하고 더 강력한 문맥 학습 예시를 제공합니다. 또한 FACT-E는 노이즈 환경에서도 잘못된 추론을 안정적으로 감지하여, 신뢰할 수 있는 LLM 추론을 위한 견고한 지표를 제공합니다.

Chain-of-Thought (CoT) prompting has improved LLM reasoning, but models often generate explanations that appear coherent while containing unfaithful intermediate steps. Existing self-evaluation approaches are prone to inherent biases: the model may confidently endorse coherence even when the step-to-step implication is not valid, leading to unreliable faithfulness evaluation. We propose FACT-E, a causality-inspired framework for evaluating CoT quality. FACT-E uses controlled perturbations as an instrumental signal to separate genuine step-to-step dependence from bias-driven artifacts, producing more reliable faithfulness estimates (\textit{intra-chain faithfulness}). To select trustworthy trajectories, FACT-E jointly considers \textit{intra-chain faithfulness} and \textit{CoT-to-answer consistency}, ensuring that selected chains are both faithful internally and supportive of the correct final answer. Experiments on GSM8K, MATH, and CommonsenseQA show that FACT-E improves reasoning-trajectory selection and yields stronger in-context learning exemplars. FACT-E also reliably detects flawed reasoning under noisy conditions, providing a robust metric for trustworthy LLM reasoning.