타당성이 필요성을 의미하지 않는다: 체인 오브 소트(Chain-of-Thought) 방식의 잠재적 비효율성 진단

Valid $\ne$ Necessary: Diagnosing Latent Inefficiency in Chain-of-Thought

체인 오브 소트(CoT) 프롬프트는 대규모 언어 모델(LLM)의 추론 능력을 크게 향상시켰지만, 종종 불필요한 단계 생성으로 인해 상당한 계산 비용이 발생합니다. 기존의 추론 단계 평가 도구는 논리적 오류 및 사실 오류를 효과적으로 감지하지만, 본 연구에서는 이러한 도구가 중요한 한계를 가지고 있음을 밝혀냅니다. 즉, 솔루션에 기여하지 않고 토큰 사용량을 증가시키는 타당하지만 비효율적인 추론 단계를 제대로 평가하지 못합니다. 이 한계를 체계적으로 진단하기 위해, 순환적 추론 및 과도한 분해를 포함하여 다섯 가지 유형의 비효율성이 주입된 진단 벤치마크인 RIV-GSM8K를 소개합니다. 진단 실험 결과, 최첨단 평가 도구는 이러한 비효율성을 필수적인 추론 단계와 구별하는 데 어려움을 겪습니다. 이 문제점을 해결하기 위해, 정보 이론에 기반한 학습이 필요 없는 지표인 CAID(Context-Aware Information Density)를 제안합니다. 이 지표의 실용적인 유용성을 검증하기 위해, 후처리 압축 전략인 PACE에 적용했습니다. 추가적인 통제 실험 결과, PACE의 성능 향상이 단순한 단계 제거로 인한 것이 아님을 확인했습니다. 무작위 단계 제거 및 PRM 기반 압축 방법과 비교했을 때, PACE는 훨씬 높은 압축률에서도 정확도를 유지합니다. GSM8K, StrategyQA 및 ARC-Challenge 데이터셋에 대한 실험 결과는 PACE가 토큰 사용량을 31~53%까지 줄이면서도 정확도를 유지한다는 것을 보여주며, 이는 CAID가 연역적 타당성을 저해하지 않으면서 추론 과정에서 불필요한 정보를 효과적으로 제거하는 데 성공했음을 확인시켜줍니다.

Chain-of-Thought (CoT) prompting has significantly advanced the reasoning capabilities of Large Language Models (LLMs), yet it often incurs substantial computational costs due to over-reasoning: the generation of redundant, verbose, or irrelevant steps. While existing reasoning step evaluators effectively detect logical fallacies and factual errors, our analysis reveals a critical blind spot: they fail to penalize valid but inefficient reasoning steps that inflate token usage without contributing to the solution. To systematically diagnose this limitation, we introduce RIV-GSM8K, a diagnostic benchmark injected with five distinct types of inefficiencies, including circular reasoning and excessive decomposition. Diagnostic experiments reveal that state-of-the-art evaluators struggle to distinguish these inefficiencies from necessary reasoning. To address this gap, we propose CAID (Context-Aware Information Density), a training-free metric grounded in information theory that identifies low-utility steps. To validate the metric's practical utility, we apply it within PACE, a post-hoc compression strategy. Additional control experiments show that the gains of PACE are not explained by trivial pruning: compared with random step removal and PRM-based compression baselines, it preserves accuracy at substantially higher compression rates. Empirical results on GSM8K, StrategyQA, and ARC-Challenge demonstrate that PACE reduces token consumption by 31-53% while maintaining accuracy, confirming that CAID successfully distills informational froth from reasoning chains without compromising deductive validity.