과잉 추론 경로에서 최소 코어의 표현 기하학 탐구

Uncovering the Representation Geometry of Minimal Cores in Overcomplete Reasoning Traces

언어 모델은 종종 긴 추론 과정을 생성하지만, 최종 예측을 유지하는 데 얼마나 많은 추론 단계가 필요한지에 대한 명확성은 여전히 부족합니다. 본 연구에서는 과잉 추론 경로라는 관점에서 이 문제를 분석합니다. 과잉 추론 경로는 모델의 답변을 뒷받침하는 데 필요한 것보다 더 많은 중간 단계를 포함하는 경로입니다. 우리는 최종 답변 또는 예측 분포를 유지하는 가장 작은 단계 집합을 '최소 코어'라고 정의하고, 압축률, 중복성 정도, 단계의 필요성, 필요성 집중도에 대한 지표를 도입합니다. 산술, 경쟁 수학, 전문가 수준의 과학적 추론, 상식 기반의 다단계 질의 응답을 포함하는 6가지 추론 벤치마크를 통해 상당한 과잉 존재를 확인했습니다. 평균적으로 46%의 단계가 원본 답변을 86%의 경우에 유지하면서 탐욕적인 방식으로 제거될 수 있습니다. 또한, 예측을 뒷받침하는 단계는 집중되는 경향이 있으며, 상위 3개 단계가 측정된 필요성 정도의 65%를 차지합니다. 압축 외에도, 최소 코어는 추론의 더 명확한 구조를 드러냅니다. 전체 경로와 비교했을 때, 최소 코어는 올바른 추론 경로와 잘못된 추론 경로의 구분을 11 포인트 향상시키고, 추정되는 내재적 차원을 34% 줄이며, 모델 패밀리 간에 85%의 답변 유지율을 보입니다. 이론적으로, 우리는 최소 충분 집합의 존재를 입증하고, 탐욕적 제거에 대한 지역적 불변성 보장을 제공하며, 과잉 존재 및 희소 필요성에 대한 증명서를 제시합니다. 이러한 결과는 전체 추론 경로가 종종 장황하고 과잉 상태이며, 최소 코어는 언어 모델 예측의 근본적인 지지 구조를 분리한다는 것을 시사합니다.

Language models often generate long chain-of-thought traces, but it remains unclear how much of this reasoning is necessary for preserving the final prediction. We study this through the lens of overcomplete reasoning traces: generated traces that contain more intermediate steps than are needed to support the model's answer. We define the minimal core as the smallest subset of steps that preserves either the final answer or predictive distribution, and introduce metrics for compression ratio, redundancy mass, step necessity, and necessity concentration. Across six deliberative reasoning benchmarks spanning arithmetic, competition mathematics, expert scientific reasoning, and commonsense multi-hop QA, we find substantial overcompleteness: on average, 46% of steps are removable under greedy minimal-core extraction while preserving the original answer in 86% of cases. We also find that predictive support is concentrated: the top three steps account for 65% of measured necessity mass on average. Beyond compression, minimal cores expose a cleaner geometry of reasoning: compared with full traces, they improve correct-incorrect trace separation by 11 points, reduce estimated intrinsic dimensionality by 34%, and transfer across model families with 85% off-diagonal answer retention. Theoretically, we establish existence of minimal sufficient subsets, local irreducibility guarantees for greedy elimination, and certificates of overcompleteness and sparse necessity. Together, these results suggest that full reasoning traces are often verbose and overcomplete, while minimal cores isolate the effective support underlying language-model predictions.