효과적인 추론 체인은 내재적 차원을 감소시킨다

Effective Reasoning Chains Reduce Intrinsic Dimensionality

체인-오브-소트(Chain-of-Thought, CoT) 추론과 그 변형들은 복잡한 추론 작업에서 언어 모델의 성능을 크게 향상시켰지만, 다양한 전략이 일반화 능력을 어떻게 향상시키는지에 대한 정확한 메커니즘은 여전히 명확하게 이해되지 못하고 있습니다. 현재의 설명들은 종종 테스트 시간의 계산 증가 또는 구조적 지침을 지적하지만, 이러한 요인과 일반화 능력 사이의 일관되고 정량적인 연관성을 확립하는 것은 여전히 어려운 과제입니다. 본 연구에서는 내재적 차원을 추론 체인의 효과성을 특징짓는 정량적인 지표로 제시합니다. 내재적 차원은 특정 작업에서 특정 정확도 수준에 도달하는 데 필요한 모델의 최소 차원 수를 나타냅니다. 본 연구에서는 모델 아키텍처를 고정하고 다양한 추론 전략을 통해 작업 방식을 변경함으로써, 효과적인 추론 전략이 일관적으로 작업의 내재적 차원을 감소시킨다는 것을 보여줍니다. Gemma-3 1B 및 4B 모델을 사용하여 GSM8K 데이터셋에서 검증한 결과, 추론 전략의 내재적 차원과 일반화 성능 간에 강한 역상관 관계가 있음을 관찰했습니다. 본 연구의 결과는 효과적인 추론 체인이 더 적은 파라미터를 사용하여 작업을 더 효율적으로 압축함으로써 학습을 촉진하며, 추론 과정을 분석하기 위한 새로운 정량적 지표를 제공한다는 것을 시사합니다.

Chain-of-thought (CoT) reasoning and its variants have substantially improved the performance of language models on complex reasoning tasks, yet the precise mechanisms by which different strategies facilitate generalization remain poorly understood. While current explanations often point to increased test-time computation or structural guidance, establishing a consistent, quantifiable link between these factors and generalization remains challenging. In this work, we identify intrinsic dimensionality as a quantitative measure for characterizing the effectiveness of reasoning chains. Intrinsic dimensionality quantifies the minimum number of model dimensions needed to reach a given accuracy threshold on a given task. By keeping the model architecture fixed and varying the task formulation through different reasoning strategies, we demonstrate that effective reasoning strategies consistently reduce the intrinsic dimensionality of the task. Validating this on GSM8K with Gemma-3 1B and 4B, we observe a strong inverse correlation between the intrinsic dimensionality of a reasoning strategy and its generalization performance on both in-distribution and out-of-distribution data. Our findings suggest that effective reasoning chains facilitate learning by better compressing the task using fewer parameters, offering a new quantitative metric for analyzing reasoning processes.