LLM 추론을 경로로 이해: 단계별 표현 기하학 및 정확성 신호

LLM Reasoning as Trajectories: Step-Specific Representation Geometry and Correctness Signals

본 연구에서는 대규모 언어 모델의 연쇄적 사고(chain-of-thought) 생성 과정을 표현 공간을 통한 구조화된 경로로 분석합니다. 수학적 추론은 기능적으로 정렬된, 단계별 하공간을 따라 진행되며, 이러한 하공간은 레이어 깊이에 따라 점차 분리되는 경향을 보입니다. 이러한 구조는 기본 모델에 이미 존재하며, 추론 훈련은 주로 새로운 표현 조직을 도입하기보다는 종료와 관련된 하공간으로의 수렴 속도를 가속화하는 역할을 합니다. 초기 추론 단계에서는 유사한 경로를 따르지만, 정확한 해결책과 부정확한 해결책은 후반 단계에서 체계적으로 분기됩니다. 이러한 후반 단계의 분기는 추론 과정 중간 단계에서 최종 답변의 정확성을 ROC-AUC 0.87까지 예측할 수 있게 합니다. 또한, 우리는 도출된 이상 경로를 기반으로 추론을 수정하고 길이를 제어할 수 있는 실시간 개입 프레임워크인 경로 기반 조향(trajectory-based steering)을 소개합니다. 종합적으로, 본 연구 결과는 추론 경로를 LLM의 추론 행동을 해석, 예측 및 제어하는 데 유용한 기하학적 도구로 제시합니다.

This work characterizes large language models' chain-of-thought generation as a structured trajectory through representation space. We show that mathematical reasoning traverses functionally ordered, step-specific subspaces that become increasingly separable with layer depth. This structure already exists in base models, while reasoning training primarily accelerates convergence toward termination-related subspaces rather than introducing new representational organization. While early reasoning steps follow similar trajectories, correct and incorrect solutions diverge systematically at late stages. This late-stage divergence enables mid-reasoning prediction of final-answer correctness with ROC-AUC up to 0.87. Furthermore, we introduce trajectory-based steering, an inference-time intervention framework that enables reasoning correction and length control based on derived ideal trajectories. Together, these results establish reasoning trajectories as a geometric lens for interpreting, predicting, and controlling LLM reasoning behavior.