LLM 체인 오브 소트 추론 경로에서 단계별 추론 에너지 분석: 얼마나 복잡하게 생각하는가?

How Hard Does It Think? Analyzing Step-Aware Reasoning Energy in LLM Chain-of-Thought Trajectories

개별 체인 오브 소트(CoT) 추론 단계에 걸쳐 계산 노력이 어떻게 분배되는지 이해하는 것은 여전히 해결해야 할 과제입니다. 기존의 해석 방법은 출력 수준의 신호에 의존하거나 처리 깊이를 단일 트랙잭토리 수준의 스칼라 값으로 축소하여 단계별 노력을 명확하게 파악하기 어렵습니다. 본 연구에서는 중심 커널 정렬(CKA)을 사용하여 인접한 트랜스포머 레이어 간 토큰 숨겨진 상태의 그램 행렬 간 관계를 분석하고, 고유 벡터 정렬이나 클러스터 대응 없이 토큰 간의 관계 구조를 파악하는 기하학적 프레임워크인 단계별 추론 에너지(SARE)를 제안합니다. 또한 SARE는 이 에너지를 추론의 의미적 진행 상황과 연관시켜 CoT 트랙잭토리를 잠재적인 의미 상태 간의 전환으로 모델링합니다. 6개의 추론 벤치마크와 3개의 공개 가중 LLM을 사용하여 분석한 결과, 추론 에너지는 단계 유형에 따라 매우 불균일하며, 트랙잭토리 수준 지표로는 감지할 수 없는 위상 변화를 보입니다. 또한 잘못된 트랙잭토리는 중요한 추론 지점에서 체계적으로 낮은 에너지를 나타내며, SARE 기반 특징은 대부분의 경우 출력 기반 신뢰도 기준을 능가하거나 동등한 성능을 보여줍니다. 이는 내부 기하학적 역학이 표면 수준 신호 이상의 예측 정보를 포함하고 있음을 시사합니다.

Understanding how computational effort is allocated across individual chain-of-thought (CoT) reasoning steps remains an open challenge: existing interpretability methods rely on output-level signals or collapse processing depth into a single trajectory-level scalar, leaving step-wise effort opaque. We propose Step-Aware Reasoning Energy (SARE), a geometric framework that quantifies effort at the granularity of individual CoT steps via Centered Kernel Alignment (CKA) between Gram matrices of token hidden states across adjacent transformer layers, capturing inter-token relational structure without requiring eigenvector alignment or cluster correspondence. SARE further contextualizes this energy within reasoning's semantic progression by modeling CoT trajectories as transitions among latent semantic states. Across six reasoning benchmarks and three open-weight LLMs, we find that reasoning energy is highly non-uniform across step types, exhibiting phase-like transitions invisible to trajectory-level metrics; incorrect trajectories show systematically lower energy at critical reasoning junctions; and SARE-based features match or outperform output-based confidence baselines in most settings, indicating that internal geometric dynamics encode predictive information beyond surface-level signals.