단계 흐름이 끊어지는 곳에서 추론이 실패한다

Reasoning Fails Where Step Flow Breaks

최근, 복잡한 수학, 과학, 코딩 문제 해결에 뛰어난 성능을 보이는 대규모 추론 모델(LRM)들이 등장했습니다. 하지만 이러한 모델들의 작동 방식은 여전히 불안정하며 해석하기 어렵고, 기존 분석 도구들은 이러한 긴, 구조화된 추론 과정을 분석하는 데 어려움을 겪습니다. 본 논문에서는 Step-Saliency라는 새로운 방법을 제안합니다. Step-Saliency는 질문-생각-요약의 흐름에 따라 각 단계별로 주의(attention)와 기울기(gradient) 점수를 통합하여 단계별 중요도를 시각화합니다. 여러 모델에 대한 실험 결과, Step-Saliency는 정보 흐름의 두 가지 주요 문제점을 보여줍니다. 첫째, '얕은 고착(Shallow Lock-in)' 현상으로, 얕은 계층은 현재 단계에 과도하게 집중하고 이전 컨텍스트를 거의 활용하지 못합니다. 둘째, '깊은 감쇠(Deep Decay)' 현상으로, 깊은 계층은 '생각' 부분에 대한 중요도를 점진적으로 잃고, 요약 부분은 자신과 마지막 몇 단계에 점점 더 집중합니다. 이러한 문제점들을 해결하기 위해, 본 논문에서는 Step-Saliency를 기반으로, Odds-Equal Bridge를 사용하여 얕은 계층의 중요도 패턴을 조정하고, Step Momentum Injection을 통해 깊은 계층에 작은 단계별 잔차를 추가하는 StepFlow라는 테스트 시점 개입 방법을 제안합니다. StepFlow는 재학습 없이 여러 LRM에서 수학, 과학, 코딩 작업의 정확도를 향상시키며, 이는 정보 흐름을 개선함으로써 모델이 가진 잠재적인 추론 능력을 회복할 수 있음을 시사합니다.

Large reasoning models (LRMs) that generate long chains of thought now perform well on multi-step math, science, and coding tasks. However, their behavior is still unstable and hard to interpret, and existing analysis tools struggle with such long, structured reasoning traces. We introduce Step-Saliency, which pools attention--gradient scores into step-to-step maps along the question--thinking--summary trajectory. Across several models, Step-Saliency reveals two recurring information-flow failures: Shallow Lock-in, where shallow layers over-focus on the current step and barely use earlier context, and Deep Decay, where deep layers gradually lose saliency on the thinking segment and the summary increasingly attends to itself and the last few steps. Motivated by these patterns, we propose StepFlow, a saliency-inspired test-time intervention that adjusts shallow saliency patterns measured by Step-Saliency via Odds-Equal Bridge and adds a small step-level residual in deep layers via Step Momentum Injection. StepFlow improves accuracy on math, science, and coding tasks across multiple LRMs without retraining, indicating that repairing information flow can recover part of their missing reasoning performance.