인사이트 재활용을 통한 상태 기반 추론

Stateful Reasoning via Insight Replay

체인 오브 씽크(Chain-of-Thought, CoT) 추론은 대규모 언어 모델에서 다단계 추론을 수행하는 데 중요한 기반이 되었지만, 최근 연구에 따르면 CoT의 장점은 체인 길이에 따라 일관되게 증가하지 않습니다. 일반적으로 체인이 길수록 모델이 더 어려운 문제를 해결할 수 있지만, 특정 문제에 대해 CoT의 길이가 어느 지점을 넘어서면 정확도가 감소하는 경향이 있습니다. 우리는 이러한 현상의 주요 원인을 파악했습니다. CoT가 길어질수록 모델이 추론 과정 초기에 생성된 중요한 정보에 대한 주의가 점차 약해져, 해당 정보가 가장 필요할 때 접근하기 어려워집니다. 따라서, 우리는 모델이 추론 과정을 주기적으로 검토하여 중요한 정보를 추출하고, 활성 생성 단계 근처에서 해당 정보를 다시 활용함으로써 모델이 더 긴 추론 과정을 수행하는 데 필요한 정보를 유지하는 상태 기반 추론 방식인 **인사이트 재활용(InsightReplay)**을 제안합니다. 8B, 30B 크기의 모델, Qwen3.5, DeepSeek-R1-Distill-Qwen, Gemma-4 모델 계열, AIME, HMMT, GPQA Diamond, LiveCodeBench v5 벤치마크를 포함하는 다양한 실험을 통해 3라운드 InsightReplay가 모든 24가지 설정에서 정확도 향상을 가져왔으며, 평균적으로 표준 CoT보다 1.65 포인트 향상되었고, DeepSeek-R1-Distill-32B의 LiveCodeBench v5 부분에서 최대 9.2 포인트의 향상을 보였습니다. 이러한 결과는 테스트 시점의 모델 크기 확장 효과가 모델이 얼마나 추론하는지 뿐만 아니라, 중요한 중간 정보가 긴 추론 과정 전반에 걸쳐 얼마나 접근 가능한지에 따라 달라진다는 것을 시사합니다.

Chain-of-Thought (CoT) reasoning has become a foundation for eliciting multi-step reasoning in large language models, but recent studies show that its benefits do not scale monotonically with chain length: while longer CoT generally enables a model to tackle harder problems, on a given problem, accuracy typically increases with CoT length up to a point, after which it declines. We identify a major cause of this phenomenon: as the CoT grows, the model's attention to critical insights produced earlier in the trace gradually weakens, making those insights progressively less accessible when they are most needed. Therefore, we propose \textbf{InsightReplay}, a stateful reasoning approach in which the model periodically extracts critical insights from its reasoning trace and replays them near the active generation frontier, keeping them accessible as the reasoning scales. Extensive experiments on a $\mathbf{2}\!\times\!\mathbf{3}\!\times\!\mathbf{4}$ benchmark grid, covering model scales $\{\text{8B}, \text{30B}\}$, model families $\{\text{Qwen3.5}, \text{DeepSeek-R1-Distill-Qwen}, \text{Gemma-4}\}$, and reasoning benchmarks $\{\text{AIME}, \text{HMMT}, \text{GPQA Diamond}, \text{LiveCodeBench v5}\}$, show that 3-round InsightReplay yields accuracy gains across \textbf{all 24 settings}, with an averaged improvement of $\mathbf{+1.65}$ points over standard CoT, and a largest single-setting gain of $\mathbf{+9.2}$ points on R1-Distill-32B's LiveCodeBench v5 subset. Our results suggest that the effectiveness of test-time scaling depends not only on how much a model reasons, but also on whether critical intermediate insights remain accessible throughout long reasoning trajectories.