루프 기반 언어 모델에서 테스트 단계의 확장성을 위한 순환 동역학 안정화

Stabilizing Recurrent Dynamics for Test-Time Scalable Latent Reasoning in Looped Language Models

루프 기반 언어 모델(LoopLMs)은 깊이 순환을 통해 효율적인 잠재적 추론을 가능하게 하지만, 테스트 단계에서의 확장성 문제가 발생합니다. 성능은 특정 반복 깊이에 도달하면 최고조에 달하지만, 추가적인 순환 과정에서 급격히 저하되는 경향이 있습니다. 본 연구에서는 잠재 동역학 분석을 통해 기존 아키텍처 및 전략에서 안정성과 효과성 간의 근본적인 상충 관계를 발견했습니다. 추론을 불확실성 감소로 개념화하고, 안정적인 고정점으로 수렴하면서도 효과성을 유지하는 것이 유망한 접근 방식임을 제안합니다. 이를 위해, 잠재 상태가 점진적으로 안정적인 고정점에 수렴하도록 제한하는 훈련 프레임워크인 STARS(STAbility-driven Recurrent Scaling)를 제안합니다. STARS는 효율적인 야코비 행렬 스펙트럼 반지름 정규화와 랜덤 루프 샘플링을 통해 구현되며, 효과성을 극대화하면서도 엄격한 안정성을 보장합니다. 산술 작업에 대한 실험 결과, STARS는 신뢰할 수 있는 테스트 단계의 확장성을 달성했으며, 복잡한 수학적 추론에서는 반복 깊이가 증가함에 따라 성능 저하를 크게 완화하고 동시에 최고 성능을 향상시켰습니다.

Looped Language Models (LoopLMs) enable efficient latent reasoning through depth recurrence, yet exhibit unreliable test-time scaling behavior: performance often peaks at a certain iteration depth and then collapses with further recurrence. Through latent dynamics analysis, we find an inherent trade-off between stability and effectiveness in existing architectures and strategies. By conceptualizing reasoning as uncertainty reduction, we propose that convergence toward stable fixed points while preserving effectiveness represents a promising way. To this end, we propose STARS (STAbility-driven Recurrent Scaling), a training framework that constrains latent states to approach asymptotically stable fixed points. This is realized via efficient Jacobian Spectral Radius Regularization with random loop sampling, enabling STARS to maximize effectiveness while ensuring rigorous stability. Experiments on arithmetic tasks show that STARS achieves reliable test-time scaling, and on complex mathematical reasoning it substantially mitigates performance degradation as recurrence depth increases while also improving peak performance.