순환 추론: 대형 추론 모델 내 자가 강화 루프의 이해

Circular Reasoning: Understanding Self-Reinforcing Loops in Large Reasoning Models

테스트 시간 스케일링(test-time scaling)의 성공에도 불구하고, 대형 추론 모델(LRM)은 연산 낭비와 추론 실패로 이어지는 반복 루프에 빈번하게 직면한다. 본 논문에서는 '순환 추론(Circular Reasoning)'이라 명명된 뚜렷한 실패 유형을 규명한다. 기존의 모델 퇴화와 달리, 이 현상은 생성된 콘텐츠가 스스로의 반복을 위한 논리적 전제로 작용하여 이전 텍스트의 반복을 강제하는 자가 강화 함정으로 나타난다. 이 현상을 체계적으로 분석하기 위해, 수치 루프와 진술 루프라는 두 가지 뚜렷한 루프 유형을 포착하도록 설계된 데이터셋인 LoopBench를 소개한다. 메커니즘적으로, 우리는 순환 추론을 의미적 반복이 텍스트 반복보다 선행하며 뚜렷한 경계를 보이는 상태 붕괴로 규정한다. 또한 추론의 교착 상태가 루프의 시작을 유발하며, 이는 이후 자가 강화 V자형 어텐션 메커니즘에 의해 주도되는 벗어날 수 없는 순환으로 지속됨을 밝혀낸다. 이러한 발견을 바탕으로, 우리는 조기 루프 예측을 위한 전조를 포착하기 위해 누적 합(CUSUM) 알고리즘을 적용한다. 다양한 LRM에 대한 실험을 통해 그 정확성을 검증하고 장기 연쇄 추론의 안정성을 규명한다.

Despite the success of test-time scaling, Large Reasoning Models (LRMs) frequently encounter repetitive loops that lead to computational waste and inference failure. In this paper, we identify a distinct failure mode termed Circular Reasoning. Unlike traditional model degeneration, this phenomenon manifests as a self-reinforcing trap where generated content acts as a logical premise for its own recurrence, compelling the reiteration of preceding text. To systematically analyze this phenomenon, we introduce LoopBench, a dataset designed to capture two distinct loop typologies: numerical loops and statement loops. Mechanistically, we characterize circular reasoning as a state collapse exhibiting distinct boundaries, where semantic repetition precedes textual repetition. We reveal that reasoning impasses trigger the loop onset, which subsequently persists as an inescapable cycle driven by a self-reinforcing V-shaped attention mechanism. Guided by these findings, we employ the Cumulative Sum (CUSUM) algorithm to capture these precursors for early loop prediction. Experiments across diverse LRMs validate its accuracy and elucidate the stability of long-chain reasoning.