언제 중단해야 할까: 비효율적인 추론을 중단하도록 LLM 진단 및 학습

Knowing When to Quit: Diagnosing and Training LLMs to Abort Futile Reasoning

대규모 언어 모델(LLM)은 능력 범위를 초과하는 작업에서 계산 비용이 많이 들지만 의미가 없는 추론을 수행하여, 사용자를 오도할 수 있는 그럴듯하지만 부정확한 결과를 생성함으로써 위험을 초래합니다. 본 연구에서는 체계적인 분석을 통해 이른바 extit{비효율적인 추론} 현상을 규명하고, 보편적인 능력 과잉 및 능력과 실제 행동 간의 체계적인 불일치를 밝혀냈습니다. 가장 흔한 오류 패턴은 '겉보기에는 유효하지만 미묘한 오류를 포함하는' 왜곡된 추론이며, 이는 작업 난이도가 증가함에 따라 심화됩니다. 이러한 문제를 해결하기 위해, 본 연구에서는 모델의 행동을 능력 경계와 일치시키는 보상 체계를 통해 비효율적인 추론보다 거부 반응을 장려하고, 실패 사례를 거부 훈련 데이터로 변환하는 '사후적 거부 증강' 기법을 도입한 extbf{CaRL} ( extbf{Ca}pability- extbf{a}ligned extbf{R}einforcement extbf{L}earning) 방법을 제안합니다. 실험 결과, CaRL은 다양한 난이도의 작업에서 성능을 유지하면서 비효율적인 추론을 크게 줄이는 효과를 보여주며, 유용성을 희생하지 않고 능력에 부합하는 모델 행동을 달성할 수 있음을 입증했습니다. (참고: https://github.com/icip-cas/Knowing-When-to-Quit)

Large language models generate computationally expensive yet semantically void reasoning on beyond-capability tasks, creating risks where plausible-sounding but incorrect derivations mislead users. We characterize this \textit{futile reasoning} phenomenon through systematic analysis, revealing universal capability overreach and systematic miscalibration between capability and behavior. The dominant failure mode is specious reasoning, which outputs look superficially valid but contain subtle errors, escalating with task difficulty. To address this, we introduce \textbf{CaRL} (\textbf{Ca}pability-\textbf{a}ligned \textbf{R}einforcement \textbf{L}earning), which aligns model behavior with capability boundaries through reward shaping that incentivizes refusal over futile reasoning and hindsight refusal augmentation that converts failures into refusal supervision. Experiments demonstrate a substantial reduction in futile reasoning while preserving performance across task difficulties, effectively achieving capability-aligned behavior without sacrificing utility. \footnote{https://github.com/icip-cas/Knowing-When-to-Quit}