모든 단계가 똑같이 어려운 것은 아니다: 효율적인 다단계 추론을 위한 적응형 연산 할당

Not All Turns Are Equally Hard: Adaptive Thinking Budgets For Efficient Multi-Turn Reasoning in Agents

LLM의 추론 성능이 정체되는 상황에서, 추론 시간의 연산 효율성을 향상시키는 것은 간단한 쿼리에서도 과도한 연산과 긴 추론 과정을 줄이는 데 매우 중요합니다. 기존의 길이 제한, 적응형 라우팅, 난이도 기반 예산 할당 방식은 주로 단일 단계 설정에 초점을 맞추고 있으며, 다단계 추론에 내재된 순차적 의존성을 해결하지 못합니다. 본 연구에서는 다단계 추론을 순차적인 연산 할당 문제로 정의하고, 다목적 마르코프 결정 프로세스로 모델링합니다. 우리는 그룹 상대 정책 최적화(GRPO)를 통해 학습된 예산 할당 정책인 TAB(Turn-Adaptive Budgets)을 제안합니다. TAB은 전역적인 문제별 토큰 제약을 준수하면서 작업 정확도를 최대화하도록 학습됩니다. 결과적으로, TAB은 대화 기록을 입력으로 받아들이고, 더 쉬운 단계에는 더 적은 예산을 할당하고, 중요한 어려운 추론 단계에는 적절한 수의 토큰을 할당하도록 적응적으로 조정합니다. 수학적 추론 벤치마크에서의 실험 결과, TAB은 정적 및 기존 LLM 예산 기준보다 우수한 정확도-토큰 비율을 달성하며, 최대 35%의 토큰을 절약할 수 있습니다. 또한, 모든 하위 질문의 계획이 사전에 제공되는 시스템의 경우, 대화 기록과 모든 과거 및 미래 하위 질문을 기반으로 토큰을 할당하는 예산 할당 정책인 TAB All-SubQ를 제안합니다. TAB All-SubQ은 기준 모델보다 최대 40%의 토큰을 절약할 수 있습니다.

As LLM reasoning performance plateaus, improving inference-time compute efficiency is crucial to mitigate overthinking and long thinking traces even for simple queries. Prior approaches including length regularization, adaptive routing, and difficulty-based budget allocation primarily focus on single-turn settings and fail to address the sequential dependencies inherent in multi-turn reasoning. In this work, we formulate multi-turn reasoning as a sequential compute allocation problem and model it as a multi-objective Markov Decision Process. We propose TAB: Turn-Adaptive Budgets, a budget allocation policy trained via Group Relative Policy Optimization (GRPO) that learns to maximize task accuracy while respecting global per-problem token constraints. Consequently, TAB takes as input the conversation history and learns to adaptively allocate smaller budgets to easier turns and save appropriate number of tokens for the crucial harder reasoning steps. Our experiments on diverse agentic benchmarks demonstrate that TAB achieves a superior accuracy-cost tradeoff saving up to 35% tokens and reducing latency up to 30% while maintaining accuracy over static and off-the-shelf LLM budget baselines. Further, for systems where a plan of all turns is available apriori, we propose TAB All-SubQ, a budget allocation policy that budgets tokens based on the conversation history and entire plan saving up to 40% tokens over baselines.