DART: 학습 데이터 없이 적응적인 추론 예산 할당을 위한 하이브리드 추론 모델의 효율적인 라우팅 기법

DART: Draft-Agreement Routing for Training-Free Adaptive Thinking Budgets in Hybrid Reasoning Models

하이브리드 추론 모델은 직접 답변하거나 추가 토큰을 사용하여 더 깊이 있는 추론을 수행할 수 있습니다. 실용적인 라우터는 각 쿼리에 대해 이러한 모드 중 하나를 선택해야 하며, 이를 통해 쉬운 문제는 불필요한 추론을 피하고 어려운 문제는 답변 완료에 필요한 충분한 예산을 확보할 수 있습니다. 기존 라우터들은 이러한 방향으로 발전해 왔지만, 일반적으로 레이블이 지정된 학습 데이터가 필요하거나 추론 예산을 사전에 고정하여 모델 자체에서 제공하는 답변 수준의 정보를 활용하지 못합니다. 본 논문에서는 학습 데이터 없이 작동하는 라우팅 프레임워크인 DART를 소개합니다. DART는 두 개의 저렴한 '생각하지 않는' 초안을 샘플링하고, 초안들이 일치하면 직접 답변을 선택하며, 초안 간의 불일치가 있을 경우 초안 엔트로피로부터 추론 예산을 예측합니다. 다양한 실험 결과에서 DART는 대부분의 설정에서 항상 추론을 수행하는 정확도를 유지하거나 향상시키면서 동시에 추론에 사용되는 토큰 수를 줄였습니다. 수학적 추론 문제에서는 올림피아드 수준의 문제에서 최대 +9.0%의 정확도 향상을 보였으며, 동시에 추론 토큰은 15-69% 감소했습니다. 실행 기반 동등성을 갖는 코드 추론에서는 최대 +22.5%의 정확도 향상과 함께 추론 토큰이 51-63% 감소했습니다. DART는 다양한 모델 크기(0.6B-32B), 모델 종류, 그리고 API만 제공되는 환경에서도 적용 가능하며, 레이블된 데이터나 기울기 업데이트 없이 작동합니다.

Hybrid reasoning models can answer directly or spend extra tokens on extended thinking. A practical router should choose between these modes for each query, so easy problems avoid unnecessary reasoning and hard problems receive enough budget to finish the answer. Existing routers move in this direction, but they typically require labeled training data or fix thinking budgets up front, ignoring answer-level evidence from the model itself. We introduce DART, a training-free routing framework that samples two cheap no-think drafts, accepts direct answering when the drafts agree, and predicts a thinking budget from draft entropy when they disagree. Across the main comparisons, DART preserves or improves always-thinking accuracy in most settings while reducing thinking-token use. On math reasoning, accuracy improves by up to $+$9.0 points on Olympiad-level problems while thinking tokens drop 15-69%. On code reasoning under execution-based equivalence, accuracy improves by up to +22.5 points while thinking tokens drop 51-63%. The Stage~1 signal extends across model scales (0.6B-32B), model families, and API-only hosted settings, with no labeled data and no gradient updates required.