CodeRescue: 예산 기반 회복 라우팅을 위한 코딩 에이전트

CodeRescue: Budget-Calibrated Recovery Routing for Coding Agents

코딩 에이전트는 점점 더 실행 가능한 환경에서 작동하며, 실패 시 단순한 오답 대신 유용한 피드백을 제공합니다. 기존의 비용 인지 시스템은 이러한 실패를 일반적으로 계층적 결정으로 처리합니다. 즉, 먼저 저렴한 모델을 사용하고, 어려운 경우에만 더 강력하고 비싼 모델로 전환하는 방식입니다. 그러나 코딩에서는 실행 피드백이 추가적인 저렴한 모델 회복을 가능하게 할 수 있습니다. 따라서 예산 배분과 관련된 중요한 질문이 제기됩니다. 즉, 에이전트가 언제 더 많은 저렴한 연산을 사용해야 하고, 언제 더 강력한 모델로 전환해야 하는가? 본 연구에서는 실패 후의 결정을 다양한 행동에 대한 회복 라우팅 문제로 정의하고, 실행 데이터를 기반으로 지도 학습 방식으로 라우터를 훈련합니다. 또한, 동일한 라우터가 변화하는 예산 환경에서도 사용 가능하도록 Conformal Risk Control (CRC) 레이어를 추가하여 재학습 없이 배포 시 비용 페널티를 선택하고, 교환성 조건 하에서 예상되는 비용을 제한합니다. 다섯 가지 코딩 벤치마크의 테스트 데이터에서, 저렴한 회복과 에스컬레이션은 상호 보완적인 성공 패턴을 보여줍니다. Calibrated된 전략은 고정된 행동, 프롬프트 기반 라우터 및 이진 계층적 시스템보다 성능이 우수합니다. 특히 GPT-5.4-nano/GPT-5.4 환경에서, 하나의 CRC로 조정된 전략 지점이 항상 에스컬레이션하는 경우보다 높은 해결률을 보이지만 평균 회복 비용의 35% 수준입니다. 관련 코드는 https://github.com/Qijia-He/agent-budget-control 에서 확인할 수 있습니다.

Coding agents increasingly operate in executable environments where a failed attempt produces actionable feedback rather than merely an incorrect answer. Existing cost-aware systems typically treat such failures as cascade decisions: try a cheap model first, then escalate hard cases to a stronger and more expensive model. In coding, however, execution feedback can also make further cheap-model recovery worthwhile, raising a budgeted deployment question: when should an agent spend more cheap compute, and when should it escalate? We formulate this post-failure decision as recovery routing over heterogeneous actions and train a supervised router from execution rollouts. To make the same router usable under changing budgets, we add a Conformal Risk Control (CRC) layer that selects a deployment-time cost penalty without retraining and provides marginal expected-cost control under exchangeability. Across held-out failures from five coding benchmarks, cheap recovery and escalation exhibit complementary success patterns. The calibrated frontier improves over fixed actions, prompt-only routers, and a binary cascade baseline; in the main GPT-5.4-nano/GPT-5.4 setting, one CRC-calibrated frontier point exceeds always-escalate solve rate while using 35% of its mean recovery cost. Code is available at https://github.com/Qijia-He/agent-budget-control.