에이전트 기반 라우터: 코딩 작업용 에이전트 모델 라우팅

Agent-as-a-Router: Agentic Model Routing for Coding Tasks

실제 사용자는 일반적으로 다양한 제공업체의 여러 대형 언어 모델(LLM)에 접근할 수 있으며, 이러한 LLM은 종종 서로 다른 분야에서 뛰어난 성능을 보이지만, 어느 것도 모든 영역에서 우위를 점하지는 않습니다. 따라서 각 작업을 가장 적합한 모델로 라우팅하는 것은 성능과 비용 측면 모두에서 중요합니다. 기존 라우터는 이를 정적인 일회성 분류 문제로 취급합니다. 그러나 우리는 이러한 라우터의 성능 병목 현상이 정보 부족에 있다고 파악했습니다. 작업 차원 수준의 성능 통계를 기본 LLM 라우터에 추가하는 것만으로도 15.3%의 상대적 성능 향상을 얻을 수 있으며, 이는 동일한 차원 수준의 사전 정보를 기반으로 구축된 휴리스틱 라우터를 능가합니다. 이러한 발견에 따라, 우리는 Context->Action->Feedback->Context 루프(C-A-F loop)로 라우팅을 형식화하는 프레임워크인 Agent-as-a-Router를 제안합니다. 이 프레임워크는 배포 중에 실행 기반의 경험을 축적하여 정보 격차를 해소합니다. 우리는 이 프레임워크를 Orchestrator, Verifier 및 Memory 모듈로 구성된 ACRouter라는 형태로 구현했으며, 8개의 최첨단 LLM에서 검증된 점수를 갖춘 약 10,000개의 작업 인스턴스로 구성된 평가 환경인 CodeRouterBench를 소개합니다. 이를 통해 스트리밍 작업에 대한 후회 기반 라우터 비교가 가능합니다. 실험 결과, ACRouter는 동일 분포(in-distribution) 작업에서 가장 낮은 누적 후회를 달성했으며, 다른 유형의 에이전트 프로그래밍 작업에도 일반화됩니다. 이는 우리의 라우팅 프레임워크가 실제로 정보 격차를 적극적으로 해소한다는 것을 보여줍니다. 코드와 벤치마크는 https://github.com/LanceZPF/agent-as-a-router 에서 확인할 수 있습니다.

Real-world users typically have access to multiple Large Language Models (LLMs) from different providers, and these LLMs often excel at distinct domains, yet none dominate all. Consequently, routing each task to the most suitable model becomes critical for both performance and cost. Existing routers treat this as a static, one-off classification problem. However, we identify the performance bottleneck for these routers as information deficit: simply augmenting a vanilla LLM router with performance statistics at the task-dimension level yields a 15.3% relative gain, surpassing a heuristic router built on the same dimension-level priors. Motivated by this finding, we propose Agent-as-a-Router, a framework that formalizes routing as a C-A-F loop (Context->Action->Feedback->Context). It closes the information gap by accumulating execution-grounded experience during deployment. We instantiate this framework as ACRouter, composed of an Orchestrator, a Verifier, a Memory module, and introduce CodeRouterBench, an evaluation environment comprising ~10K task instances with verified scores from 8 frontier LLMs, enabling regret-based router comparison on streaming tasks. Experiments show that ACRouter achieves the lowest cumulative regret on in-distribution tasks and generalizes to out-of-distribution agentic-programming tasks, demonstrating that our routing framework actively closes the information gap. Codes and benchmarks are released at https://github.com/LanceZPF/agent-as-a-router.