에이전트 기반 라우팅: 하니스(Harness) 연동 데이터 순환 시스템

Agentic Routing: The Harness-Native Data Flywheel

최근 대규모 언어 모델 에이전트는 단일 모델 호출로 실행되는 것이 아니라, 관찰, 맥락, 제어, 액션, 상태 및 검증을 관리하는 실행 환경(execution harness)을 통해 실행됩니다. 동시에 최첨단 모델과 공개 모델은 구조적으로 특화되고 있습니다. 코드 편집, 장문 맥락 복구, 도구 사용, 수학적 추론 또는 낮은 지연 시간 응답에 강점을 가진 모델이 다른 측면에서는 우위를 점하지 않을 수 있습니다. 따라서 에이전트 내에서의 모델 선택은 쿼리별 서비스 최적화가 아닌 핵심 시스템 문제입니다. 기존 라우팅 방법은 주로 단일 단계의 비용-품질 균형을 최적화하며, 에이전트를 채팅 완료와 구별하는 실행 상태, 중간 실패 및 피드백 루프를 간과합니다. 우리는 하니스(Harness) 연동 에이전트 기반 라우팅이라는 새로운 패러다임을 제안합니다. 이 방법은 전체 실행 환경의 상태에 따라 비용 효율적인 실행을 위한 최적 모델 하나 또는 앙상블 방식의 정확도 향상을 위한 여러 상호 보완적인 모델을 선택합니다. 핵심 아이디어는 모든 라우팅 결정이 자연스럽게 구조화된 데이터 레코드를 생성한다는 것입니다. 이 레코드에는 쿼리, 실행 환경 상태, 모델 선택(또는 모델 집합), 실행 추적, 결과 및 비용 정보가 포함되며, 이러한 정보에 대한 레이블은 라우터 자체가 아닌 외부 환경에서 제공됩니다. 이러한 레코드들은 하니스 연동 데이터 순환 시스템을 형성합니다. 즉, 실행 추적은 더 나은 라우터와 하니스 연동 모델을 훈련시키고, 이는 비용-품질 균형을 개선하며 동일한 예산 내에서 더 많은 추적 데이터를 생성합니다. 우리는 이 아이디어를 OpenSquilla에 구현하여 4계층 라우팅 스택, 공개 LightGBM 초기 순위 모델 및 로깅된 아레나 레코드를 점진적으로 강력한 라우팅 정책으로 변환하는 단계별 라우터-모델 경로를 구축했습니다. 본 연구는 DRACO 및 PinchBench와 같은 에이전트 기반 벤치마크에서 단일 모델과 다중 모델 라우팅을 분석하고, 에이전트 기반 라우팅은 단순한 비용 제어가 아니라 에이전트 자체의 학습을 위한 데이터 엔진임을 주장합니다.

Large language model agents are increasingly executed not by a single model call, but by an execution harness that manages observation, context, control, action, state, and verification. At the same time, frontier and open models are becoming structurally specialized: a model that is strong at code editing, long-context recovery, tool use, mathematical reasoning, or low-latency response may not dominate on the other axes. This makes model selection inside an agent a core systems problem rather than a per-query serving trick. Existing routing methods mostly optimize single-turn cost-quality trade-offs and therefore miss the execution state, intermediate failures, and feedback loops that make agents different from chat completion. We propose Harness-Native agentic routing, a step-level routing paradigm that selects either a single best-fit model for cost-effective execution or multiple complementary models for ensemble-style accuracy improvement, conditioned on the full harness state. The key insight is that every routing decision naturally produces a structured data record -- consisting of the query, harness state, model choice or model set, execution trace, outcome, and cost -- whose labels are supplied by the environment rather than by the router itself. These records form a harness-native data flywheel: execution traces train better routers and harness-native models, which improve cost-quality trade-offs and generate more traces under the same budget. We instantiate this idea in OpenSquilla with a four-layer routing stack, an open LightGBM cold-start ranker, and a staged router-model path that turns logged arena records into progressively stronger routing policies. The report studies singleton and multi-model routing on agentic benchmarks including DRACO and PinchBench, and argues that agentic routing is not merely cost control, but a data engine for agent-native training.