엔터프라이즈 LLM 코딩 어시스턴트를 위한 작업-모델 최적화: 비용 효율적인 라우팅을 위한 데이터 기반 프레임워크

Task-to-Model Optimization for Enterprise LLM Coding Assistants: A Data-Driven Framework for Cost-Optimal Routing

엔터프라이즈 AI 코딩 어시스턴트는 상당한 추론 비용을 발생시키며, 단순한 토큰 비용 최소화는 재시도, 에스컬레이션 및 개발자 대기 시간을 고려하면 전체 비용을 줄이는 데 종종 실패합니다. 본 논문에서는 생산 환경의 코딩 워크플로우에서 모델 선택을 최적화하는 데이터 기반 방법론인 작업-모델 최적화(T2MO)를 제시합니다. 각 개발자 세션을 발견, 분류하고, 난이도를 평가하며, 실제와 유사한 환경에서 벤치마킹하여, 품질 및 지연 시간 제약 조건 내에서 작업을 완료할 수 있는 가장 저렴한 모델로 라우팅합니다. 이 프레임워크는 원격 측정 장비 설치, 분류 체계 발견, 난이도 평가, 벤치마크 구축, 후보 평가, 최적 조합 도출, 예측 및 버전 계획, 단계별 라우팅 배포, 그리고 지속적인 관리를 포함하는 9단계 파이프라인입니다. 토큰 중심 라우팅 규칙과 달리, 우리의 목표는 에스컬레이션을 명시적으로 고려한 완료된 작업당 비용입니다. 우리는 이 기대 완료 비용 목표가 에스컬레이션 상황에서 토큰 비용 최소화를 능가하며, 특정 모델을 배포할 가치가 있는 최소 성공률인 라우팅 경계를 도출합니다. 의사 결정은 작업 범주 난이도 계층이라는 2단계 계층 구조로 구성되며, 각 셀에서의 대체 기회는 트래픽 가중치 저축 폭포수(traffic-weighted savings waterfall)로 집계되어, 실제 비용 절감 효과를 기준으로 대체 후보 모델을 순위화합니다. 이 프레임워크는 개발자 지원, 지출 예측 및 정적 정책에서 섀도 모드 분류기, 검증된 캐스케이드, 그리고 궁극적으로 지능형 라우터로의 점진적인 전환을 지원합니다. 본 논문에서는 방법론, 최적화 목표, 평가 프로토콜 및 관리 루프를 실제 배포 및 향후 경험적 연구에 적합한 형태로 설명합니다.

Enterprise AI coding assistants incur substantial inference spend, and naive token-cost minimization often fails to reduce end-to-end cost once retries, escalations, and developer wait time are included. We present Task-to-Model Optimization (T2MO), a data-driven methodology for optimizing model selection in production coding workflows. We treat each developer session as a task that can be discovered, classified, graded for difficulty, benchmarked in a production-like harness, and routed to the cheapest model able to complete it within quality and latency constraints. The framework is a nine-stage pipeline spanning telemetry instrumentation, taxonomy discovery, difficulty grading, benchmark construction, candidate evaluation, optimal mix derivation, forecasting and version planning, staged routing deployment, and continuous governance. Unlike token-centric routing rules, our objective is cost per completed task, with failure escalation priced in explicitly. We show that this expected-completion-cost objective weakly dominates token-cost minimization under escalation, and we derive the routing boundary, the minimum pass rate a cheaper model must reach on a given cell to be worth deploying. Decisions are organized as a two-level hierarchy of task category difficulty tier, and per-cell displacement opportunities are aggregated into a traffic-weighted savings waterfall that ranks replacement candidates by realized dollar impact. The framework supports developer guidance, spend forecasting, and a staged transition from static policies to shadow-mode classifiers, verified cascades, and ultimately an intelligent router. We describe the methodology, optimization objective, evaluation protocol, and governance loop in a form suitable for production deployment and future empirical study.