라우팅이 붕괴될 때: LLM 라우터의 퇴행적 수렴에 관하여

When Routing Collapses: On the Degenerate Convergence of LLM Routers

LLM 라우팅은 쉬운 쿼리는 더 작은 모델에, 어려운 쿼리는 더 강력한 모델에 동적으로 할당함으로써 유리한 품질-비용 트레이드오프를 달성하는 것을 목표로 합니다. 그러나 단일 모달 및 멀티 모달 설정 전반에 걸쳐, 우리는 기존 라우터에서 만연하지만 충분히 탐구되지 않은 실패 유형을 발견했습니다. 이는 사용자의 비용 예산이 증가함에 따라 더 저렴한 모델로도 충분한 경우조차 라우터가 가장 성능이 뛰어나고 비싼 모델을 체계적으로 선택하는 현상입니다. 그 결과 현재의 라우터들은 작은 모델들을 과소 활용하여 연산 및 금전적 비용을 낭비하고 라우팅의 핵심 약속을 훼손하는데, 우리는 이 현상을 '라우팅 붕괴(routing collapse)'라고 명명합니다. 우리는 라우팅 붕괴의 원인을 '목적-결정 불일치'에서 찾습니다. 많은 라우터가 스칼라 성능 점수를 예측하도록 훈련되지만, 최종적인 라우팅 결정은 후보 모델 간의 이산적인 비교에 의존하기 때문입니다. 결과적으로 작은 예측 오차가 상대적 순위를 뒤집고 차선의 선택을 유발할 수 있습니다. 이러한 격차를 해소하기 위해 우리는 모델 순위를 직접 학습하는 결정 인식 라우터인 EquiRouter를 제안하여, 작은 모델의 역할을 회복시키고 라우팅 붕괴를 완화합니다. RouterBench에서 EquiRouter는 기존의 가장 강력한 라우터와 비교하여 GPT-4 수준의 성능에서 비용을 약 17% 절감했습니다. 코드는 https://github.com/AIGNLAI/EquiRouter 에서 확인할 수 있습니다.

LLM routing aims to achieve a favorable quality--cost trade-off by dynamically assigning easy queries to smaller models and harder queries to stronger ones. However, across both unimodal and multimodal settings, we uncover a pervasive yet underexplored failure mode in existing routers: as the user's cost budget increases, routers systematically default to the most capable and most expensive model even when cheaper models already suffice. As a result, current routers under-utilize small models, wasting computation and monetary cost and undermining the core promise of routing; we term this phenomenon routing collapse. We attribute routing collapse to an objective--decision mismatch: many routers are trained to predict scalar performance scores, whereas routing decisions ultimately depend on discrete comparisons among candidate models. Consequently, small prediction errors can flip relative orderings and trigger suboptimal selections. To bridge this gap, we propose EquiRouter, a decision-aware router that directly learns model rankings, restoring the role of smaller models and mitigating routing collapse. On RouterBench, EquiRouter reduces cost by about 17\% at GPT-4-level performance compared to the strongest prior router. Our code is available at https://github.com/AIGNLAI/EquiRouter.