쿼리 암기 문제를 넘어: 쿼리 분해 및 과거 데이터 매칭을 통한 대규모 언어 모델 라우팅

Beyond Query Memorization: Large Language Model Routing with Query Decomposition and Historical Matching

대규모 언어 모델(LLM)의 활용에 있어 예측 성능과 계산 비용 간의 균형을 최적화하는 것은 매우 중요한 과제입니다. 현재 라우팅 방법은 주로 표면적인 특징을 기반으로 쿼리를 모델에 직접 매핑하는데, 이는 암기 현상을 유발하고 데이터 분포가 다른(OOD) 데이터에 대한 일반화 성능을 저하시키는 단점이 있습니다. 본 논문에서는 라우팅 작업을 과거 로그에서 유사한 쿼리를 찾아내는 매칭 과정으로 재정의하는 새로운 라우팅 프레임워크인 DecoR을 제안합니다. 이를 통해 암기 현상을 효과적으로 완화할 수 있습니다. 또한, 정확도를 높이기 위해 언어적 표면 형태와 작업에 내재된 요구 사항을 분리하는 쿼리 기능 해체 방법을 도입하여 매칭을 기능 차원에 집중하도록 하여 중요한 작업 속성에 기반한 의사 결정을 가능하게 합니다. 더욱이, 라우팅의 일반화 성능을 평가하기 위한 종합적인 벤치마크인 CodaSet을 개발했으며, 실험 결과 DecoR은 데이터 분포가 동일한(in-distribution) 및 다른(OOD) 환경 모두에서 우수한 정확도를 유지하면서 추론 비용을 크게 절감하는 것을 확인했습니다. 모든 코드와 데이터는 https://github.com/lvbotenbest/DecoR 에서 확인할 수 있습니다.

Optimizing the trade-off among predictive performance and computational cost is a central focus in the deployment of Large Language Models (LLMs). Current routing methods primarily rely on direct mapping from queries to models based on surface-level features, making them susceptible to the memorization trap and leading to poor generalizability on out-of-distribution (OOD) data. In this paper, we propose DecoR, a novel routing framework that recasts the routing task as a matching process of sifting similar queries from historical logs, effectively mitigating the memorization trap. To enhance matching accuracy, we introduce a query capability deconstruction method that decouples linguistic surface forms from task-intrinsic requirements, directing matching toward capability dimensions to ground decisions in essential task attributes. Furthermore, we develop CodaSet, a comprehensive benchmark for assessing routing generalization, where experimental results demonstrate that DecoR maintains superior accuracy while substantially lowering inference costs across both in-distribution and OOD settings. All the codes and data are available at https://github.com/lvbotenbest/DecoR.