개미 군집 최적화를 이용한 효율적이고 해석 가능한 다중 에이전트 LLM 라우팅

Efficient and Interpretable Multi-Agent LLM Routing via Ant Colony Optimization

대규모 언어 모델(LLM) 기반 다중 에이전트 시스템(MAS)은 복잡한 추론 및 도구 사용 능력에서 강력한 성능을 보여주며, 다양한 에이전트 풀은 품질-비용 균형을 더욱 확장합니다. 그러나 이러한 발전에도 불구하고, 실제 배포는 높은 추론 비용, 지연 시간 및 제한적인 투명성으로 인해 종종 제약되며, 이는 확장 가능하고 효율적인 라우팅을 방해합니다. 기존 라우팅 전략은 일반적으로 비용이 많이 드는 LLM 기반 선택기 또는 정적 정책에 의존하며, 동적 부하 및 혼합 의도 하에서 의미론적으로 인식하는 라우팅에 대한 제한적인 제어 기능을 제공하여, 종종 불안정한 성능과 비효율적인 리소스 활용으로 이어집니다. 이러한 제한 사항을 해결하기 위해, 우리는 다중 에이전트 시스템(MAS)을 위한 효율적이고 해석 가능한 라우팅 프레임워크인 AMRO-S를 제안합니다. AMRO-S는 MAS 라우팅을 의미론적으로 조건화된 경로 선택 문제로 모델링하며, 세 가지 주요 메커니즘을 통해 라우팅 성능을 향상시킵니다. 첫째, AMRO-S는 각 쿼리에 대한 저렴한 의미론적 인터페이스를 제공하는 지도 학습(SFT) 방식으로 미세 조정된 소규모 언어 모델을 사용하여 의도 추론을 수행합니다. 둘째, 라우팅 메모리를 작업별 페로몬 전문가로 분해하여, 작업 간 간섭을 줄이고 혼합 워크로드 하에서 경로 선택을 최적화합니다. 셋째, AMRO-S는 추론과 학습을 분리하는 품질 게이트가 있는 비동기 업데이트 메커니즘을 사용하여 지연 시간을 늘리지 않고 라우팅을 최적화합니다. 다섯 가지 공개 벤치마크 및 고병렬 스트레스 테스트에서 수행한 광범위한 실험 결과, AMRO-S는 강력한 라우팅 기준보다 품질-비용 균형을 지속적으로 향상시키며, 구조화된 페로몬 패턴을 통해 추적 가능한 라우팅 증거를 제공합니다.

Large Language Model (LLM)-driven Multi-Agent Systems (MAS) have demonstrated strong capability in complex reasoning and tool use, and heterogeneous agent pools further broaden the quality--cost trade-off space. Despite these advances, real-world deployment is often constrained by high inference cost, latency, and limited transparency, which hinders scalable and efficient routing. Existing routing strategies typically rely on expensive LLM-based selectors or static policies, and offer limited controllability for semantic-aware routing under dynamic loads and mixed intents, often resulting in unstable performance and inefficient resource utilization. To address these limitations, we propose AMRO-S, an efficient and interpretable routing framework for Multi-Agent Systems (MAS). AMRO-S models MAS routing as a semantic-conditioned path selection problem, enhancing routing performance through three key mechanisms: First, it leverages a supervised fine-tuned (SFT) small language model for intent inference, providing a low-overhead semantic interface for each query; second, it decomposes routing memory into task-specific pheromone specialists, reducing cross-task interference and optimizing path selection under mixed workloads; finally, it employs a quality-gated asynchronous update mechanism to decouple inference from learning, optimizing routing without increasing latency. Extensive experiments on five public benchmarks and high-concurrency stress tests demonstrate that AMRO-S consistently improves the quality--cost trade-off over strong routing baselines, while providing traceable routing evidence through structured pheromone patterns.