클라우드 에이전트와 디바이스 에이전트의 만남: 하이브리드 멀티에이전트 시스템으로부터 얻은 교훈

When Cloud Agents Meet Device Agents: Lessons from Hybrid Multi-Agent Systems

에이전트 기반 AI 추론 설계는 크게 두 가지 극단으로 나뉩니다. 하나는 클라우드에서 주로 운영되며 다양한 작업에서 강력한 성능을 제공하지만 비용이 매우 높은 대규모 언어 모델(LLM)이고, 다른 하나는 온디바이스 추론에 적합하여 비용 효율적인 소규모 언어 모델(SLM)입니다. 온디바이스 모델과 클라우드 모델을 결합한 하이브리드 멀티에이전트 시스템(MAS)은 유망한 대안이지만, 작업 정확도, 금전적 비용 및 엣지에서의 에너지 소비가 밀접하게 연관된 복잡하고 잘 이해되지 않은 설계 공간을 가지고 있습니다. 일반적인 설계 원칙의 부재로 인해 하이브리드 구성 요소는 가장 흔한 선택은 아니지만, 일반적으로 특정 도메인에 맞춰 임의적으로 결정됩니다. 본 연구에서는 이 설계 공간을 보다 체계적으로 분석합니다. 대표적인 두 가지 MAS 아키텍처를 수정하여 하이브리드 추론을 지원하고, 개별 설계 선택이 전력, 비용 및 성능의 파레토 최적 지점을 어떻게 변화시키는지 조사합니다. 우리의 연구 결과는 하이브리드 MAS 설계에 대한 미묘한 통찰력을 제공합니다. SLM은 LLM의 도움을 통해 효과적으로 이점을 얻을 수 있지만, 최적의 아키텍처는 작업에 따라 크게 다르며, 더 높은 수준의 컴퓨팅 성능이 항상 더 나은 성능으로 이어지는 것은 아닙니다.

The design space of agentic AI inference spans two extremes: frontier large language models (LLMs), typically hosted in the cloud and offering strong performance across a wide range of tasks at substantially high cost, and more cost-efficient small language models (SLMs), which are amenable to on-device inference. Hybrid multi-agent systems (MASs) combining on-device and cloud models offer a promising middle ground, but they also introduce a complex and poorly understood design space in which task accuracy, monetary cost, and edge energy consumption are tightly coupled; in the absence of general design principles, hybrid components, although not the most prevalent choice, are typically introduced through ad hoc decisions tailored to specific domains. In this work, we examine this design space more systematically. We adapt two representative MAS architectures to support hybrid inference and study how individual design choices shift the operating point along the Pareto frontier of power, cost, and performance. Our findings paint a nuanced picture of hybrid MAS design: while SLMs can effectively benefit from LLM assistance, the optimal architecture is highly task-dependent, and greater frontier-level compute does not consistently translate to better performance.