다양성을 통한 LLM 기반 다중 에이전트 시스템의 에이전트 스케일링 이해

Understanding Agent Scaling in LLM-Based Multi-Agent Systems via Diversity

LLM 기반 다중 에이전트 시스템(MAS)은 개별 LLM이 해결하기 어려운 복잡한 작업을 처리하기 위한 유망한 접근 방식으로 부상했습니다. 에이전트 수를 늘려 성능을 확장하는 것이 자연스러운 전략이지만, 동질적인 설정에서는 이러한 확장이 뚜렷한 수확 체감(diminishing returns)을 보이는 반면, 이질성(예: 다른 모델, 프롬프트 또는 도구)을 도입하면 상당한 이득을 계속 얻을 수 있음을 발견했습니다. 이는 근본적인 질문을 제기합니다: 무엇이 스케일링을 제한하며, 왜 다양성이 도움이 되는가? 우리는 MAS 성능이 에이전트 수가 아닌 내재적 작업 불확실성에 의해 제한된다는 것을 보여주는 정보 이론적 프레임워크를 제시합니다. 우리는 성능 향상이 시스템이 접근하는 유효 채널의 수에 달려 있음을 입증하는 아키텍처에 구애받지 않는 경계를 도출합니다. 동질적 에이전트들은 그들의 출력이 강하게 상관되어 있어 일찍 포화되는 반면, 이질적 에이전트들은 상호 보완적인 증거를 제공합니다. 더 나아가 우리는 정답 레이블 없이 유효 채널의 수를 정량화하는 유효 채널 수 지표인 $K^*$를 소개합니다. 실증적으로, 우리는 이질적인 구성이 동질적인 스케일링보다 일관되게 우수한 성능을 보임을 보여줍니다. 즉, 2개의 다양한 에이전트가 16개의 동질적 에이전트의 성능과 맞먹거나 능가할 수 있습니다. 우리의 결과는 다양성을 고려한 설계를 통해 효율적이고 견고한 MAS를 구축하기 위한 원칙적인 가이드라인을 제공합니다. 코드와 데이터셋은 다음 링크에서 확인할 수 있습니다: https://github.com/SafeRL-Lab/Agent-Scaling

LLM-based multi-agent systems (MAS) have emerged as a promising approach to tackle complex tasks that are difficult for individual LLMs. A natural strategy is to scale performance by increasing the number of agents; however, we find that such scaling exhibits strong diminishing returns in homogeneous settings, while introducing heterogeneity (e.g., different models, prompts, or tools) continues to yield substantial gains. This raises a fundamental question: what limits scaling, and why does diversity help? We present an information-theoretic framework showing that MAS performance is bounded by the intrinsic task uncertainty, not by agent count. We derive architecture-agnostic bounds demonstrating that improvements depend on how many effective channels the system accesses. Homogeneous agents saturate early because their outputs are strongly correlated, whereas heterogeneous agents contribute complementary evidence. We further introduce $K^*$, an effective channel count that quantifies the number of effective channels without ground-truth labels. Empirically, we show that heterogeneous configurations consistently outperform homogeneous scaling: 2 diverse agents can match or exceed the performance of 16 homogeneous agents. Our results provide principled guidelines for building efficient and robust MAS through diversity-aware design. Code and Dataset are available at the link: https://github.com/SafeRL-Lab/Agent-Scaling.