예산 기반 다중 에이전트 협력의 상전이

Phase Transition for Budgeted Multi-Agent Synergy

다중 에이전트 시스템은 신뢰성을 향상시킬 수 있지만, 고정된 추론 예산 하에서는 오히려 성능 저하를 유발하거나 시스템 붕괴를 초래할 수 있습니다. 본 연구에서는 현대적인 에이전트 시스템의 세 가지 핵심 제약 조건(유한한 컨텍스트 창, 손실이 있는 에이전트 간 통신, 유사 에이전트 간의 공유 오류)을 기반으로 이러한 현상을 예측하는 최소한의 이론적 모델을 개발합니다. 각 에이전트는 계산 성능 스케일링 지수 $β$로 요약되며, 통신은 메시지 길이 정확도 곡선 $γ(m)$으로, 의존성은 효과적인 공유 오류 상관 관계 $ρ$로 표현됩니다. 또한, 컨텍스트 창 $W$는 하드 팬-인 제한을 부과하여 계층 구조를 필요로 합니다. 다수의 에이전트가 투표를 통해 결과를 결정하는 이진 성공/실패 작업에서, 상관 관계가 있는 입력과 손실 통신을 갖는 깊은 $b$-ary 트리 구조에 대해, 명확한 상전이 현상이 존재함을 증명합니다. 단일 스칼라 값 $α_ρ$ ( $γ(m)$, $ρ$, 그리고 팬-인 $b$를 결합)이 약한 신호가 의미 있는 고정점으로 증폭되는지, 아니면 단순히 무작위적인 결과로 사라지는지를 결정합니다. 증폭 영역에서는 조직 지수 $s$를 유도하고, 특정 예산 하에서 단일 에이전트보다 더 나은 성능, 즉 '예산 기반 협력'이 발생하는 조건을 $s > β$로 정의합니다. 이를 통해 계산 할당 규칙과 명확한 예산 임계값을 제시합니다. 또한, 혼합 깊이를 통해 포화 현상을 특성화하고, 성장 및 포화 과정에서 정확도를 유지하는 보수적인 클리핑 예측기를 제공합니다. 연속적인 성능 기반의 초기 학습 과정을 통해, 별, 체인, 트리 구조의 위험을 명확하게 제시하며, 상관 관계 및 통신으로 인한 성능 저하 요인을 드러내어 핵심적인 설계 trade-off를 보여줍니다. 마지막으로, 제안된 이론적 예측을 통제된 합성 시뮬레이션을 통해 검증하고, 최근 대규모 LLM 에이전트 시스템 확장 연구에서 보고된 주요 병목 현상을 동일한 메커니즘으로 설명합니다.

Multi-agent systems can improve reliability, yet under a fixed inference budget they often help, saturate, or even collapse. We develop a minimal and calibratable theory that predicts these regimes from three binding constraints of modern agent stacks: finite context windows, lossy inter-agent communication, and shared failures among similar agents. Each leaf agent is summarized by a compute-performance scaling exponent $β$; communication is captured by a message-length fidelity curve $γ(m)$; dependence is captured by an effective shared-error correlation $ρ$; and a context window $W$ imposes hard fan-in limits that make hierarchy necessary. For binary success/failure tasks with majority aggregation, we prove a sharp phase transition for deep $b$-ary trees with correlated inputs and lossy communication: a single scalar $α_ρ$ (combining $γ(m)$, $ρ$, and fan-in $b$) determines whether weak signal is amplified to a nontrivial fixed point or washed out to chance. In the amplifying regime, we derive an organization exponent $s$ and show that budgeted synergy, i.e., outperforming the best single agent under the same total budget, occurs exactly when $s>β$, yielding closed-form compute allocation rules and explicit budget thresholds. We further characterize saturation via a mixing depth and provide a conservative clipped predictor that remains accurate across growth and saturation. A continuous-performance warm-up gives closed-form risks for star, chain, and tree organizations, making correlation- and communication-induced floors explicit and exposing the core design trade-offs in a smooth setting. Finally, we validate the predicted phase boundaries in controlled synthetic simulations and show how the same mechanisms explain the dominant bottlenecks reported in recent large-scale matched-budget studies of LLM agent-system scaling.