예산 제약 하의 다중 에이전트 시너지를 위한 상전이

Phase Transition for Budgeted Multi-Agent Synergy

다중 에이전트 시스템은 신뢰성을 향상시킬 수 있지만, 고정된 추론 예산 하에서는 종종 도움이 되거나, 포화 상태에 이르거나, 심지어 붕괴하기도 한다. 우리는 최신 에이전트 스택의 세 가지 구속 제약 조건인 유한한 컨텍스트 윈도우, 손실이 있는 에이전트 간 통신, 유사한 에이전트 간의 공유된 실패로부터 이러한 영역들을 예측하는 최소한의 교정 가능한 이론을 개발한다. 각 리프(leaf) 에이전트는 계산-성능 스케일링 지수 β로 요약되고, 통신은 메시지 길이 충실도 곡선 γ(m)으로 포착되며, 의존성은 유효 공유 오류 상관관계 ρ로 포착된다. 또한 컨텍스트 윈도우 W는 계층 구조를 필수적으로 만드는 엄격한 팬인(fan-in) 제한을 부과한다. 다수결 집계를 사용하는 이진 성공/실패 작업의 경우, 상관된 입력과 손실이 있는 통신을 갖는 깊은 b-진 트리에서 뚜렷한 상전이를 증명한다. 즉, 단일 스칼라 α_ρ(γ(m), ρ, 팬인 b를 결합함)가 약한 신호가 비자명한 고정점으로 증폭될지 아니면 무작위 수준으로 희석될지를 결정한다. 증폭 영역에서 우리는 조직 지수 s를 유도하고, 예산 제약 하의 시너지(즉, 동일한 총 예산 하에서 최고의 단일 에이전트 성능을 능가하는 것)가 정확히 s>β일 때 발생함을 보이며, 이를 통해 폐쇄형 계산 할당 규칙과 명시적인 예산 임계값을 산출한다. 우리는 더 나아가 혼합 깊이를 통해 포화를 특성화하고, 성장과 포화 전반에 걸쳐 정확도를 유지하는 보수적인 클립형 예측기를 제공한다. 연속 성능 예비 분석은 스타, 체인, 트리 조직에 대한 폐쇄형 위험(risk)을 제공하여, 상관관계와 통신으로 인한 성능 하한선을 명시적으로 만들고 부드러운 설정에서 핵심 설계 트레이드오프를 드러낸다. 마지막으로, 우리는 통제된 합성 시뮬레이션에서 예측된 상 경계를 검증하고, 동일한 메커니즘이 최근 LLM 에이전트 시스템 스케일링에 대한 대규모 예산 매칭 연구에서 보고된 주요 병목 현상을 어떻게 설명하는지 보여준다.

Multi-agent systems can improve reliability, yet under a fixed inference budget they often help, saturate, or even collapse. We develop a minimal and calibratable theory that predicts these regimes from three binding constraints of modern agent stacks: finite context windows, lossy inter-agent communication, and shared failures among similar agents. Each leaf agent is summarized by a compute-performance scaling exponent $β$; communication is captured by a message-length fidelity curve $γ(m)$; dependence is captured by an effective shared-error correlation $ρ$; and a context window $W$ imposes hard fan-in limits that make hierarchy necessary. For binary success/failure tasks with majority aggregation, we prove a sharp phase transition for deep $b$-ary trees with correlated inputs and lossy communication: a single scalar $α_ρ$ (combining $γ(m)$, $ρ$, and fan-in $b$) determines whether weak signal is amplified to a nontrivial fixed point or washed out to chance. In the amplifying regime, we derive an organization exponent $s$ and show that budgeted synergy, i.e., outperforming the best single agent under the same total budget, occurs exactly when $s>β$, yielding closed-form compute allocation rules and explicit budget thresholds. We further characterize saturation via a mixing depth and provide a conservative clipped predictor that remains accurate across growth and saturation. A continuous-performance warm-up gives closed-form risks for star, chain, and tree organizations, making correlation- and communication-induced floors explicit and exposing the core design trade-offs in a smooth setting. Finally, we validate the predicted phase boundaries in controlled synthetic simulations and show how the same mechanisms explain the dominant bottlenecks reported in recent large-scale matched-budget studies of LLM agent-system scaling.