재귀적 다중 에이전트 시스템

Recursive Multi-Agent Systems

최근, 재귀적이거나 순환적인 언어 모델은 잠재 상태에 대한 동일한 모델 연산을 반복적으로 개선하여 추론 능력을 심화시키는 새로운 확장 방법으로 등장했습니다. 본 연구에서는 이러한 확장 원리를 단일 모델에서 다중 에이전트 시스템으로 확장하고, 다음과 같은 질문을 던집니다: 에이전트 간 협업 자체가 재귀를 통해 확장될 수 있는가? 이를 위해, 우리는 전체 시스템을 통합된 잠재 공간 기반의 재귀적 연산으로 표현하는 재귀적 다중 에이전트 프레임워크인 RecursiveMAS를 제안합니다. RecursiveMAS는 가벼운 RecursiveLink 모듈을 통해 이기종 에이전트를 연결하여 협업 루프를 형성하고, 데이터 분포 내의 잠재적인 사고 생성 및 에이전트 간 잠재 상태 전송을 가능하게 합니다. 본 프레임워크의 최적화를 위해, 우리는 재귀적 반복 과정을 통해 전체 시스템의 공동 최적화를 위한 내부-외부 루프 학습 알고리즘을 개발했습니다. 이론적 분석 결과, RecursiveMAS는 표준 텍스트 기반 다중 에이전트 시스템보다 효율적이며, 재귀적 학습 과정에서 안정적인 기울기를 유지하는 것으로 나타났습니다. 실험적으로, 우리는 4가지 대표적인 에이전트 협업 패턴에서 RecursiveMAS를 구현하고, 수학, 과학, 의학, 검색 및 코드 생성 등 9개의 벤치마크를 통해 성능을 평가했습니다. 고급 단일/다중 에이전트 및 재귀적 연산 기반 모델과의 비교 결과, RecursiveMAS는 평균 정확도가 8.3% 향상되었으며, 1.2배에서 2.4배의 엔드-투-엔드 추론 속도 향상 및 34.6%에서 75.6%의 토큰 사용량 감소를 달성했습니다. 코드 및 데이터는 https://recursivemas.github.io 에서 제공됩니다.

Recursive or looped language models have recently emerged as a new scaling axis by iteratively refining the same model computation over latent states to deepen reasoning. We extend such scaling principle from a single model to multi-agent systems, and ask: Can agent collaboration itself be scaled through recursion? To this end, we introduce RecursiveMAS, a recursive multi-agent framework that casts the entire system as a unified latent-space recursive computation. RecursiveMAS connects heterogeneous agents as a collaboration loop through the lightweight RecursiveLink module, enabling in-distribution latent thoughts generation and cross-agent latent state transfer. To optimize our framework, we develop an inner-outer loop learning algorithm for iterative whole-system co-optimization through shared gradient-based credit assignment across recursion rounds. Theoretical analyses of runtime complexity and learning dynamics establish that RecursiveMAS is more efficient than standard text-based MAS and maintains stable gradients during recursive training. Empirically, we instantiate RecursiveMAS under 4 representative agent collaboration patterns and evaluate across 9 benchmarks spanning mathematics, science, medicine, search, and code generation. In comparison with advanced single/multi-agent and recursive computation baselines, RecursiveMAS consistently delivers an average accuracy improvement of 8.3%, together with 1.2$\times$-2.4$\times$ end-to-end inference speedup, and 34.6%-75.6% token usage reduction. Code and Data are provided in https://recursivemas.github.io.