공유 컨텍스트 기반 분산 멀티 에이전트 시스템

Decentralized Multi-Agent Systems with Shared Context

멀티 에이전트 시스템(MAS)은 복잡한 문제를 병렬 서브태스크로 분해하여 테스트 시 대규모 언어 모델의 추론 능력을 향상시킬 수 있습니다. 그러나 대부분의 기존 MAS는 중앙 집중식 오케스트레이션을 사용하며, 여기서 하나의 주 에이전트가 작업을 할당하고, 결과를 수집 및 통합합니다. 서브태스크 수가 증가함에 따라 이 제어자는 통신 및 통합 병목 현상을 유발합니다. 본 논문에서는 분산된 언어 모델(DeLM)이라는 MAS 프레임워크를 제안합니다. DeLM은 평행 에이전트, 공유 검증 컨텍스트 및 태스크 큐를 통해 조정 기능을 분산화합니다. 에이전트는 비동기적으로 서브태스크를 할당하고, 누적된 진행 상황을 읽고, 로컬 추론을 수행하며, 간결한 검증된 업데이트를 기록합니다. 공유 컨텍스트는 공통 통신 기반 역할을 하며, 이를 통해 에이전트는 중앙 제어기를 통해 모든 업데이트를 라우팅하지 않고 서로의 검증된 진행 사항을 활용할 수 있습니다. 실험 결과, DeLM은 소프트웨어 엔지니어링 테스트 시 확장성 향상 및 긴 컨텍스트 추론 능력 모두에서 성능 개선을 보였습니다. SWE-bench Verified 데이터셋에서 DeLM은 Avg.@1, Pass@2 및 Pass@4 지표에서 가장 뛰어난 성능을 달성했으며, 최고 기준 모델 대비 최대 10.5% 포인트의 성능 향상을 보였으며, 태스크당 비용을 약 50% 절감했습니다. LongBench-v2 Multi-Doc QA 데이터셋에서는 DeLM이 네 가지 최첨단 모델 패밀리에서 가장 높은 평균 정확도를 달성했으며, 최고 기준 모델 대비 최대 5.7% 포인트의 성능 향상을 보였습니다. 관련 코드는 프로젝트 웹사이트 https://yuzhenmao.github.io/DeLM/ 에서 확인할 수 있습니다.

Multi-agent systems (MAS) can scale large language model reasoning at test time by decomposing complex problems into parallel subtasks. However, most existing MAS rely on centralized orchestration, where a main agent assigns work, collects outputs, and merges results. As the number of subtasks grows, this controller becomes a communication and integration bottleneck. We propose Decentralized Language Models (DeLM), a MAS framework that decentralizes coordination through parallel agents, a shared verified context, and a task queue. Agents asynchronously claim subtasks, read accumulated progress, perform local reasoning, and write back compact verified updates. The shared context acts as a common communication substrate, enabling agents to build on one another's verified progress without routing every update through a central controller. Empirically, DeLM improves both software-engineering test-time scaling and long-context reasoning. On SWE-bench Verified, DeLM achieves the best performance across Avg.@1, Pass@2, and Pass@4, with gains of up to 10.5 percentage points over the strongest baseline, while reducing cost per task by roughly 50%. On LongBench-v2 Multi-Doc QA, DeLM achieves the highest average accuracy across four frontier model families, improving over the strongest baseline by up to 5.7 percentage points. The code is available on our project website at https://yuzhenmao.github.io/DeLM/.