SearchSwarm: 장기 연구를 위한 자율적 LLM에서 위임 지능 향상을 목표로

SearchSwarm: Towards Delegation Intelligence in Agentic LLMs for Long-Horizon Deep Research

최근 대규모 언어 모델(LLM)은 복잡하고 장기간에 걸쳐 진행되는 실제 작업들을 처리해야 하지만, 모델의 컨텍스트 창은 본질적으로 제한적입니다. 최근 연구에서는 주 에이전트가 작업을 세분화하여 하위 작업들을 하위 에이전트로 분배하고, 하위 에이전트는 실행 결과를 요약해서만 반환함으로써 주 에이전트의 컨텍스트 사용량을 절약하는 패러다임을 탐구합니다. 그러나 이러한 방식이 효과적으로 작동하려면 위임 지능이 필요하며, 이는 복잡한 작업을 세분화하고, 언제 그리고 무엇을 위임할지 결정하며, 반환된 결과를 지속적인 워크플로우에 통합하는 능력입니다. 자연스러운 텍스트 데이터에서 이러한 능력을 학습할 수 있는 데이터는 부족하며, 현재까지 공개된 자료에서는 그러한 데이터를 생성하고 모델이 이 능력을 습득하도록 훈련하는 방법에 대한 연구가 거의 이루어지지 않았습니다. 이러한 격차를 해소하기 위해, 본 논문에서는 대표적인 장기 에이전트 작업인 심층 연구를 대상으로 하는 초기 탐색을 제시합니다. 구체적으로, 우리는 모델이 고품질의 작업 분해 및 위임을 수행하도록 유도하는 프레임워크를 설계했으며, 동시에 하위 에이전트가 주 에이전트의 워크플로우를 지원할 수 있도록 적절한 결과를 반환하도록 제한했습니다. 프레임워크에 의해 생성된 경로는 올바른 위임 결정을 자연스럽게 암호화하며, 이를 지도 학습 데이터로 사용하여 모델 가중치에 위임 지능을 내재화합니다. 결과적으로 개발된 SearchSwarm-30B-A3B 모델은 BrowseComp에서 68.1점, BrowseComp-ZH에서 73.3점을 달성하여 동일 규모의 다른 모든 모델 중 최고 성능을 보였습니다. 우리는 향후 연구를 촉진하기 위해 프레임워크, 모델 가중치 및 학습 데이터를 공개할 예정입니다.

Large language models are increasingly expected to handle complex, long-horizon real-world tasks whose context demands can grow without bound, yet model context windows remain inherently finite. Recent work explores a paradigm where a main agent decomposes tasks and dispatches subtasks to subagents, which execute and return only summarized results, conserving the main agent's context budget. However, performing this well requires delegation intelligence: the ability to decompose complex tasks, determine when and what to delegate, and integrate returned results into the ongoing workflow. Training data for this capability is scarce in naturally occurring text, and to our knowledge, how to synthesize such data and train models to acquire this capability remains largely unexplored in the open-source community. To bridge this gap, we present a preliminary exploration targeting deep research, a representative long-horizon agent task. Specifically, we design a harness that guides the model toward high-quality task decomposition and delegation, while constraining subagents to return results properly to support the main agent's workflow. The harness-guided trajectories naturally encode correct delegation decisions, which we use as supervised fine-tuning data to internalize delegation intelligence into model weights. Our resulting model, SearchSwarm-30B-A3B, achieves 68.1 on BrowseComp and 73.3 on BrowseComp-ZH, the best results among all models of comparable scale. We will release our harness, model weights, and training data to facilitate future research.