자동화된 연구를 위한 다중 에이전트 협업에 대한 실증적 연구

An Empirical Study of Multi-Agent Collaboration for Automated Research

인공지능 에이전트가 발전함에 따라, 연구 자동화 분야는 인지적 병목 현상을 극복하기 위해 단일 대규모 언어 모델(LLM)에서 다중 에이전트 시스템(MAS)으로 빠르게 전환되고 있습니다. 그러나 이러한 자율 에이전트를 위한 최적의 다중 에이전트 협업 프레임워크는 아직 충분히 연구되지 않았습니다. 본 논문에서는 자동화된 머신러닝 최적화를 위한 다양한 다중 에이전트 구조의 비교적 효율성을 조사하는 체계적인 실증 연구를 제시합니다. Git 작업 트리를 활용한 격리 및 명시적인 글로벌 메모리를 갖춘 엄격하게 통제된 실행 기반 테스트 환경을 사용하여, 단일 에이전트 기준 모델을 두 가지 다중 에이전트 패러다임과 비교합니다. 첫 번째는 사후 통합을 통한 병렬 탐색을 수행하는 서브 에이전트 아키텍처이고, 두 번째는 사전 실행 핸드오프를 통해 작동하는 전문가 팀 아키텍처입니다. 엄격하게 제한된 계산 시간 내에서 이러한 시스템을 평가한 결과, 운영 안정성과 이론적 숙고 간의 근본적인 균형이 존재한다는 사실이 밝혀졌습니다. 서브 에이전트 모드는 엄격한 시간 제약 하에서 광범위하고 피상적인 최적화에 적합한 높은 처리량을 갖는 안정적인 검색 엔진으로 작동합니다. 반면, 에이전트 팀 아키텍처는 다중 작성자의 코드 생성으로 인해 운영적인 취약성이 더 높지만, 확장된 계산 예산을 통해 복잡한 아키텍처 리팩토링에 필요한 깊이 있는 이론적 정렬을 달성합니다. 이러한 실증적 통찰력은 향후 자동 연구 시스템을 설계하기 위한 실질적인 지침을 제공하며, 실시간 작업 복잡성에 따라 협업 구조를 동적으로 조정하는 아키텍처의 필요성을 강조합니다.

As AI agents evolve, the community is rapidly shifting from single Large Language Models (LLMs) to Multi-Agent Systems (MAS) to overcome cognitive bottlenecks in automated research. However, the optimal multi-agent coordination framework for these autonomous agents remains largely unexplored. In this paper, we present a systematic empirical study investigating the comparative efficacy of distinct multi-agent structures for automated machine learning optimization. Utilizing a rigorously controlled, execution-based testbed equipped with Git worktree isolation and explicit global memory, we benchmark a single-agent baseline against two multi-agent paradigms: a subagent architecture (parallel exploration with post-hoc consolidation) and an agent team architecture (experts with pre-execution handoffs). By evaluating these systems under strictly fixed computational time budgets, our findings reveal a fundamental trade-off between operational stability and theoretical deliberation. The subagent mode functions as a highly resilient, high-throughput search engine optimal for broad, shallow optimizations under strict time constraints. Conversely, the agent team topology exhibits higher operational fragility due to multi-author code generation but achieves the deep theoretical alignment necessary for complex architectural refactoring given extended compute budgets. These empirical insights provide actionable guidelines for designing future autoresearch systems, advocating for dynamically routed architectures that adapt their collaborative structures to real-time task complexity.