집단 인공지능 연구를 향하여: LLM 기반 다중 에이전트 시스템은 무분별한 시행착오에서 엄격한 과학적 접근으로의 전환이 필요합니다.

Towards a Science of Collective AI: LLM-based Multi-Agent Systems Need a Transition from Blind Trial-and-Error to Rigorous Science

최근 대규모 언어 모델(LLM)의 발전은 다중 에이전트 시스템(MAS)의 기능을 크게 확장하여 다양한 복잡하고 개방적인 영역에서 상당한 효과를 보여주고 있습니다. 그러나 이러한 빠른 발전에도 불구하고, 이 분야는 여전히 경험적인 시행착오에 크게 의존하고 있습니다. 체계적인 최적화 및 개선을 위한 통일되고 원칙적인 과학적 프레임워크가 부족합니다. 이러한 병목 현상은 다음과 같은 모호한 책임 문제에서 비롯됩니다. 첫째, 체계적인 요인 분류의 부재로 인해 연구자들은 지도 없이 조작할 수밖에 없습니다. 둘째, 통일된 측정 기준의 부재는 진정한 협업 효과를 단순한 자원 축적과 구별하지 못합니다. 본 논문에서는 통합 프레임워크를 통해 설계 과학으로의 전환을 옹호합니다. 우리는 협업 효과 측정 지표($Γ$)를 과학적 기준으로 확립하여 예산 증가로 인한 인위적인 효과를 분리해야 한다고 주장합니다. $Γ$를 활용하여, 우리는 협업을 촉진하는 요인을 체계적으로 식별하기 위한 요인 귀속 패러다임을 제안합니다. 이를 지원하기 위해, 우리는 체계적인 MAS 요인 라이브러리를 구축하여 설계 공간을 제어 수준의 사전 설정과 정보 수준의 동역학으로 구성합니다. 궁극적으로, 이 프레임워크는 무분별한 실험에서 엄격한 과학으로의 전환을 촉진하여 진정한 집단 인공지능 연구의 길을 열 것입니다.

Recent advancements in Large Language Models (LLMs) have greatly extended the capabilities of Multi-Agent Systems (MAS), demonstrating significant effectiveness across a wide range of complex and open-ended domains. However, despite this rapid progress, the field still relies heavily on empirical trial-and-error. It lacks a unified and principled scientific framework necessary for systematic optimization and improvement. This bottleneck stems from the ambiguity of attribution: first, the absence of a structured taxonomy of factors leaves researchers restricted to unguided adjustments; second, the lack of a unified metric fails to distinguish genuine collaboration gain from mere resource accumulation. In this paper, we advocate for a transition to design science through an integrated framework. We advocate to establish the collaboration gain metric ($Γ$) as the scientific standard to isolate intrinsic gains from increased budgets. Leveraging $Γ$, we propose a factor attribution paradigm to systematically identify collaboration-driving factors. To support this, we construct a systematic MAS factor library, structuring the design space into control-level presets and information-level dynamics. Ultimately, this framework facilitates the transition from blind experimentation to rigorous science, paving the way towards a true science of Collective AI.