MASFactory: Vibe Graphing을 활용한 LLM 기반 다중 에이전트 시스템 오케스트레이션을 위한 그래프 중심 프레임워크

MASFactory: A Graph-centric Framework for Orchestrating LLM-Based Multi-Agent Systems with Vibe Graphing

대규모 언어 모델(LLM) 기반 다중 에이전트 시스템(MAS)은 역할 전문화 및 협력을 통해 에이전트 기반 문제 해결 능력을 향상시키는 데 점점 더 많이 사용되고 있습니다. MAS 워크플로우는 자연적으로 방향성 계산 그래프로 모델링될 수 있으며, 여기서 노드는 에이전트/부분 워크플로우를 실행하고, 에지는 의존성과 메시지 전달을 나타냅니다. 그러나 현재 프레임워크에서 복잡한 그래프 워크플로우를 구현하려면 여전히 상당한 수동 작업이 필요하며, 재사용성이 제한적이고, 이기종 외부 컨텍스트 소스를 통합하기 어렵다는 단점이 있습니다. 이러한 한계를 극복하기 위해, LLM 기반 MAS 오케스트레이션을 위한 그래프 중심 프레임워크인 MASFactory를 제안합니다. MASFactory는 인간 개입 방식을 도입하여 자연어 의도를 편집 가능한 워크플로우 사양으로, 그리고 실행 가능한 그래프로 컴파일하는 Vibe Graphing을 제공합니다. 또한, 이 프레임워크는 재사용 가능한 구성 요소와 플러그 가능한 컨텍스트 통합 기능을 제공하며, 토폴로지 미리 보기, 런타임 추적 및 인간 개입 상호 작용을 위한 시각화 도구를 포함합니다. 우리는 MASFactory를 사용하여 7개의 공개 벤치마크를 평가하고, 대표적인 MAS 방법의 재현성 일관성과 Vibe Graphing의 효과성을 검증했습니다. MASFactory 코드(https://github.com/BUPT-GAMMA/MASFactory) 및 데모 영상(https://youtu.be/ANynzVfY32k)은 공개적으로 이용 가능합니다.

Large language model-based (LLM-based) multi-agent systems (MAS) are increasingly used to extend agentic problem solving via role specialization and collaboration. MAS workflows can be naturally modeled as directed computation graphs, where nodes execute agents/sub-workflows and edges encode dependencies and message passing. However, implementing complex graph workflows in current frameworks still requires substantial manual effort, offers limited reuse, and makes it difficult to integrate heterogeneous external context sources. To overcome these limitations, we present MASFactory, a graph-centric framework for orchestrating LLM-based MAS. It introduces Vibe Graphing, a human-in-the-loop approach that compiles natural-language intent into an editable workflow specification and then into an executable graph. In addition, the framework provides reusable components and pluggable context integration, as well as a visualizer for topology preview, runtime tracing, and human-in-the-loop interaction. We evaluate MASFactory on seven public benchmarks, validating both reproduction consistency for representative MAS methods and the effectiveness of Vibe Graphing. Our code (https://github.com/BUPT-GAMMA/MASFactory) and video (https://youtu.be/ANynzVfY32k) are publicly available.