UnityMAS-O: LLM 기반 다중 에이전트 시스템을 위한 일반적인 강화 학습 최적화 프레임워크

UnityMAS-O: A General RL Optimization Framework for LLM-Based Multi-Agent Systems

LLM(Large Language Model) 기반 다중 에이전트 시스템은 복잡한 작업을 상호 작용하는 역할로 분해하지만, 대부분의 시스템은 프롬프트, 도구 및 제어 규칙에 의해 수동으로 조정되며, 에이전트는 드물게 통합된 강화 학습 인터페이스를 통해 최적화됩니다. 기존의 강화 학습 후속 훈련 프레임워크는 주로 단일 정책 최적화를 목표로 하며, 사용자가 정의한 다중 에이전트 워크플로우, 구조화된 상호 작용, 역할별 보상 할당 및 구성 가능한 매개변수 공유를 위한 추상화가 부족합니다. 저희는 LLM 기반 다중 에이전트 시스템을 위한 일반적인 강화 학습 최적화 프레임워크인 UnityMAS-O를 소개합니다. UnityMAS-O는 단일 응답 또는 정책 경로가 아닌 전체 워크플로우를 최적화 단위로 취급합니다. 이는 논리적 에이전트 역할, 그래프 기반 경로, 사용자 정의 보상 및 에이전트-모델 매핑이라는 네 가지 핵심 객체를 통해 워크플로우를 표현합니다. 이를 통해 논리적 에이전트를 물리적인 모델 파라미터와 분리하여 완전한 공유, 완전한 분리 및 부분적인 공유를 지원하며, 역할, 턴 및 경로 수준에서 보상을 할당합니다. UnityMAS-O는 Ray 기반의 스타 토폴로지 런타임을 갖춘 verl을 확장합니다. 중앙 컨트롤러가 워크플로우 실행, 도구 호출, 구조화된 경로 기록 및 보상 조립 작업을 수행하고, 모델 로컬 작업 그룹은 시뮬레이션(rollout), 버퍼링, 장점 계산 및 분산 PPO 스타일 업데이트를 처리합니다. 사용자는 최적화 인프라를 다시 작성하지 않고 에이전트, 워크플로우, 모델 매핑 및 보상을 정의할 수 있습니다. 저희는 UnityMAS-O를 검색 증강 질의 응답(Retrieval-Augmented QA), 반복적인 에이전트 기반 탐색(Iterative Agentic Search) 및 반사적 코드 생성(Reflective Code Generation)에 적용했습니다. Natural Questions, HotpotQA 및 독립 데이터셋에서 다중 에이전트 강화 학습은 최적화를 통해 수동으로 정의된 워크플로우를 개선하며, 특히 작은 모델과 엄격한 모든 항목 통과 지표에서 큰 성능 향상을 보였습니다. 이러한 결과는 UnityMAS-O가 다양한 LLM 기반 다중 에이전트 워크플로우를 훈련 가능한 다중 에이전트 강화 학습 시스템으로 변환할 수 있는 재사용 가능한 기반 기술로 활용될 수 있음을 보여줍니다.

LLM-based multi-agent systems decompose complex tasks into interacting roles, but most remain manually orchestrated by prompts, tools, and control rules, while agents are rarely optimized through a unified reinforcement learning interface. Existing RL post-training frameworks mainly target single-policy optimization and lack abstractions for user-defined multi-agent workflows, structured interaction, role-specific credit assignment, and configurable parameter sharing. We present UnityMAS-O, a general RL optimization framework for LLM-based multi-agent systems. UnityMAS-O treats the complete workflow as the optimization unit, rather than a single response or policy trajectory. It represents workflows through four first-class objects: logical agent roles, graph trajectories, user-defined rewards, and agent--model mappings. This decouples logical agents from physical model parameters, supporting full sharing, full separation, and partial sharing, with rewards assigned at role, turn, and trajectory levels. UnityMAS-O extends verl with a Ray-based star-topology runtime. A central controller executes workflows, invokes tools, records structured trajectories, and assembles rewards; model-local worker groups handle rollout, buffering, advantage computation, and distributed PPO-style updates. Users can define agents, workflows, model mappings, and rewards without rewriting the optimization infrastructure. We instantiate UnityMAS-O on retrieval-augmented QA, iterative agentic search, and reflective code generation. Across Natural Questions, HotpotQA, and held-out code tasks, multi-agent RL improves manually specified workflows after optimization, with especially large gains for smaller models and strict code all-passed metrics. These results show that UnityMAS-O can serve as a reusable substrate for converting diverse LLM-based multi-agent workflows into trainable multi-agent RL systems.