Skill-MAS: 자동 멀티 에이전트 시스템을 위한 진화하는 메타 스킬

Skill-MAS: Evolving Meta-Skill for Automatic Multi-Agent Systems

대규모 언어 모델(LLM) 기반의 자동 멀티 에이전트 시스템(MAS) 생성은 복잡한 작업을 해결하는 데 있어 매우 중요한 분야로 부상했습니다. 하지만 기존 방법들은 모델의 능력과 경험 유지라는 딜레마에 직면하고 있습니다. 추론 시점 MAS는 동결된 최첨단 LLM을 활용하지만, 과거 경험으로부터 학습하지 않고 동일한 검색 과정을 반복합니다. 반대로, 학습 시점 MAS는 경사 업데이트를 통해 경험을 내재화하지만, 작은 모델의 낮은 성능 한계로 인해 제약되며, 대규모 최첨단 LLM으로 확장하기 어렵습니다. 이러한 간극을 해소하기 위해, 우리는 고수준 오케스트레이션 능력을 진화 가능한 메타 스킬로 개념화하여 경험 유지와 매개변수 업데이트를 분리하는 새로운 방법인 Skill-MAS를 제안합니다. Skill-MAS는 다음과 같은 폐루프 최적화를 통해 이 아키텍처 지식을 개선합니다: (1) Multi-Trajectory Rollout은 현재 메타 스킬 하에서 각 작업에 대한 행동 분포를 샘플링하고, (2) Selective Reflection은 우선순위가 높은 작업을 선택적으로 선택하고 계층적 대비 분석을 적용하여 체계적인 경험을 일반화 가능한 전략 수준의 원칙으로 추출합니다. 네 가지 복잡한 벤치마크와 네 가지 서로 다른 LLM에 대한 광범위한 실험 결과, Skill-MAS는 뛰어난 성능 향상을 달성할 뿐만 아니라 유리한 비용 대비 효율성을 유지하는 것으로 나타났습니다. 추가 분석 결과, 진화된 메타 스킬은 매우 강력하며, 새로운 작업과 다양한 LLM을 통해 높은 이식 가능성을 보이는 것으로 확인되었습니다.

Large Language Model (LLM)-based automatic Multi-Agent Systems (MAS) generation has become a crucial frontier for tackling complex tasks. However, existing methods face a dilemma between model capability and experience retention. Inference-time MAS leverages frozen frontier LLMs but repeats identical searches without learning from past experience. Conversely, Training-time MAS internalizes experience via gradient updates but is constrained by the low capability ceiling of smaller models, and is hard to scale to large frontier LLMs. To bridge this gap, we propose Skill-MAS, a novel third path that decouples experience retention from parametric updates by conceptualizing the high-level orchestration capability as an evolvable Meta-Skill. Skill-MAS refines this architectural knowledge through a closed optimization loop: (1) Multi-Trajectory Rollout samples a behavioral distribution for each task under the current Meta-Skill; and (2) Selective Reflection adaptively selects priority tasks and applies hierarchical contrastive analysis to distill systemic experience into generalizable, strategy-level principles. Extensive experiments across four complex benchmarks and four distinct LLMs demonstrate that Skill-MAS not only achieves remarkable performance gains but also maintains a favorable cost-performance trade-off. Further analysis reveals that the evolved Meta-Skills are highly robust and exhibit strong transferability across unseen tasks and different LLMs.