MAS-on-the-Fly: LLM 기반 다중 에이전트 시스템의 테스트 시간 중 동적 적응

MAS-on-the-Fly: Dynamic Adaptation of LLM-based Multi-Agent Systems at Test Time

대규모 언어 모델(LLM) 기반 다중 에이전트 시스템(MAS)은 복잡한 문제를 해결하는 유망한 패러다임으로 부상했습니다. 그러나 기존 연구는 종종 수동 설계 또는 '획일적인' 자동화에 의존하여 배포 후 동적 적응성을 제공하지 못하는 경우가 많습니다. 생물학적 시스템의 적응 방식을 모방하여, 우리는 테스트 시간에 동적 적응을 가능하게 하는 새로운 다중 에이전트 프레임워크인 MASFly를 소개합니다. 시스템 생성의 적응을 위해, MASFly는 자체적으로 구축된 성공적인 협업 패턴 저장소를 활용하는 검색 증강 SOP(System Output Prompt) 인스턴스화 메커니즘을 사용하여 LLM이 새로운 쿼리에 맞게 맞춤형 MAS를 구성할 수 있도록 합니다. 또한, MASFly는 경험 기반의 감독 메커니즘을 통합하여, 전용 Watcher 에이전트가 개인화된 경험 풀을 기준으로 시스템 동작을 모니터링하고 실시간으로 개입합니다. 광범위한 실험 결과, MASFly는 최첨단 성능을 달성하며, 특히 TravelPlanner 벤치마크에서 61.7%의 성공률을 보였으며, 강력한 작업 적응성과 견고성을 보여주었습니다.

Large Language Model (LLM)-based multi-agent systems (MAS) have emerged as a promising paradigm for solving complex tasks. However, existing works often rely on manual designs or "one-size-fits-all" automation, lacking dynamic adaptability after deployment. Inspired by how biological systems adapt, we introduce MASFly, a novel multi-agent framework enabling dynamic adaptation at test time. To adapt system generation, MASFly employs a retrieval-augmented SOP instantiation mechanism that leverages a self-constructed repository of successful collaboration patterns, enabling the LLM to assemble customized MASs for new queries. For adaptive execution, MASFly incorporates an experience-guided supervision mechanism, where a dedicated Watcher agent monitors system behaviors with reference to a personalized experience pool and provides real-time interventions. Extensive experiments demonstrate that MASFly achieves state-of-the-art performance, most notably a 61.7% success rate on the TravelPlanner benchmark, while exhibiting strong task adaptability and robustness.