경험을 나침반으로: 진화하는 오케스트레이션과 에이전트 프롬프트를 활용한 다중 에이전트 RAG

Experience as a Compass: Multi-agent RAG with Evolving Orchestration and Agent Prompts

다중 에이전트 검색 증강 생성(RAG)은 각 에이전트가 특정 역할을 맡아 여러 단계와 소스가 필요하거나 복잡한 추론이 필요한 어려운 쿼리를 지원합니다. 그러나 기존 접근 방식은 정적인 에이전트 동작과 고정된 오케스트레이션 전략에 의존하여, 다양한 다중 홉 작업에서 성능이 불안정해지는 경향이 있습니다. 우리는 두 가지 주요 제한점을 발견했습니다. 즉, 지속적으로 적응하는 오케스트레이션 메커니즘의 부족과 개별 에이전트에 대한 행동 수준의 학습 부재입니다. 이에, 우리는 다중 에이전트 오케스트레이션과 역할별 에이전트 프롬프트를 동시에 진화시키는 계층적 프레임워크인 HERA를 제안합니다. 전역적으로, HERA는 보상 기반 샘플링과 경험 축적을 통해 쿼리별 에이전트 토폴로지를 최적화합니다. 지역적으로, 역할 인식 프롬프트 진화(Role-Aware Prompt Evolution)는 신용 할당과 운영 및 행동 원칙에 따른 이중 축 적응을 통해 에이전트의 행동을 개선하여, 목표 지향적이고 역할에 따른 개선을 가능하게 합니다. HERA는 여섯 가지 지식 집약적 벤치마크에서 최근의 기본 모델보다 평균 38.69%의 성능 향상을 달성했으며, 동시에 강력한 일반화 능력과 토큰 효율성을 유지합니다. 토폴로지 분석 결과, 희소 탐색을 통해 작고 유용성이 높은 다중 에이전트 네트워크가 자연스럽게 형성되는 것을 확인했으며, 이는 효율적인 조정과 강력한 추론 능력을 보여줍니다.

Multi-agent Retrieval-Augmented Generation (RAG), wherein each agent takes on a specific role, supports hard queries that require multiple steps and sources, or complex reasoning. Existing approaches, however, rely on static agent behaviors and fixed orchestration strategies, leading to brittle performance on diverse, multi-hop tasks. We identify two key limitations: the lack of continuously adaptive orchestration mechanisms and the absence of behavior-level learning for individual agents. To this end, we propose HERA, a hierarchical framework that jointly evolves multi-agent orchestration and role-specific agent prompts. At the global level, HERA optimizes query-specific agent topologies through reward-guided sampling and experience accumulation. At the local level, Role-Aware Prompt Evolution refines agent behaviors via credit assignment and dual-axes adaptation along operational and behavioral principles, enabling targeted, role-conditioned improvements. On six knowledge-intensive benchmarks, HERA achieves an average improvement of 38.69\% over recent baselines while maintaining robust generalization and token efficiency. Topological analyses reveal emergent self-organization, where sparse exploration yields compact, high-utility multi-agent networks, demonstrating both efficient coordination and robust reasoning.