검증된 다중 에이전트 오케스트레이션: 복잡한 쿼리 해결을 위한 계획-실행-검증-재계획 프레임워크

Verified Multi-Agent Orchestration: A Plan-Execute-Verify-Replan Framework for Complex Query Resolution

본 논문에서는 검증 기반 반복 루프를 통해 전문화된 LLM 기반 에이전트를 조정하는 프레임워크인 Verified Multi-Agent Orchestration (VMAO)을 제시합니다. 복잡한 쿼리가 주어지면, 저희 시스템은 이를 하위 질문의 방향성 비순환 그래프(DAG)로 분해하고, 도메인별 에이전트를 통해 병렬로 실행하며, LLM 기반 평가를 통해 결과의 완전성을 검증하고, 부족한 부분을 해결하기 위해 적응적으로 재계획합니다. 주요 기여점은 다음과 같습니다. (1) 의존성 인지 병렬 실행: 하위 질문의 DAG를 활용하여 자동 컨텍스트 전파를 지원합니다. (2) 검증 기반 적응적 재계획: LLM 기반 검증기를 오케스트레이션 수준의 조정 신호로 활용합니다. (3) 구성 가능한 중단 조건: 답변 품질과 리소스 사용량 간의 균형을 맞춥니다. 25개의 전문가가 선별한 시장 조사 쿼리에 대해, VMAO는 단일 에이전트 기준과 비교하여 답변의 완전성을 3.1에서 4.2로, 소스 품질을 2.6에서 4.1로 향상시켰습니다 (1-5 척도). 이는 오케스트레이션 수준의 검증이 다중 에이전트 품질 보증을 위한 효과적인 메커니즘임을 보여줍니다.

We present Verified Multi-Agent Orchestration (VMAO), a framework that coordinates specialized LLM-based agents through a verification-driven iterative loop. Given a complex query, our system decomposes it into a directed acyclic graph (DAG) of sub-questions, executes them through domain-specific agents in parallel, verifies result completeness via LLM-based evaluation, and adaptively replans to address gaps. The key contributions are: (1) dependency-aware parallel execution over a DAG of sub-questions with automatic context propagation, (2) verification-driven adaptive replanning that uses an LLM-based verifier as an orchestration-level coordination signal, and (3) configurable stop conditions that balance answer quality against resource usage. On 25 expert-curated market research queries, VMAO improves answer completeness from 3.1 to 4.2 and source quality from 2.6 to 4.1 (1-5 scale) compared to a single-agent baseline, demonstrating that orchestration-level verification is an effective mechanism for multi-agent quality assurance.