GRADRAG: 조정된 다중 에이전트 RAG 시스템을 위한 컴포넌트 간 프롬프트 적응

GRADRAG: Cross-Component Prompt Adaptation for Coordinated Multi-Agent RAG

검색 증강 생성(RAG) 시스템은 점점 더 많은 LLM 에이전을 활용합니다. 그러나 대부분의 기존 연구는 파이프라인 전체를 조정하는 대신 개별 구성 요소를 독립적으로 최적화합니다. 본 논문에서는 GRADRAG이라는 프레임워크를 소개합니다. 이는 RAG 파이프라인을 계산 그래프로 모델링하고, 구조화된 평가 피드백을 상위 에이전트로 전달하여 컴포넌트 간 프롬프트 적응을 수행합니다. 평가자는 하위 답변과 증거 자료에 대한 비판적인 검토를 수행하며, 실행 가능한 피드백을 생성합니다. 이 피드백은 프롬프트 최적화기가 사용하여 검색기, 그래프 구성기 및 응답 생성기와 같은 적응형 에이전트를 반복적으로 업데이트합니다. 또한 평가자는 출력 결과가 만족스러운 경우 조기 종료를 트리거합니다. 우리는 SQUALITY와 QMSUM 벤치마크에서 두 가지 검색 패러다임 하에서 GRADRAG를 평가했습니다. 첫 번째는 IRCoT 스타일의 쿼리 개선(Trivedi et al., 2023)을 사용하는 플랫 청크 기반 검색이고, 두 번째는 문서를 기반으로 엔티티-관계 그래프를 구축하고 반복적으로 풍부화하는 그래프 기반 검색입니다. 두 설정 모두에서 GRADRAG는 최종 생성기만 업데이트하는 단일 단계 개선 기준 모델보다 일관되게 성능이 우수했으며, LLM 평가에 의한 쌍대 비교에서 12~15% 포인트의 순수한 선호도 향상을 보였습니다. 이러한 대부분의 이점은 두 번의 개선 반복 내에 달성되었습니다.

Retrieval-Augmented Generation (RAG) systems increasingly employ multiple LLM agents. Yet, most prior work optimizes components in isolation rather than coordinating improvements across the pipeline. We introduce GRADRAG, a framework for cross-component prompt adaptation that models the RAG pipeline as a computational graph and propagates structured evaluation feedback to update upstream agents. An Evaluator critiques downstream answers and supporting evidence, producing actionable feedback that a Prompt Optimizer uses to iteratively update adaptive agents, such as retrievers, graph constructors, and answerers. The Evaluator also triggers early stopping when the output is deemed satisfactory. We evaluate GRADRAG on the SQUALITY and QMSUM benchmarks under two retrieval paradigms: flat chunk-based retrieval using IRCoT-style query refinement (Trivedi et al., 2023), and graph-based retrieval that constructs and iteratively enriches an entity-relation graph from the document. Across both settings, GRADRAG consistently outperforms one-step refinement baselines that update only the final generator, achieving a 12-15 percentage point net preference margin in LLM-judged pairwise comparisons, with most gains realized within two refinement iterations.