검색 증강 생성(RAG)에 질문-답변(Q&A) 정보를 통합하는 방법

Incorporating Q&A Nuggets into Retrieval-Augmented Generation

본 논문에서는 자동 평가(E)의 개념을 검색 증강 생성(RAG) 시스템에 통합하는 접근 방식을 제시합니다. 그 예시로, Crucible라는 Q&A 정보를 활용한 생성 시스템을 소개합니다. Crucible는 검색된 문서로부터 질문-답변 정보를 추출하여 저장하고, 이를 활용하여 정보 추출, 선택 및 보고서 생성을 안내합니다. Crucible는 명확하고 해석 가능한 질문-답변 의미를 통해 중복 정보를 방지하고, 불투명한 클러스터링 대신 명시적인 출처 정보를 유지하면서 전체 생성 과정을 거칩니다. TREC NeuCLIR 2024 데이터셋을 사용하여 평가한 결과, Crucible 시스템은 최근에 개발된 Q&A 기반 RAG 시스템인 Ginger보다 Q&A 정보의 재현율, 밀도 및 출처 정보의 정확성 측면에서 상당한 성능 향상을 보였습니다.

RAGE systems integrate ideas from automatic evaluation (E) into Retrieval-augmented Generation (RAG). As one such example, we present Crucible, a Nugget-Augmented Generation System that preserves explicit citation provenance by constructing a bank of Q&A nuggets from retrieved documents and uses them to guide extraction, selection, and report generation. Reasoning on nuggets avoids repeated information through clear and interpretable Q&A semantics - instead of opaque cluster abstractions - while maintaining citation provenance throughout the entire generation process. Evaluated on the TREC NeuCLIR 2024 collection, our Crucible system substantially outperforms Ginger, a recent nugget-based RAG system, in nugget recall, density, and citation grounding.