DIVERGE: 다양성을 향상시킨 검색 증강 생성 (RAG) 모델을 이용한 개방형 정보 탐색

DIVERGE: Diversity-Enhanced RAG for Open-Ended Information Seeking

기존의 검색 증강 생성 (RAG) 시스템은 일반적으로 각 질문에 대해 하나의 정답이 있다고 가정하여 설계되었습니다. 그러나 이는 여러 개의 가능한 답변이 존재하는 일반적인 정보 탐색 시나리오를 간과하며, 다양성이 중요함에도 불구하고 단일 답변에 쏠리는 현상을 유발하여 창의성을 제한하고 공정하고 포괄적인 정보 접근성을 저해합니다. 저희의 분석 결과, 표준 RAG 시스템의 간과된 한계점은 검색된 문맥의 다양성을 충분히 활용하지 못한다는 점이며, 따라서 검색 다양성을 높이는 것만으로는 다양한 텍스트 생성이 이루어지지 않습니다. 이러한 한계를 극복하기 위해, 저희는 새로운 반사 기반 생성 및 메모리 기반 반복 개선 기능을 갖춘 플러그 앤 플레이 에이전트 기반 RAG 프레임워크인 DIVERGE를 제안합니다. DIVERGE는 답변 품질을 유지하면서 다양한 관점을 장려합니다. 저희는 개방형 질문에서 다양성과 품질의 균형을 평가하기 위한 새로운 지표를 소개하고, 이러한 지표가 인간의 판단과 높은 상관관계를 가진다는 것을 보여줍니다. 저희는 DIVERGE가 실제 데이터셋인 Infinity-Chat에서 기존의 최첨단 방법 및 경쟁 모델보다 더 나은 다양성과 품질의 균형을 달성하며, 다양성을 크게 향상시키면서 품질을 유지한다는 것을 입증했습니다. 더 넓은 의미에서, 저희의 연구 결과는 현재의 LLM 기반 시스템의 개방형 정보 탐색에 대한 체계적인 한계를 드러내며, 명시적으로 다양성을 모델링함으로써 이러한 한계를 완화할 수 있음을 보여줍니다. 저희의 코드는 다음 주소에서 확인할 수 있습니다: https://github.com/au-clan/Diverge

Existing retrieval-augmented generation (RAG) systems are primarily designed under the assumption that each query has a single correct answer. This overlooks common information-seeking scenarios with multiple plausible answers, where diversity is essential to avoid collapsing to a single dominant response, thereby constraining creativity and compromising fair and inclusive information access. Our analysis reveals a commonly overlooked limitation of standard RAG systems: they underutilize retrieved context diversity, such that increasing retrieval diversity alone does not yield diverse generations. To address this limitation, we propose DIVERGE, a plug-and-play agentic RAG framework with novel reflection-guided generation and memory-augmented iterative refinement, which promotes diverse viewpoints while preserving answer quality. We introduce novel metrics tailored to evaluating the diversity-quality trade-off in open-ended questions, and show that they correlate well with human judgments. We demonstrate that DIVERGE achieves the best diversity-quality trade-off compared to competitive baselines and previous state-of-the-art methods on the real-world Infinity-Chat dataset, substantially improving diversity while maintaining quality. More broadly, our results reveal a systematic limitation of current LLM-based systems for open-ended information-seeking and show that explicitly modeling diversity can mitigate it. Our code is available at: https://github.com/au-clan/Diverge