Disco-RAG: 담화 인지 검색 증강 생성 모델

Disco-RAG: Discourse-Aware Retrieval-Augmented Generation

검색 증강 생성(RAG)은 지식 집약적인 작업에서 대규모 언어 모델(LLM)의 성능을 향상시키는 중요한 방법으로 부상했습니다. 그러나 대부분의 기존 RAG 전략은 검색된 문서를 평면적이고 구조화되지 않은 방식으로 처리하여 모델이 구조적 단서를 파악하고 문서 전체에 분산된 증거로부터 지식을 종합하는 능력을 제한합니다. 이러한 제한 사항을 극복하기 위해, 우리는 생성 과정에 담화 정보를 명시적으로 주입하는 담화 인지 프레임워크인 Disco-RAG를 제안합니다. 우리의 방법은 로컬 계층 구조를 파악하기 위해 청크 내부 담화 트리를 구성하고, 문장 간의 일관성을 모델링하기 위해 청크 간 수사적 그래프를 구축합니다. 이러한 구조는 생성 과정을 제어하는 계획 청사진에 통합됩니다. 질문 답변 및 긴 문서 요약 벤치마크에서의 실험 결과는 우리의 접근 방식의 효과를 입증합니다. Disco-RAG는 추가적인 미세 조정 없이 벤치마크에서 최첨단 결과를 달성합니다. 이러한 결과는 RAG 시스템을 발전시키는 데 담화 구조가 중요한 역할을 한다는 것을 강조합니다.

Retrieval-Augmented Generation (RAG) has emerged as an important means of enhancing the performance of large language models (LLMs) in knowledge-intensive tasks. However, most existing RAG strategies treat retrieved passages in a flat and unstructured way, which prevents the model from capturing structural cues and constrains its ability to synthesize knowledge from dispersed evidence across documents. To overcome these limitations, we propose Disco-RAG, a discourse-aware framework that explicitly injects discourse signals into the generation process. Our method constructs intra-chunk discourse trees to capture local hierarchies and builds inter-chunk rhetorical graphs to model cross-passage coherence. These structures are jointly integrated into a planning blueprint that conditions the generation. Experiments on question answering and long-document summarization benchmarks show the efficacy of our approach. Disco-RAG achieves state-of-the-art results on the benchmarks without fine-tuning. These findings underscore the important role of discourse structure in advancing RAG systems.