GROUNDEDKG-RAG: 지식 그래프 기반 검색 증강 생성 모델을 활용한 장문 질의 응답

GROUNDEDKG-RAG: Grounded Knowledge Graph Index for Long-document Question Answering

검색 증강 생성(RAG) 시스템은 입력 컨텍스트 길이를 줄이면서 생성 품질을 향상시키는 능력으로 인해 현대 대규모 언어 모델(LLM)에서 널리 채택되고 있습니다. 본 연구에서는 장문 질의 응답을 위한 RAG 시스템에 초점을 맞춥니다. 기존 접근 방식은 LLM 설명에 과도하게 의존하여 높은 리소스 소비와 지연 시간을 초래하고, 계층적 수준에서 반복적인 콘텐츠를 생성하며, 원본 텍스트에 대한 제한적인 또는 부재한 기반으로 인해 환각 현상을 일으킬 수 있습니다. 효율성과 사실 정확성을 향상시키기 위해, 우리는 원본 문서에서 명시적으로 추출되고 기반을 갖춘 지식 그래프를 사용하는 RAG 시스템인 GroundedKG-RAG를 제안합니다. 구체적으로, GroundedKG에서 노드는 개체와 동작을 나타내고, 에지는 시간적 또는 의미적 관계를 나타내며, 각 노드와 에지는 원래 문장에 기반을 둡니다. 우리는 의미 역할 레이블링(SRL) 및 추상 의미 표현(AMR) 분석을 사용하여 GroundedKG를 구성하고, 이를 검색에 활용하기 위해 임베딩합니다. 질의 시, 우리는 동일한 변환을 질의에 적용하고, 질의 응답을 위해 GroundedKG에 기반한 원본 텍스트에서 가장 관련성이 높은 문장을 검색합니다. 우리는 NarrativeQA 데이터셋의 예시를 사용하여 GroundedKG-RAG를 평가한 결과, 더 낮은 비용으로 최첨단 독점 장문 컨텍스트 모델과 동등한 성능을 보이며, 경쟁적인 기준 모델보다 우수한 성능을 나타냅니다. 또한, 우리의 GroundedKG는 해석 가능하고 사람이 읽을 수 있으며, 이를 통해 결과 감사 및 오류 분석을 용이하게 합니다.

Retrieval-augmented generation (RAG) systems have been widely adopted in contemporary large language models (LLMs) due to their ability to improve generation quality while reducing the required input context length. In this work, we focus on RAG systems for long-document question answering. Current approaches suffer from a heavy reliance on LLM descriptions resulting in high resource consumption and latency, repetitive content across hierarchical levels, and hallucinations due to no or limited grounding in the source text. To improve both efficiency and factual accuracy through grounding, we propose GroundedKG-RAG, a RAG system in which the knowledge graph is explicitly extracted from and grounded in the source document. Specifically, we define nodes in GroundedKG as entities and actions, and edges as temporal or semantic relations, with each node and edge grounded in the original sentences. We construct GroundedKG from semantic role labeling (SRL) and abstract meaning representation (AMR) parses and then embed it for retrieval. During querying, we apply the same transformation to the query and retrieve the most relevant sentences from the grounded source text for question answering. We evaluate GroundedKG-RAG on examples from the NarrativeQA dataset and find that it performs on par with a state-of-the art proprietary long-context model at smaller cost and outperforms a competitive baseline. Additionally, our GroundedKG is interpretable and readable by humans, facilitating auditing of results and error analysis.