LitSeg: 문학 작품 검색 증강 생성(RAG)을 위한 이야기 구조 인식 문서 분할

LitSeg: Narrative-Aware Document Segmentation for Literary RAG

검색 증강 생성(RAG)은 외부 지식을 활용하여 대규모 언어 모델(LLM)의 성능을 향상시키는데, 특히 문학 작품과 같이 정보가 부족한 분야에서 그 효과가 큽니다. 그러나 RAG 시스템에서 중요한 단계인 문서 분할은 아직 충분히 연구되지 않았습니다. 기존의 방법들은 주로 의미론적인 측면만 고려하며, 문학 작품의 복잡한 이야기 구조를 간과하여 내용이 단절되거나 인용 관계가 불분명해지는 문제가 발생하고, 이는 검색 및 생성 성능을 저해합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 이야기 이론에 기반한 새로운 문서 분할 프레임워크인 LitSeg을 제안합니다. LitSeg은 다단계 프롬프팅을 통해 사건 추출, 이야기 구조 분석, 주요 장면 파악 등 다양한 과정을 거쳐 분할 기준을 결정합니다. 또한, 대규모 모델의 추론 과정에서 발생하는 계산 비용을 줄이기 위해, LitSeg으로 생성된 데이터를 활용하여 학습한 경량화된 단일 단계 텍스트 청킹 모델인 LitSeg-Lite를 제안했습니다. 실험 결과, LitSeg과 LitSeg-Lite는 기존 방법들에 비해 구조적으로 독립적인 텍스트 조각을 생성하여 검색 정확도와 문맥 관련성을 크게 향상시키고, 궁극적으로 질의 응답(QA) 성능을 개선한다는 것을 확인했습니다. 또한, 추가 분석을 통해 이야기론적 지침과 데이터 증류 기술의 효과를 검증했습니다.

Retrieval-Augmented Generation (RAG) enhances Large Language Models (LLMs) by incorporating external knowledge, particularly for long-tail domains such as literary works. However, the critical step of document segmentation in RAG remains largely underexplored. Existing strategies are typically semantically blind and overlook the complicated narrative structures of literary works, often resulting in fragmented plots and unclear references that severely hinder retrieval and generation performance. To address this, we propose LitSeg, a novel narrative-theory-guided segmentation framework. By employing multi-stage prompting, LitSeg explicitly extracts valid events, untangles narrative threads, clarifies narrative structures, and locates turning points to inform segmentation. To alleviate the computational overhead of multi-stage inference with large-scale models, we further introduce LitSeg-Lite, a lightweight single-pass chunker fine-tuned on LitSeg-generated data via a two-stage training strategy, distilling the complex process into a single inference pass. Extensive experiments demonstrate that with structurally independent text chunks, our methods significantly improve retrieval accuracy and context relevance over baselines, ultimately enhancing downstream QA performance, while ablation studies validate the efficacy of narratological guidance and data distillation.