MultiDocFusion: 향상된 긴 산업 문서 기반 RAG 시스템을 위한 계층적 및 다중 모드 청킹 파이프라인

MultiDocFusion: Hierarchical and Multimodal Chunking Pipeline for Enhanced RAG on Long Industrial Documents

RAG(Retrieval-Augmented Generation) 기반 질의응답(QA)은 긴 산업 문서 처리에 강력한 방법으로 부상했습니다. 그러나 기존의 텍스트 청킹 방식은 복잡하고 긴 산업 문서의 구조를 종종 간과하여 정보 손실과 응답 품질 저하를 초래합니다. 이러한 문제를 해결하기 위해, 우리는 MultiDocFusion이라는 다중 모드 청킹 파이프라인을 소개합니다. 이 파이프라인은 다음과 같은 기능을 통합합니다: (i) 비전 기반 문서 파싱을 사용하여 문서 영역을 감지하고, (ii) OCR을 통해 이러한 영역에서 텍스트를 추출하고, (iii) 대규모 언어 모델(LLM) 기반 문서 섹션 계층적 파싱(DSHP-LLM)을 사용하여 문서 구조를 계층적 트리로 재구성하고, (iv) DFS(Depth-First Search) 기반 그룹화를 통해 계층적 청크를 구성합니다. 산업 분야 벤치마크에 대한 광범위한 실험 결과, MultiDocFusion은 기준 모델에 비해 검색 정확도를 8-15% 향상시키고, ANLS(Answer in Natural Language Style) QA 점수를 2-3% 향상시키는 것으로 나타났습니다. 이는 다중 모드 문서 기반 QA에서 문서 계층 구조를 명시적으로 활용하는 것이 얼마나 중요한지를 강조합니다. 이러한 상당한 성능 향상은 RAG 기반 QA 시스템의 정확도를 향상시키는 데 있어 구조 인식 청킹의 필요성을 강조합니다.

RAG-based QA has emerged as a powerful method for processing long industrial documents. However, conventional text chunking approaches often neglect complex and long industrial document structures, causing information loss and reduced answer quality. To address this, we introduce MultiDocFusion, a multimodal chunking pipeline that integrates: (i) detection of document regions using vision-based document parsing, (ii) text extraction from these regions via OCR, (iii) reconstruction of document structure into a hierarchical tree using large language model (LLM)-based document section hierarchical parsing (DSHP-LLM), and (iv) construction of hierarchical chunks through DFS-based grouping. Extensive experiments across industrial benchmarks demonstrate that MultiDocFusion improves retrieval precision by 8-15% and ANLS QA scores by 2-3% compared to baselines, emphasizing the critical role of explicitly leveraging document hierarchy for multimodal document-based QA. These significant performance gains underscore the necessity of structure-aware chunking in enhancing the fidelity of RAG-based QA systems.