DeCoRAG: 인지적 분리 및 의미 기반 잘라내기를 통한 복잡 문서 이해

DeCoRAG: Cognitive Decoupling and Semantic-Aware Cropping for Complex Document Understanding

복잡한 문서 이해를 위한 다중 모드 검색 증강 생성(RAG) 기술은 정확성과 효율성이라는 이중적인 어려움을 안고 있으며, 특히 그래프 RAG의 경우 더욱 그렇습니다. 구조적으로 희소하지만 시각적으로 밀집된 레이아웃을 처리하는 과정, 예를 들어 재무 차트에서 작은 데이터 마커를 추출하는 것은 종종 계산 비용이 매우 높으면서도 심각한 환각 현상을 유발합니다. 그러나 다중 모드 그래프 RAG 파이프라인은 비전-언어 모델(VLM)이 고밀도 레이아웃 내의 희소한 의미를 해석할 수 있다고 가정하는 그래프 구성 단계를 기반으로 합니다. 우리는 이러한 가정을 검증하고, VLM이 시각적 증거를 찾고, 의미를 해석하며, 관계를 추출하도록 강제하면 "시각적 어텐션 싱크(Visual Attention Sink)"라는 메커니즘이 작동하여 심각한 의미 손실을 초래한다는 것을 밝힙니다. 또한 전체 페이지 처리는 엄청난 계산 오버헤드를 발생시킵니다. 제어된 실험 결과는 이러한 실패가 콘텐츠 특이적인 문제가 아니라 경계 조건에 의해 발생하는 문제이며, 의미적 앵커링(semantic anchoring)을 통해 이를 완화할 수 있음을 보여줍니다. 우리는 이러한 결함 있는 패러다임을 근본적으로 수정하기 위해 DeCoRAG를 제안합니다. 이는 지식 처리 방식을 결합된 시각-의미 추론에서 "인지적 분리(Cognitive Decoupling)"로 전환하는 다중 모드 그래프 RAG 파이프라인입니다. DeCoRAG는 원시 픽셀을 수동적으로 처리하는 대신, 그래프 구성 단계에서 거시적인 의미 기반 앵커를 설정하여 어텐션 싱크를 중화합니다. 이 앵커는 이후 영역 인식 잘라내기 및 최적화(RAP-Crop) 메커니즘을 구동하여 추론 공간을 밀집되고 노이즈가 많은 배경에서 정제된, 의도 중심적인 의미 클러스터로 이동시킵니다. 결과적으로 생성된 그래프는 하이브리드 검색 및 답변 생성을 지원합니다. 복잡한 문서 벤치마크에서 DeCoRAG는 가장 강력한 기준 모델보다 의미 정확도를 최대 12.5% 향상시키고 DocVQA에도 적용 가능함을 보였습니다. RAP-Crop은 오프라인 그래프 구성 프롬프트 토큰 수를 40.8% 줄이면서 전체적인 정확도를 유지합니다.

Advancing multimodal retrieval-augmented generation (RAG) for complex document understanding presents a formidable dual dilemma of accuracy and efficiency, particularly in graph RAG. Processing structurally sparse yet visually dense layouts, such as extracting a tiny data marker from a financial chart, often incurs computationally prohibitive token overhead while still triggering catastrophic hallucination. However, multimodal Graph RAG pipelines rely on graph-construction stages that assume Vision-Language Models (VLMs) can resolve sparse semantics within high-density layouts. We challenge this assumption, revealing that forcing VLMs to localize visual evidence, interpret semantics, and extract relations triggers a "Visual Attention Sink," a mechanism driving catastrophic semantic loss, while full-page processing incurs massive computational overhead. Controlled interventions verify that this failure is boundary-driven rather than content-specific and that semantic anchoring mitigates it. To fundamentally correct this flawed paradigm, we introduce DeCoRAG, a multimodal Graph RAG pipeline that shifts knowledge processing from coupled visual-semantic reasoning to "Cognitive Decoupling." Rather than passively processing raw pixels, its graph-construction stage establishes a macroscopic Semantic Anchor to neutralize the attention sink. This anchor subsequently drives our Region-Aware Pruning and Cropping (RAP-Crop) mechanism, shifting the reasoning space from dense, noisy backgrounds to purified, intent-driven semantic clusters. The resulting graph supports hybrid retrieval and answer generation. Across complex document benchmarks, DeCoRAG improves the semantic pass rate by up to 12.5 percentage points over the strongest baseline and generalizes to DocVQA. RAP-Crop reduces offline graph-construction prompt tokens by 40.8% without sacrificing end-to-end accuracy.