장문 이해를 위한 계층적 증거 기반 추론

Hierarchical Evidence-Driven Reasoning for Long Document Understanding

검색 증강 생성(RAG)은 검색 메커니즘을 활용하여 입력 이미지를 엄선된 하위 집합으로 제한함으로써 장문 이해를 간소화합니다. 그러나 기존의 다중 모드 RAG 파이프라인은 주로 두 가지 중요한 과제에 직면합니다. 첫째, 표준 의미 유사성 검색기는 종종 주제적으로 관련 있지만 답변 내용이 없는 불필요한 페이지를 가져와 후속 생성 과정을 혼란스럽게 만듭니다. 둘째, 경직된 단일 단계 파이프라인은 초기 검색 성공에 크게 의존하며, 핵심 증거의 누락은 필연적으로 연쇄적인 오류를 초래합니다. 이러한 과제들을 해결하기 위해, 우리는 폐쇄형 도메인 문서 이해를 위한 계층적 증거 기반 다중 모드 RAG 프레임워크인 HIEVI-RAG을 소개합니다. HIEVI-RAG은 복잡한 쿼리를 협력적인 4단계 파이프라인으로 체계적으로 분해합니다: (1) 다단계 질문 분해를 통해 멀티홉 루트 쿼리를 원자적 하위 질문으로 나눕니다; (2) 의미 유사성을 기반으로 후보 페이지를 검색하기 위해 다중 모드 검색기를 활용한 대략적인 시각 페이지 검색을 수행합니다; (3) EVIAGENT라는 특수 다중 페이지 검증기를 사용하여 GRPO로 훈련하여 멀티 이미지 블록에 대한 교차 페이지 추론을 실행하고, 세밀하게 페이지의 유효성을 검증합니다; (4) 축적된 하위 질문 컨텍스트를 활용하여 우선 순위가 지정된 시퀀스에서 다중 라운드, 동적 추론을 수행하는 메모리 기반 반복 생성. 네 가지 벤치마크에 대한 광범위한 평가는 우리 프레임워크의 강력한 효과와 상승 효과를 입증하며, 기존 오픈 소스 기준 성능을 크게 능가하고 평균적으로 정확도에서 8.05% 더 높은 최상의 보고된 기준 성능을 달성합니다.

Retrieval-Augmented Generation (RAG) streamlines long-document understanding by leveraging retrieval mechanisms to restrict input images to a highly curated subset. However, existing multimodal RAG pipelines primarily face two critical challenges: first, standard semantic similarity retrievers frequently fetch topically overlapping yet answer-void distractor pages that mislead downstream generation; second, rigid single-pass pipelines heavily depend on initial retrieval success, where any omission of core evidence inevitably causes cascading errors. To address these challenges, we introduce HIEVI-RAG, a hierarchical, evidence-driven multimodal RAG framework for closed-domain document understanding. HIEVI-RAG systematically factorizes complex queries into a cooperative four-stage pipeline: (1) hierarchical question decomposition to break multi-hop root queries into atomic child questions; (2) coarse visual page retrieval leveraging a multimodal retriever to fetch candidate pages based on semantic similarity; (3) fine-grained page verification via EVIAGENT, a specialized multi-page verifier trained with GRPO to execute cross-page reasoning over multi-image blocks; and (4) memory-guided iterative generation that leverages accumulated sub-question context to execute multi-round, dynamic reasoning over the prioritized sequence. Extensive evaluations across four benchmarks demonstrate the robust efficacy and synergy of our framework, which significantly outperforms existing open-source baselines and exceeds the strongest reported baseline by an average of 8.05% in accuracy.