장편 비디오에서의 RAG 재고: 무엇을 검색하고 어떻게 활용할 것인가?

Rethinking RAG in Long Videos: What to Retrieve and How to Use It?

검색 증강 생성(Retrieval-augmented generation)은 텍스트 영역을 넘어 긴, 주관적인 시점의 비디오로 확장되고 있으며, 시스템은 여러 모달리티와 시간적 세분성에서 질의와 관련된 부분을 선택해야 합니다. 그러나 VideoRAG 분야의 발전은 두 가지 문제점에 의해 제한됩니다. 기존 벤치마크는 비디오 없이도 질의에 답변할 수 있도록 하여 검색 오류를 가리고, 이전 방법들은 각 질의에 대해 단일 모달리티-세분성 설정을 적용하여 청크 수준의 변동성을 무시합니다. 우리는 이러한 문제점을 해결하기 위해 V-RAGBench라는 벤치마크를 도입했습니다. 이 벤치마크는 <질의, 증거 청크, 답변> 세 가지로 구성되어 있으며, 검색과 생성을 독립적으로 평가할 수 있도록 설계되었습니다. 또한 CARVE라는 간단한 방법을 제시합니다. CARVE는 다양한 설정에서 병렬 검색을 수행하고, 청크 적응적 재순위를 사용하여 각 청크에 가장 적합한 설정을 식별합니다. 그런 다음 각 청크는 검색 과정에서 선택된 해당 설정으로 생성기에 입력되며, 이로 인해 청크 수준의 결정이 검색 및 생성의 두 단계 모두에 걸쳐 전파되는 교차 증거 형태가 생성됩니다. CARVE는 8개의 최신 VideoRAG 모델보다 우수한 성능을 보이며, 생성기에 제공되는 청크들이 단일 설정을 공유하는 것이 아니라 여러 설정을 포함하므로, 질의 수준의 방법으로는 달성할 수 없는 방식으로 작동합니다.

Retrieval-augmented generation is moving beyond text into long, egocentric video, where systems must select query-relevant chunks across multiple modalities and temporal granularities. Yet progress in VideoRAG is limited by two gaps: existing benchmarks allow queries to be answered without the video, obscuring retrieval errors, and prior methods apply a single modality-granularity configuration per query, ignoring chunk-level variability. We address both by introducing V-RAGBench, a benchmark of $\langle$query, evidence chunk, answer$\rangle$ triplets that enables faithful, decoupled evaluation of retrieval and generation, and CARVE, a simple method that runs parallel retrievers across configurations and employs chunk-adaptive reranking to identify the winning configuration for each chunk. Each chunk then enters the generator under its winning configuration selected during retrieval, yielding an interleaved evidence form where the chunk-level decision propagates across both stages. CARVE outperforms eight recent VideoRAG baselines, with the chunks supplied to the generator interleaving multiple configurations rather than sharing a single one, a behavior unattainable by query-level methods.