실패로부터 배우기: 하드 네거티브를 활용한 검색 중심의 연쇄적 추론(CoT)을 통한 통합 다중 모달 검색

Learning from Failures: Retrieval-Centric CoT via Hard Negatives for Unified Multimodal Retrieval

통합 다중 모달 검색은 다양한 입력으로부터 표현된 복잡한 사용자 의도를 만족하는 후보 항목들을 식별하는 것을 목표로 합니다. 대규모 시각-언어 모델(LVLM) 기반의 검색 시스템은 효율적이고 확장성이 뛰어나지만, 원시 다중 모달 입력을 직접 인코딩하는 방식은 종종 미세한 차이점을 놓쳐 의미적으로 유사한 후보 항목들 간의 혼란을 야기합니다. 최근 연구에서는 연쇄적 추론(CoT) 방식을 사용하여 쿼리 표현을 풍부하게 함으로써 이러한 한계를 극복하고자 합니다. 그러나 이러한 추론은 일반적으로 쿼리 자체에서 파생되며, 쿼리가 무엇을 설명하는지는 설명하지만, 검색 시스템이 무엇을 오해하는지는 설명하지 않습니다. 우리는 효과적인 검색 추론이 검색 피드백에 기반해야 한다고 주장합니다. 이러한 통찰력을 바탕으로, 초기 검색 결과 후보 항목들을 분석하고 검색 중심의 연쇄적 추론(RC-CoT)을 생성하는 임베더-어드바이저 프레임워크인 UniME-R1을 제안합니다. 어드바이저는 개별 후보 항목을 분석하여 임베더가 혼동할 수 있는 중요한 차이점을 식별합니다. 목표 항목이 초기 상위 k개 항목에 포함되면, UniME-R1은 후보 항목들을 직접 재순위를 매깁니다. 그렇지 않으면 RC-CoT를 생성하여 검색 방향을 개선하고 이중 모달 임베더를 사용하여 전체 코퍼스에 대한 재검색을 수행합니다. 본 프레임워크의 학습 과정에서는 실제 검색 실패를 시뮬레이션하기 위해 하드 네거티브 데이터를 활용하고, 직접 검색과 RC-CoT 기반 검색을 동시에 최적화하며, 지도 학습 및 검색 지향 강화 학습을 통해 어드바이저를 검색 결과와 일치시킵니다. MMEB-V2 데이터셋 및 다양한 일반 다중 모달 검색 벤치마크에서의 광범위한 실험 결과는 UniME-R1이 강력한 기준 모델보다 지속적으로 더 나은 검색 성능을 보임을 입증합니다.

Unified multimodal retrieval aims to identify candidates that satisfy complex user intent expressed through heterogeneous inputs. Although Large Vision-Language Model (LVLM)-based retrievers are efficient and scalable, directly encoding raw multimodal inputs often misses fine-grained discriminative cues, leading to confusion among semantically similar candidates. Recent methods mitigate this limitation by generating Chain-of-Thought (CoT) rationales to enrich the query representation. However, such reasoning is typically derived from the query alone: it explains what the query describes, but not what the retriever misunderstands. We argue that effective retrieval reasoning should instead be conditioned on retrieval feedback. Based on this insight, we introduce UniME-R1, an embedder-adviser framework that learns to reason over initially retrieved candidates and generate Retrieval-Centric Chain-of-Thought (RC-CoT). The adviser analyzes candidates individually to identify the discriminative cues confused by the embedder. If the target appears in the initial top-k set, UniME-R1 directly reranks the candidates; otherwise, it generates RC-CoT to refine the retrieval direction and performs full-corpus re-retrieval with a dual-mode embedder. To train the framework, we mine hard negatives to simulate realistic retrieval failures, jointly optimize direct retrieval and RC-CoT-augmented retrieval, and align the adviser with retrieval outcomes through supervised learning and retrieval-oriented reinforcement learning. Extensive experiments on MMEB-V2 and a diverse set of general multimodal retrieval benchmarks demonstrate that UniME-R1 consistently improves retrieval performance over strong baselines.