Conan-embedding-v3: 다양한 유형의 데이터를 위한 통합 임베딩 모델 구축 - 모달리티별 특화 모델 결합

Conan-embedding-v3: Fusing Modality-Specific Models for Omni-Modal Embedding

옴니모달 검색은 텍스트, 이미지, 비디오, 문서 및 오디오 등 다양한 입력 데이터에 대해 단일 임베딩 공간을 제공하는 것을 목표로 하지만, 데이터 분포, 아키텍처 및 최적화 방식의 차이로 인해 이러한 통합 검색 시스템을 구축하기는 어렵습니다. 본 연구에서는 옴니모달 검색을 위한 분리-결합-복구 프레임워크인 Conan-embedding-v3를 제안합니다. Conan-embedding-v3는 먼저 각 모달리티에 특화된 모델을 독립적으로 학습시킨 후, 이들의 특징 벡터를 하나의 밀집 백본으로 결합하는 '분리형 전문가 결합(Decoupled Specialist Fusion)' 전략을 사용합니다. 실험 결과, 이러한 결합은 시각, 비디오 및 문서 검색 성능을 향상시키지만, 외부 인코더와 투사기를 사용하는 모달리티의 경우 문제가 발생할 수 있음을 확인했습니다. 구체적으로 오디오 데이터를 외부 인코더와 투사기를 통해 추가하면, 백본과의 결합 과정에서 투사기가 오디오 특화 백본에 맞춰 조정되어 오디오 검색 성능이 저하되는 현상(Projector Drift)이 나타났습니다. 이를 해결하기 위해 Conan-embedding-v3는 투사기의 모든 파라미터를 미세 조정하고, 균형 잡힌 다중 모달 학습을 수행합니다. 결과적으로 제안하는 모델은 단일 백본에서 다양한 검색 경로를 지원하며, MMEB 데이터셋에서 74.9의 성능을 달성하고, 30개의 오디오 관련 작업(MAEB)에서 55.61의 성능을 보였습니다.

Omni-modal retrieval promises a single embedding space for text, image, video, document, and audio inputs, but building such a unified retriever is difficult since these modalities differ in data distribution, architecture, and optimization dynamics. In this work, we present Conan-embedding-v3, a decouple--fuse--recover framework for omni-modal retrieval. Conan-embedding-v3 first trains modality specialists independently and fuses their task vectors into a single dense backbone, a strategy we call Decoupled Specialist Fusion. We show that this fusion composes visual, video, and document retrieval capabilities, but also exposes a failure mode for projector-based modalities: when audio is attached through an external encoder and projector, fusing the backbone leaves the projector calibrated to the audio-specialist backbone, causing a large audio retrieval regression despite copying all audio-specific modules unchanged. We call this failure Projector Drift. To repair it, Conan-embedding-v3 applies Projector Recovery (i.e., full-parameter fine-tuning of the projector while keeping the backbone frozen) followed by balanced multi-modal rehearsal. The resulting model supports these retrieval pathways in one backbone, achieving 74.9 scores on MMEB while obtaining 55.61 on the 30-task MAEB audio suite.