듀인 멀티모달 임베딩 모델 기술 보고서

Douyin Multimodal Embedding Model Technical Report

멀티모달 표현 학습은 현대 인공지능의 핵심 요소입니다. 이 기술은 멀티모달 쿼리와 목표를 벡터로 변환하여 산업용 검색 및 추천 시스템을 지원하며, 최신 에이전트의 기반이 됩니다. 듀인, 샤오홍슈, 유튜브와 같이 복잡한 모달리티와 방대한 콘텐츠를 가진 실제 플랫폼들은 수십억 규모의 인덱싱 효율성과 함께 정교한 매칭을 요구합니다. 기존 멀티모달 언어 모델 (MLLM) 임베딩 모델은 이 두 가지 요건을 동시에 만족시키기 어렵습니다. 대조 학습 모델은 효율적이지만, 세밀한 구분을 위한 파인-그레인드 정보가 부족하고, CoT 기반 모델은 명시적인 생성 방식을 통해 구별력을 향상시키지만 온라인 서비스에 적용하기에는 비효율적입니다. 본 논문에서는 두 가지 장점을 결합한 듀인 멀티모달 임베딩 (DME) 모델을 소개합니다. DME는 크게 두 단계로 학습됩니다. 1단계에서는 대규모 대비 사전 학습을 통해 다양한 모달리티와 작업을 포괄하는 통합 멀티모달 임베딩 공간을 구축합니다. 2단계에서는 검색과 관련된 증거 기반의 의미론적 충분성을 보장하고, 세밀한 측면에서의 의미를 유지하기 위해 두 가지 메커니즘을 사용합니다. 첫째, Evidence-Grounded Typed Latent Reasoning은 숨겨진 공간 내의 잠재 변수를 통해 검색된 증거를 구성합니다. 둘째, Cross-Conditional Reconstruction은 상호 방향 오토리그레시브 복원을 통해 대응 측면의 의미를 강화합니다. 이 두 가지 메커니즘은 학습 과정에서만 사용되며, 쿼리 측면에 미치는 영향이 미미하므로 DME는 일반적인 대비 인코더와 유사한 효율성을 제공합니다. MMEB-v2 데이터셋에서 DME 모델 (2B 및 9B 버전)은 각각 74.8%와 78.4%의 최고 성능을 달성했으며, 특히 비디오 및 시각 문서 관련 작업에서 뛰어난 성능을 보였습니다. 실제 서비스 환경에서는 DME가 듀인의 내부 오프라인 평가 데이터셋에서 2.92%의 상대적 성능 향상을 가져왔으며, 생성, 이미지, AI 검색 등 다양한 듀인 서비스에 적용되었습니다. 또한, 온라인 A/B 테스트에서 듀인 검색 기능의 생애 가치 (Lifetime, LT)를 0.1% 향상시키는 효과를 보였습니다.

Multimodal representation learning is a cornerstone of modern AI. By encoding multimodal queries and targets into vectors, it powers industrial search and recommendation and underpins modern agents. Real-world platforms with complex modalities and massive-scale content, such as Douyin, Xiaohongshu, and YouTube, demand both efficiency under billion-scale indexing and fine-grained discrimination for hard matching. Existing MLLM embedding models rarely satisfy both. Contrastive models are efficient but rely on pair-level supervision too coarse for fine-grained distinctions, while CoT-based models improve discrimination through explicit generation impractical to serve online. We present Douyin Multimodal Embedding (DME), a model trained in two stages to combine both strengths. Stage 1 performs large-scale contrastive pre-training that establishes a unified multimodal embedding space with broad modality and task coverage. Stage 2 supplements semantic sufficiency, the property that an embedding is grounded in retrieval-relevant evidence and preserves fine-grained counterpart-side semantics, via two mechanisms. Evidence-Grounded Typed Latent Reasoning organizes retrieval evidence through hidden-space latent reasoning, and Cross-Conditional Reconstruction enforces counterpart-side semantics through cross-directional autoregressive reconstruction. Both act only during training and add only marginal query-side overhead, so DME serves as efficiently as a standard contrastive encoder. On MMEB-v2, DME reaches state-of-the-art results at comparable scales for its 2B and 9B variants (74.8 and 78.4), with especially strong video and visual-document tasks. In production, DME delivers a 2.92% relative gain on Douyin's in-house offline evaluation set, is deployed across Douyin scenarios such as generative, image, and AI search, and yields a 0.1% Lifetime (LT) gain in online A/B testing on Douyin search.