UEmbed: 통일된 희소 및 밀집 다중 모달 임베딩

UEmbed: Unified Sparse and Dense Multimodal Embeddings

희소 검색은 웹 검색부터 검색 증강 생성에 이르기까지 현대적인 검색 시스템의 기반이 됩니다. 기존 연구에서는 정확한 어휘 일치 이상의 풍부한 의미를 파악하기 위해 학습된 희소 검색(LSR) 기술이 도입되었습니다. 그러나 LSR는 아직까지 인코더 기반 양방향 아키텍처에 주로 사용되어 왔으며, 다중 모달 환경으로의 확장은 여전히 보조적인 교차 모달 모듈에 크게 의존합니다. 이러한 한계를 극복하기 위해, 우리는 디코더 전용 다중 모달 임베딩 모델인 UEmbed(Unified Embedding)를 소개합니다. UEmbed는 단일의 인과 관계 기반 순방향 과정에서 희소 어휘 및 밀집 표현을 모두 생성합니다. UEmbed는 입력에 N개의 학습 가능한 특수 토큰을 추가하고 어휘 집합을 N개의 분리된 부분집합으로 나눕니다. 각 토큰의 인과 관계 기반 은닉 상태는 해당 부분집합에 대한 희소 가중치를 예측하며, N개의 부분집합은 전체 희소 벡터로 연결됩니다. 공개 데이터셋을 사용하여 학습된 UEmbed는 2B, 4B 및 9B 규모로 제공됩니다. UEmbed-9B는 MMEB-v2에서 밀집 표현으로 71.8점, 희소 표현으로 71.0점을 달성하여 공개적으로 사용 가능한 데이터셋으로 학습된 다중 모달 임베딩 모델(예: RzenEmbed)보다 우수한 성능을 보입니다. BEIR에서도 UEmbed는 강력한 밀집 및 희소 기반 모델과 경쟁력 있는 성능을 유지합니다. 또한, 우리는 UEmbed의 실용적인 유용성을 효과성, 효율성 및 에이전트 애플리케이션이라는 세 가지 측면에서 입증했습니다. 전반적으로, UEmbed는 새로운 패러다임을 제시합니다. 즉, 하나의 모델에서 밀집 및 희소 임베딩을 통합하고, 텍스트와 다중 모달 입력 모두를 위한 희소 검색을 확장하는 것입니다.

Sparse retrieval underpins modern search systems, from web search to retrieval-augmented generation. Existing work has introduced Learned Sparse Retrieval (LSR) to push beyond exact lexical matching toward richer semantics. Yet LSR has so far remained tied to encoder-style bidirectional architectures, and its extension to multimodal settings still relies heavily on auxiliary cross-modal modules. To address these limitations, we introduce UEmbed (Unified Embedding), a decoder-only multimodal embedding model that produces both sparse lexical and dense representations in one causal forward pass. UEmbed appends N learnable special tokens to the input and partitions the vocabulary into N disjoint subsets. Each token's causal hidden state predicts sparse weights over its assigned subset, and the N subsets are concatenated into the full sparse vector. Trained on public data, we release UEmbed at 2B, 4B, and 9B scales. UEmbed-9B reaches 71.8 (dense) and 71.0 (sparse) on MMEB-v2, outperforming multimodal embedding models trained on publicly available data (e.g., RzenEmbed). On BEIR, UEmbed also remains competitive with strong dense and sparse baselines. Furthermore, we demonstrate the practical utility of UEmbed across three dimensions: effectiveness, efficiency, and agentic applications. Overall, UEmbed offers a new paradigm: it unifies dense and sparse embeddings in one model, while further extending sparse retrieval to unify text and multimodal inputs.