Pailitao-MMSearch: 네이티브 전자상거래 다중 모드 검색 기반 모델 구축

Pailitao-MMSearch: Building Native E-Commerce Multimodal Search Foundation

전자상거래의 발전은 사용자가 제품을 찾는 방식에 근본적인 변화를 가져왔습니다. 단순한 텍스트 기반 키워드 검색에서 벗어나, 이제는 제품 이미지, 자연어 설명 및 복합적인 의도를 결합하는 정교한 다중 모드 상호작용이 중요해졌습니다. 그러나 기존의 접근 방식은 다음과 같은 중요한 문제에 직면합니다. 텍스트 검색, 시각 검색, 음성 인식 등 각 모달리티별로 독립적으로 운영되는 전문 모델들은 서로 연계되지 않아 다양한 모드를 결합한 질의 처리가 어렵고, 범용적인 이미지-텍스트 모델은 세분화된 제품 이해, 사용자 행동 모델링 및 상업적 의도 추론에 필요한 도메인 특화 지식이 부족합니다. 본 연구에서는 이러한 격차를 해소하기 위해 설계된 네이티브 전자상거래 다중 모드 검색 기반 모델인 Pailitao-MMSearch를 제안합니다. 저희의 접근 방식은 세 가지 핵심 혁신을 포함합니다: (1) HybSID (하이브리드 시맨틱 ID); (2) 두 단계에 걸친 지속적인 사전 훈련 전략; 및 (3) 하이브리드 추론 후처리 파이프라인. Qwen 모델을 기반으로 구축되었으며, 타오바오의 Pailitao 다중 모드 검색 플랫폼에 배포된 Pailitao-MMSearch는 온라인 A/B 테스트에서 상당한 성능 향상을 보여주었습니다. 특히 총 상품 판매량(GMV)은 최대 +13.61%, 거래량은 +8.21% 증가하여, 저희의 네이티브 전자상거래 다중 모드 검색 대규모 언어 모델의 효과를 입증했습니다.

The evolution of e-commerce has fundamentally transformed how users search for products, shifting from simple text-based keyword queries to complex multimodal interactions that seamlessly combine product images, natural language descriptions, and mixed-intent instructions. However, existing approaches face a critical dilemma: single-modal specialist models, deployed independently for text retrieval, visual search, and voice recognition, operate in isolation and cannot handle cross-modal queries, while general-purpose vision-language models lack the domain-specific knowledge necessary for fine-grained product understanding, user behavior modeling, and commercial intent reasoning. In this work, we present Pailitao-MMSearch, one native e-commerce multimodal search foundation model designed to bridge this gap. Our approach introduces three key innovations: (1)HybSID (Hybrid Semantic ID);(2)a two-stage continual pre-training strategy; and (3)a hybrid reasoning post-training pipeline. Built upon Qwen and deployed on Taobao's Pailitao multimodal search platform, Pailitao-MMSearch achieves substantial improvements in online A/B testing, including up to +13.61\% in Gross Merchandise Volume (GMV) and +8.21\% in transaction volume compared to traditional multi-modal search pipeline, demonstrating the effectiveness of our native e-commerce multimodal search large language models.