RQ-GMM: 잔차 양자화 가우시안 혼합 모델 - CTR 예측을 위한 다중 모드 의미 분산화

RQ-GMM: Residual Quantized Gaussian Mixture Model for Multimodal Semantic Discretization in CTR Prediction

다중 모드 콘텐츠는 클릭률(CTR) 예측에 매우 중요합니다. 그러나 사전 훈련된 모델에서 얻은 연속적인 임베딩을 CTR 모델에 직접 통합하면 최적화 목표의 불일치 및 공동 훈련 중 수렴 속도 불일치로 인해 최상의 결과를 얻기 어렵습니다. CTR 모델에 임베딩을 의미 있는 ID로 이산화하는 것은 더 효과적인 해결책을 제공하지만, 기존 방법은 코드북 활용률, 재구성 정확도 및 의미적 구별력이 제한적이라는 단점이 있습니다. 본 논문에서는 다중 모드 임베딩 공간의 통계적 구조를 더 잘 파악하기 위해 확률 모델링을 도입한 RQ-GMM(잔차 양자화 가우시안 혼합 모델)을 제안합니다. 가우시안 혼합 모델과 잔차 양자화를 결합하여 RQ-GMM은 뛰어난 코드북 활용률과 재구성 정확도를 달성합니다. 공개 데이터 세트에 대한 실험과 수백만 명의 사용자를 대상으로 하는 대규모 단편 비디오 플랫폼에서의 온라인 A/B 테스트를 통해 RQ-GMM은 강력한 기준 모델 대비 1.502%의 광고주 가치 향상을 보여주었습니다. 제안된 방법은 전체적으로 배포되었으며, 매일 수백만 명의 사용자에게 추천 서비스를 제공하고 있습니다.

Multimodal content is crucial for click-through rate (CTR) prediction. However, directly incorporating continuous embeddings from pre-trained models into CTR models yields suboptimal results due to misaligned optimization objectives and convergence speed inconsistency during joint training. Discretizing embeddings into semantic IDs before feeding them into CTR models offers a more effective solution, yet existing methods suffer from limited codebook utilization, reconstruction accuracy, and semantic discriminability. We propose RQ-GMM (Residual Quantized Gaussian Mixture Model), which introduces probabilistic modeling to better capture the statistical structure of multimodal embedding spaces. Through Gaussian Mixture Models combined with residual quantization, RQ-GMM achieves superior codebook utilization and reconstruction accuracy. Experiments on public datasets and online A/B tests on a large-scale short-video platform serving hundreds of millions of users demonstrate substantial improvements: RQ-GMM yields a 1.502% gain in Advertiser Value over strong baselines. The method has been fully deployed, serving daily recommendations for hundreds of millions of users.