Zenith: 100억 규모의 라이브 스트리밍 추천을 위한 순위 모델 확장

Zenith: Scaling up Ranking Models for Billion-scale Livestreaming Recommendation

추천 시스템에서 특징 상호 작용을 정확하게 파악하는 것은 매우 중요하며, 최근 연구 동향은 모델 용량을 확장하는 것이 향상된 예측 성능을 위한 핵심 요소가 될 수 있음을 보여줍니다. 기존 연구에서는 다양한 모델 구조를 통해 다중 수준의 특징 상호 작용을 파악하려는 시도가 있었지만, 효율적인 특징 처리와 과도한 추론 지연 없이 모델 용량을 확장하는 것에 대한 상대적으로 적은 관심이 있었습니다. 본 논문에서는 이러한 문제를 해결하기 위해, 최소한의 런타임 오버헤드로 복잡한 특징 상호 작용을 학습하는 확장 가능하고 효율적인 순위 모델 아키텍처인 Zenith를 제시합니다. Zenith는 Token Fusion 및 Token Boost 모듈을 통해 소수의 고차원 Prime Token을 처리하도록 설계되었으며, 향상된 토큰 이질성 덕분에 다른 최첨단 순위 방법과 비교하여 우수한 확장성을 보입니다. 본 연구에서는 이 아키텍처를 전 세계 수십억 명의 사용자를 보유한 선도적인 온라인 라이브 스트리밍 플랫폼인 TikTok Live에 적용하여 실제 효과를 입증했습니다. A/B 테스트 결과, Zenith는 온라인 CTR AUC 및 Logloss에서 각각 +1.05% 및 -1.10%의 성능 향상을 보였으며, 사용자당 품질 시청 세션에서 +9.93%, 사용자당 품질 시청 시간에서 +8.11%의 향상을 실현했습니다.

Accurately capturing feature interactions is essential in recommender systems, and recent trends show that scaling up model capacity could be a key driver for next-level predictive performance. While prior work has explored various model architectures to capture multi-granularity feature interactions, relatively little attention has been paid to efficient feature handling and scaling model capacity without incurring excessive inference latency. In this paper, we address this by presenting Zenith, a scalable and efficient ranking architecture that learns complex feature interactions with minimal runtime overhead. Zenith is designed to handle a few high-dimensional Prime Tokens with Token Fusion and Token Boost modules, which exhibits superior scaling laws compared to other state-of-the-art ranking methods, thanks to its improved token heterogeneity. Its real-world effectiveness is demonstrated by deploying the architecture to TikTok Live, a leading online livestreaming platform that attracts billions of users globally. Our A/B test shows that Zenith achieves +1.05%/-1.10% in online CTR AUC and Logloss, and realizes +9.93% gains in Quality Watch Session / User and +8.11% in Quality Watch Duration / User.