UniMixer: 추천 시스템의 스케일링 법칙을 위한 통합 아키텍처

UniMixer: A Unified Architecture for Scaling Laws in Recommendation Systems

최근 몇 년 동안, 추천 모델의 스케일링 법칙에 대한 관심이 높아지고 있으며, 이는 추천 시스템의 성능과 파라미터/FLOPs 간의 관계를 규정합니다. 현재 추천 모델에서 스케일링을 달성하기 위한 세 가지 주요 아키텍처가 있으며, 이는 어텐션 기반, TokenMixer 기반, 그리고 팩터화 머신 기반 방법으로, 설계 철학과 아키텍처 구조에서 근본적인 차이를 보입니다. 본 논문에서는 추천 시스템의 스케일링 효율성을 향상시키고, 주류 스케일링 블록들을 통합하는 통합적인 이론적 프레임워크를 구축하기 위해, extbf{UniMixer}라는 통합 스케일링 아키텍처를 제안합니다. 규칙 기반 TokenMixer를 동등한 파라미터화된 구조로 변환하여, 토큰 믹싱 패턴을 최적화하고 모델 훈련 중에 학습할 수 있는 일반화된 파라미터화된 특징 믹싱 모듈을 구성합니다. 또한, 일반화된 파라미터화된 토큰 믹싱은 TokenMixer에서 헤드의 개수가 토큰의 개수와 같아야 한다는 제약을 제거합니다. 더욱이, 본 논문에서는 추천 시스템을 위한 통합적인 스케일링 모듈 설계 프레임워크를 제시하며, 이를 통해 어텐션 기반, TokenMixer 기반, 그리고 팩터화 머신 기반 방법 간의 연관성을 연결합니다. 스케일링 효율을 더욱 향상시키기 위해, 가벼운 UniMixing 모듈인 extbf{UniMixing-Lite}를 설계하여, 모델 파라미터와 계산 비용을 더욱 줄이면서 모델 성능을 크게 향상시킵니다. 스케일링 곡선은 다음 그림에 제시되어 있습니다. extbf{UniMixer}의 우수한 스케일링 능력을 검증하기 위해, 광범위한 오프라인 및 온라인 실험을 수행했습니다.

In recent years, the scaling laws of recommendation models have attracted increasing attention, which govern the relationship between performance and parameters/FLOPs of recommenders. Currently, there are three mainstream architectures for achieving scaling in recommendation models, namely attention-based, TokenMixer-based, and factorization-machine-based methods, which exhibit fundamental differences in both design philosophy and architectural structure. In this paper, we propose a unified scaling architecture for recommendation systems, namely \textbf{UniMixer}, to improve scaling efficiency and establish a unified theoretical framework that unifies the mainstream scaling blocks. By transforming the rule-based TokenMixer to an equivalent parameterized structure, we construct a generalized parameterized feature mixing module that allows the token mixing patterns to be optimized and learned during model training. Meanwhile, the generalized parameterized token mixing removes the constraint in TokenMixer that requires the number of heads to be equal to the number of tokens. Furthermore, we establish a unified scaling module design framework for recommender systems, which bridges the connections among attention-based, TokenMixer-based, and factorization-machine-based methods. To further boost scaling ROI, a lightweight UniMixing module is designed, \textbf{UniMixing-Lite}, which further compresses the model parameters and computational cost while significantly improve the model performance. The scaling curves are shown in the following figure. Extensive offline and online experiments are conducted to verify the superior scaling abilities of \textbf{UniMixer}.