TokenFormer: 다중 필드 및 시퀀스 추천 시스템의 통합

TokenFormer: Unify the Multi-Field and Sequential Recommendation Worlds

추천 시스템은 역사적으로 두 가지 주요 패러다임으로 발전해 왔습니다. 하나는 다중 필드 범주형 특징 간의 상관관계를 모델링하는 특징 상호 작용 모델이고, 다른 하나는 과거 상호 작용 시퀀스에서 사용자 행동 역학을 포착하는 시퀀스 모델입니다. 최근에는 이러한 패러다임을 통합된 구조 내에서 연결하려는 시도가 있지만, 우리는 실험적으로 이러한 두 가지 접근 방식을 단순히 통합하는 것이 '시퀀스 붕괴 전파(SCP)'라는 문제점을 야기할 수 있다는 것을 밝혀냈습니다. 즉, 차원적으로 일관되지 않은 비-시퀀스 필드와의 상호 작용은 시퀀스 특징의 차원적 붕괴를 초래할 수 있습니다. 이러한 문제를 해결하기 위해, 우리는 다음과 같은 혁신을 포함하는 통합된 추천 시스템 아키텍처인 TokenFormer를 제안합니다. 첫째, 하위 레이어에서는 완전한 자기 주의(full self-attention)를 사용하고 상위 레이어에서는 축소 윈도우 슬라이딩 주의(shrinking-window sliding attention)를 적용하는 Bottom-Full-Top-Sliding (BFTS) 주의 메커니즘을 도입합니다. 둘째, 숨겨진 상태에 일방향 비선형 곱셈 변환을 적용하는 Non-Linear Interaction Representation (NLIR)을 도입합니다. 공개 벤치마크 및 텐센트 광고 플랫폼에서의 광범위한 실험 결과, TokenFormer가 최첨단 성능을 달성하며, 자세한 분석을 통해 TokenFormer가 통합 모델링 환경에서 차원적 안정성과 표현력의 차별성을 크게 향상시킨다는 것을 확인했습니다.

Recommender systems have historically developed along two largely independent paradigms: feature interaction models for modeling correlations among multi-field categorical features, and sequential models for capturing user behavior dynamics from historical interaction sequences. Although recent trends attempt to bridge these paradigms within shared backbones, we empirically reveal that naive unifying these two branches may lead to a failure mode of Sequential Collapse Propagation (SCP). That is, the interaction with those dimensionally ill non-sequence fields leads to the dimensional collapse of the sequence features. To overcome this challenge, we propose TokenFormer, a unified recommendation architecture with the following innovations. First, we introduce a Bottom-Full-Top-Sliding (BFTS) attention scheme, which applies full self-attention in the lower layers and shrinking-window sliding attention in the upper layers. Second, we introduce a Non-Linear Interaction Representation (NLIR) that applies one-sided non-linear multiplicative transformations to the hidden states. Extensive experiments on public benchmarks and Tencent's advertising platform demonstrate state-of-the-art performance, while detailed analysis confirm that TokenFormer significantly improves dimensional robustness and representation discriminability under unified modeling.