SpecFormer: 스펙트럼 인지 트랜스포머를 활용하여 임베딩 및 어텐션 붕괴를 완화하는 추천 시스템

SpecFormer: Mitigating Embedding and Attention Collapse via Spectral-Aware Transformer for Recommendation

트랜스포머 아키텍처는 다양한 분야에서 뛰어난 성공을 거두었지만, 표준적인 자기 주의(self-attention) 메커니즘을 추천 시스템에 직접 적용하면 최적의 성능을 얻기 어려울 수 있으며, 때로는 잘 설계된 단순한 추천 모델보다도 성능이 떨어지는 경우가 있습니다. 본 논문에서는 이러한 성능 저하가 추천 시나리오에서 발생하는 심각한 임베딩 및 어텐션 붕괴 현상 때문에 발생한다는 것을 밝혀냅니다. 추천 데이터의 이질성과 장기 기억(long-tail) 특성은 몇 개의 주요 고유값에 의해 지배되는 심각한 스펙트럼 붕괴를 초래합니다. 또한, 본 논문은 이러한 현상이 추천 모델의 순전파 및 역전파 과정에서 악순환을 유발하여 임베딩 및 어텐션 붕괴를 가속화하고 모델의 확장 능력을 제한한다는 것을 이론적으로 입증합니다. 이러한 문제를 해결하기 위해, 임베딩 및 어텐션 붕괴를 완화하도록 설계된 새로운 스펙트럼 인지 트랜스포머인 SpecFormer를 제안합니다. 구체적으로, SpecFormer는 다음과 같은 기능을 포함합니다: 1) 입력 토큰 임베딩의 고유값 분포를 동적으로 평활화하는 학습 가능한 스펙트럴 소프트닝(Learnable Spectral Softening) 모듈; 2) 보다 균일한 스펙트럼 분포 공간에서 특징 상호 작용을 모델링하는 스펙트럼-소프트닝 어텐션(Spectrum-softened Attention) 메커니즘; 3) 고유값의 테일러 전개를 통해 특징 상호 작용에 명시적인 스펙트럼 유도 편향을 제공하는 스펙트럴 잔차 위치 인코딩(Spectral Residual Position Encoding). 산업 데이터셋 및 두 개의 공개 데이터셋에 대한 광범위한 실험 결과, SpecFormer가 최첨단 기반 모델보다 훨씬 우수한 성능을 보임을 입증합니다. 특히, SpecFormer는 실제 상업용 추천 시스템에 성공적으로 배포되었으며 뛰어난 확장성을 보여줍니다. SpecFormer 레이어를 쌓으면 어텐션의 효과적인 순위를 향상시키고 추천 성능을 개선할 수 있습니다.

Transformer architectures have achieved remarkable success across diverse domains; however, directly applying their standard self-attention mechanism to recommendation often yields suboptimal performance, sometimes even trailing behind well-designed simple recommendation models. In this paper, we reveal that this performance bottleneck stems from severe embedding and attention collapse unique to recommendation scenarios. The heterogeneity and long-tail nature of recommendation data lead to a severe spectral collapse dominated by a few principal singular values. We further theoretically demonstrate that this triggers a vicious cycle in recommendation model's forward and backward propagation, which accelerates embedding and attention collapse and limits the model's scaling capability with increased depth. To address these issues, we propose SpecFormer, a novel Spectral-Aware Transformer designed for mitigating embedding and attention collapse in recommendation. Specifically, SpecFormer introduces 1) a Learnable Spectral Softening module to dynamically smooth the singular values distribution of the input token embeddings; 2) a Spectrum-softened Attention mechanism to model feature interaction under a more uniform spectral distribution space; 3) a Spectral Residual Position Encoding via Taylor expansion of singular values, explicitly providing a spectral inductive bias for feature interactions. Extensive experiments on one industrial and two public datasets demonstrate that SpecFormer significantly outperforms state-of-the-art baselines. Notably, SpecFormer has been successfully deployed in a real-world commercial recommender system and exhibits exceptional scaling capabilities: stacking SpecFormer layers actively improves the attention effective rank and recommendation performance.