HyTRec: 장기 행동 순차 추천을 위한 하이브리드 시간 인식 어텐션 아키텍처

HyTRec: A Hybrid Temporal-Aware Attention Architecture for Long Behavior Sequential Recommendation

사용자의 장기 행동 시퀀스를 모델링하는 것은 생성형 추천 분야에서 중요한 과제로 부상했다. 그러나 기존의 해결책들은 딜레마에 직면해 있다. 선형 어텐션 메커니즘은 제한된 상태 용량으로 인해 검색 정밀도를 희생하여 효율성을 달성하는 반면, 소프트맥스 어텐션은 과도한 계산 오버헤드를 겪는다. 이러한 문제를 해결하기 위해 본 논문에서는 장기적이고 안정적인 선호도와 단기적으로 급증하는 의도를 명시적으로 분리하는 하이브리드 어텐션 아키텍처를 특징으로 하는 모델인 HyTRec을 제안한다. 방대한 과거 시퀀스를 선형 어텐션 브랜치에 할당하고 최근의 상호작용을 처리하기 위해 특화된 소프트맥스 어텐션 브랜치를 따로 마련함으로써, 제안하는 접근법은 수만 번의 상호작용이 포함된 산업 규모의 컨텍스트에서 정밀한 검색 능력을 복원한다. 또한 선형 레이어 내에서 급격한 관심사 변화를 포착할 때 발생하는 지연을 완화하기 위해, 과거의 노이즈를 효과적으로 억제하면서 최신 행동 신호에 동적으로 가중치를 높이는 시간 인식 델타 네트워크(Temporal-Aware Delta Network, TADN)를 설계했다. 산업 규모의 데이터셋에 대한 실험 결과는 제안하는 모델이 선형 추론 속도를 유지하면서도 강력한 베이스라인의 성능을 능가하는 우수성을 입증하였으며, 특히 초장기 시퀀스를 가진 사용자를 대상으로 높은 효율성과 함께 적중률(Hit Rate)을 8% 이상 향상시켰음을 보여준다.

Modeling long sequences of user behaviors has emerged as a critical frontier in generative recommendation. However, existing solutions face a dilemma: linear attention mechanisms achieve efficiency at the cost of retrieval precision due to limited state capacity, while softmax attention suffers from prohibitive computational overhead. To address this challenge, we propose HyTRec, a model featuring a Hybrid Attention architecture that explicitly decouples long-term stable preferences from short-term intent spikes. By assigning massive historical sequences to a linear attention branch and reserving a specialized softmax attention branch for recent interactions, our approach restores precise retrieval capabilities within industrial-scale contexts involving ten thousand interactions. To mitigate the lag in capturing rapid interest drifts within the linear layers, we furthermore design Temporal-Aware Delta Network (TADN) to dynamically upweight fresh behavioral signals while effectively suppressing historical noise. Empirical results on industrial-scale datasets confirm the superiority that our model maintains linear inference speed and outperforms strong baselines, notably delivering over 8% improvement in Hit Rate for users with ultra-long sequences with great efficiency.