개인화 기반의 장기 사용자 관심사를 위한 효율적인 순차 추천

Efficient Sequential Recommendation for Long Term User Interest Via Personalization

최근 몇 년 동안 순차 모델링, 생성형 추천 시스템, 그리고 대규모 언어 모델은 추천 분야에서 큰 성공을 거두었습니다. 순차 모델에 대한 확장 법칙이 검증되었지만, 트랜스포머 모델의 비선형적(2차 함수적) 증가 특성으로 인해 실제 추천 시스템과 같은 응용 분야에서는 계산 능력 측면에서 비효율적인 문제가 발생합니다. 본 연구에서는 순차 모델의 효율성을 개선하기 위해, 효율성과 성능을 향상시키는 개인화 기술을 활용하는 새로운 순차 추천 방식을 제안합니다. 저희의 방법은 사용자의 긴 상호 작용 기록을 학습 가능한 토큰으로 압축하고, 이를 최근 상호 작용과 결합하여 추천을 생성합니다. 이러한 접근 방식은 계산 비용을 크게 줄이면서 높은 추천 정확도를 유지합니다. 저희의 방법은 기존 트랜스포머 기반 추천 모델(예: HSTU, HLLM)에 적용될 수 있습니다. 여러 순차 모델에 대한 광범위한 실험을 통해 그 다양성과 효과성을 입증했습니다. 소스 코드는 다음 링크에서 확인하실 수 있습니다: [https://github.com/facebookresearch/PerSRec](https://github.com/facebookresearch/PerSRec)

Recent years have witnessed success of sequential modeling, generative recommender, and large language model for recommendation. Though the scaling law has been validated for sequential models, it showed inefficiency in computational capacity when considering real-world applications like recommendation, due to the non-linear(quadratic) increasing nature of the transformer model. To improve the efficiency of the sequential model, we introduced a novel approach to sequential recommendation that leverages personalization techniques to enhance efficiency and performance. Our method compresses long user interaction histories into learnable tokens, which are then combined with recent interactions to generate recommendations. This approach significantly reduces computational costs while maintaining high recommendation accuracy. Our method could be applied to existing transformer based recommendation models, e.g., HSTU and HLLM. Extensive experiments on multiple sequential models demonstrate its versatility and effectiveness. Source code is available at \href{https://github.com/facebookresearch/PerSRec}{https://github.com/facebookresearch/PerSRec}.