MALLOC: 대규모 순차 추천을 위한 메모리 기반 장기 시퀀스 압축 성능 벤치마킹

MALLOC: Benchmarking the Memory-aware Long Sequence Compression for Large Sequential Recommendation

모델 성능이 데이터셋과 모델 용량 증가에 따라 향상된다는 스케일링 법칙은 산업 및 학계에서 추천 모델을 확장하는 추세를 가속화했습니다. 그러나 대규모 추천 시스템의 등장은 특히 추천 시스템에서 사용자의 의도를 나타내는 장기 시퀀스 의존성으로 인해 계산 비용이 크게 증가합니다. 현재의 접근 방식은 종종 각 사용자의 과거 행동에 대한 중간 상태를 미리 저장하여 후속 요청에 대한 2차 재계산 비용을 줄이는 방법을 사용합니다. 이러한 방법은 효과적이지만, 메모리를 단순히 가속화를 위한 매개체로 취급하며, 메모리가 유발하는 공간 오버헤드를 충분히 고려하지 않습니다. 이는 수십억 명의 사용자를 가진 실제 추천 시스템에서 중요한 과제이며, 각 사용자가 수천 건의 상호 작용을 시작하고 상태 저장에 막대한 메모리가 필요합니다. 다행히도 LLM에서 압축을 위한 다양한 메모리 관리 전략이 연구되었지만, 대부분은 추천 작업에 대한 평가가 이루어지지 않았습니다. 이러한 격차를 해소하기 위해, 우리는 메모리 기반 장기 시퀀스 압축을 위한 포괄적인 벤치마크인 MALLOC을 소개합니다. MALLOC은 대규모 순차 추천에 적용 가능한 메모리 관리 기술에 대한 종합적인 조사와 체계적인 분류를 제공합니다. 이러한 기술은 최첨단 추천 시스템에 통합되어 재현 가능하고 접근 가능한 평가 플랫폼을 제공합니다. 정확도, 효율성 및 복잡성을 포괄하는 광범위한 실험을 통해, 우리는 MALLOC이 대규모 추천 분야를 발전시키는 데 있어 전반적인 신뢰성을 갖추고 있음을 입증합니다. 코드는 https://anonymous.4open.science/r/MALLOC 에서 확인할 수 있습니다.

The scaling law, which indicates that model performance improves with increasing dataset and model capacity, has fueled a growing trend in expanding recommendation models in both industry and academia. However, the advent of large-scale recommenders also brings significantly higher computational costs, particularly under the long-sequence dependencies inherent in the user intent of recommendation systems. Current approaches often rely on pre-storing the intermediate states of the past behavior for each user, thereby reducing the quadratic re-computation cost for the following requests. Despite their effectiveness, these methods often treat memory merely as a medium for acceleration, without adequately considering the space overhead it introduces. This presents a critical challenge in real-world recommendation systems with billions of users, each of whom might initiate thousands of interactions and require massive memory for state storage. Fortunately, there have been several memory management strategies examined for compression in LLM, while most have not been evaluated on the recommendation task. To mitigate this gap, we introduce MALLOC, a comprehensive benchmark for memory-aware long sequence compression. MALLOC presents a comprehensive investigation and systematic classification of memory management techniques applicable to large sequential recommendations. These techniques are integrated into state-of-the-art recommenders, enabling a reproducible and accessible evaluation platform. Through extensive experiments across accuracy, efficiency, and complexity, we demonstrate the holistic reliability of MALLOC in advancing large-scale recommendation. Code is available at https://anonymous.4open.science/r/MALLOC.