생성형 추천 시스템 토크나이저 재고찰: LLM에 의존하지 않는 추천 시스템 전용 인코딩 및 의미론적 양자화

Rethinking Generative Recommender Tokenizer: Recsys-Native Encoding and Semantic Quantization Beyond LLMs

의미론적 ID(SID) 기반 추천은 순차적 추천 시스템의 확장 가능성을 높이는 유망한 패러다임이지만, 기존 방법들은 대부분 의미론 중심의 파이프라인을 따릅니다. 즉, 기초 모델로부터 아이템 임베딩을 학습하고, 일반적인 양자화 방식을 사용하여 이들을 이산화합니다. 이러한 설계는 생성형 추천의 목표와 일치하지 않습니다. 왜냐하면 의미론적 임베딩은 협업 예측과 약하게 연결되어 있으며, 일반적인 양자화는 자기 회귀 모델링을 위한 순차적 불확실성을 줄이는 데 비효율적이기 때문입니다. 이러한 문제점을 해결하기 위해, 우리는 LLM에 의존하지 않고 정보 보존 및 순차적 예측의 관점에서 표현 학습과 양자화를 재고한, 추천 시스템 전용의 체계적인 SID 프레임워크인 ReSID를 제안합니다. ReSID는 두 가지 구성 요소로 이루어집니다: (i) 구조화된 특징으로부터 예측에 충분한 아이템 표현을 학습하는 Field-Aware Masked Auto-Encoding (FAMAE), 그리고 (ii) 의미론적 모호함과 접두사 조건부 불확실성을 동시에 줄여, 압축적이고 예측 가능한 SID 시퀀스를 생성하는 Globally Aligned Orthogonal Quantization (GAOQ). 이론적 분석과 10개의 데이터 세트를 사용한 광범위한 실험 결과는 ReSID의 효과를 입증합니다. ReSID는 강력한 순차적 및 SID 기반 생성 모델의 기준 성능을 평균 10% 이상으로 능가하며, 토큰화 비용을 최대 122배까지 절감합니다. 코드 및 관련 자료는 https://github.com/FuCongResearchSquad/ReSID 에서 확인할 수 있습니다.

Semantic ID (SID)-based recommendation is a promising paradigm for scaling sequential recommender systems, but existing methods largely follow a semantic-centric pipeline: item embeddings are learned from foundation models and discretized using generic quantization schemes. This design is misaligned with generative recommendation objectives: semantic embeddings are weakly coupled with collaborative prediction, and generic quantization is inefficient at reducing sequential uncertainty for autoregressive modeling. To address these, we propose ReSID, a recommendation-native, principled SID framework that rethinks representation learning and quantization from the perspective of information preservation and sequential predictability, without relying on LLMs. ReSID consists of two components: (i) Field-Aware Masked Auto-Encoding (FAMAE), which learns predictive-sufficient item representations from structured features, and (ii) Globally Aligned Orthogonal Quantization (GAOQ), which produces compact and predictable SID sequences by jointly reducing semantic ambiguity and prefix-conditional uncertainty. Theoretical analysis and extensive experiments across ten datasets show the effectiveness of ReSID. ReSID consistently outperforms strong sequential and SID-based generative baselines by an average of over 10%, while reducing tokenization cost by up to 122x. Code is available at https://github.com/FuCongResearchSquad/ReSID.