GenRec: 사용자 선호도 중심의 대규모 추천을 위한 생성 모델 프레임워크

GenRec: A Preference-Oriented Generative Framework for Large-Scale Recommendation

생성적 검색(Generative Retrieval, GR)은 다음 토큰 예측(Next-Token Prediction, NTP)을 통해 추천 시스템에 대한 유망한 패러다임을 제시합니다. 그러나 이를 대규모 산업 시스템으로 확장하는 과정에서 세 가지 과제가 발생합니다. (i) 단일 요청 내에서 동일한 모델 입력이 페이지네이션 요청 메커니즘으로 인해 일관되지 않은 출력을 생성할 수 있습니다. (ii) 의미 기반 ID를 사용한 다중 토큰 아이템 표현으로 긴 사용자 행동 시퀀스를 인코딩하는 데 드는 막대한 비용, 그리고 (iii) 생성 정책을 미묘한 사용자 선호도 신호에 맞추는 문제입니다. 본 논문에서는 JD 앱에 적용된 사용자 선호도 중심의 생성 모델 프레임워크인 GenRec을 소개하며, 단일 디코더 전용 아키텍처 내에서 위 과제들을 해결합니다. 학습 목표로서, 우리는 전체 상호 작용 페이지에 대한 감독을 제공하여 더욱 밀집된 그래디언트 신호를 제공하고, 개별 아이템별 학습의 일대다 모호성을 해결하는 Page-wise NTP 작업을 제안합니다. 또한, 프롬프트 측면에서, 비대칭 선형 토큰 병합(Token Merger)은 전체 해상도 디코딩을 유지하면서 다중 토큰 의미 기반 ID를 압축하여 입력 길이를 약 2배 줄이면서도 정확도 손실을 최소화합니다. 더욱이, 사용자의 만족도에 부합하는 출력을 생성하기 위해, 그룹 상대 정책 최적화(Group Relative Policy Optimization)와 NLL 정규화를 결합하여 학습 안정성을 확보하고, 보상 해킹을 방지하기 위해 밀집된 보상 모델과 관련성 게이트를 결합한 하이브리드 보상을 사용하는 강화 학습 방법인 GRPO-SR을 도입했습니다. 한 달 동안 실제 트래픽을 처리하는 A/B 테스트에서 GenRec은 기존 파이프라인에 비해 클릭 수에서 9.5%, 거래 수에서 8.7%의 성능 향상을 달성했습니다.

Generative Retrieval (GR) offers a promising paradigm for recommendation through next-token prediction (NTP). However, scaling it to large-scale industrial systems introduces three challenges: (i) within a single request, the identical model inputs may produce inconsistent outputs due to the pagination request mechanism; (ii) the prohibitive cost of encoding long user behavior sequences with multi-token item representations based on semantic IDs, and (iii) aligning the generative policy with nuanced user preference signals. We present GenRec, a preference-oriented generative framework deployed on the JD App that addresses above challenges within a single decoder-only architecture. For training objective, we propose Page-wise NTP task, which supervises over an entire interaction page rather than each interacted item individually, providing denser gradient signal and resolving the one-to-many ambiguity of point-wise training. On the prefilling side, an asymmetric linear Token Merger compresses multi-token Semantic IDs in the prompt while preserving full-resolution decoding, reducing input length by ~2X with negligible accuracy loss. To further align outputs with user satisfaction, we introduce GRPO-SR, a reinforcement learning method that pairs Group Relative Policy Optimization with NLL regularization for training stability, and employs Hybrid Rewards combining a dense reward model with a relevance gate to mitigate reward hacking. In month-long online A/B tests serving production traffic, GenRec achieves 9.5% improvement in click count and 8.7% in transaction count over the existing pipeline.