GR2 기술 보고서
GR2 Technical Report
산업용 추천 시스템은 수많은 사용자를 대상으로 여러 단계를 거치는 방식으로 운영됩니다 (검색, 초기 순위 결정, 재순위 결정). 특히 캐러셀 및 격자 형태의 사용자 인터페이스에서 최종 재순위 결정 단계는 사용자 참여도와 전체 성능에 큰 영향을 미칩니다. 대규모 언어 모델(LLM)이 추천 시스템 분야에서 주목받고 있지만, 산업 현장에서 LLM을 도입하는 데에는 다음과 같은 세 가지 어려움이 있습니다: (1) 대부분의 연구가 검색 및 초기 순위 결정 단계에 집중되어 있으며, 최종 사용자 경험과 가장 밀접한 관련이 있는 재순위 결정 단계는 상대적으로 덜 탐구되고 있습니다. (2) LLM은 일반적으로 제로샷(zero-shot) 방식으로 또는 지도 학습을 통해 미세 조정되는데, 이는 강화 학습(RL)을 통해 얻을 수 있는 추론 능력을 충분히 활용하지 못합니다. (3) 실제 시스템에서는 수십억 개의 상품이 비의미적인 식별자를 사용하여 등록되어 있는데, 이러한 식별자는 대부분의 기본 LLM 어휘에 포함되지 않습니다. 본 논문에서는 GR2(Generative Reasoning Re-Ranker)라는 전체 프레임워크를 소개합니다. GR2는 (i) 99% 이상의 고유성을 갖는 의미 기반 ID를 사용하여 중간 단계 학습을 수행하고, (ii) 더 강력한 모델로부터 추출된 추론 과정을 특정 프롬프팅 및 거부 샘플링을 통해 증류하며, (iii) 재순위 결정에 특화된 검증 가능한 보상을 사용하는 강화 학습을 적용합니다. GR2의 효율적인 운영을 위해, 우리는 추가적으로 (iv) 학습 비용을 줄이는 컨텍스트 압축 기술, 지도 학습의 확장 가능한 대안인 온폴리시 증류(OPD), 그리고 낮은 지연 시간으로 서비스를 제공하기 위한 추론 증류 기술을 도입했습니다. 실험 결과, GR2는 기존 시스템에 비해 R@1에서 18.7%, R@3에서 7.1%, N@3에서 9.6%의 성능 향상을 보였습니다. 또한, 재순위 결정 과정에서 보상 설계가 매우 중요하며, LLM이 종종 입력 순서를 유지하거나 위치 편향을 이용하여 보상을 조작하는 경향이 있다는 것을 확인했으며, 이에 따라 조건부 검증 가능한 보상이 산업 현장에서 필수적인 요소임을 강조합니다.
Industrial recommendation systems serve billions of users through a multi-stage funnel -- retrieval, early-stage ranking, and re-ranking -- where the final re-ranking step disproportionately shapes user engagement and downstream performance, particularly for carousel and grid display formats. Despite growing enthusiasm for Large Language Models (LLMs) in recommendation, three gaps hinder industrial adoption: (1) most efforts target retrieval and ranking, leaving re-ranking -- the stage closest to the final user experience -- largely underexplored; (2) LLMs are typically deployed zero-shot or via supervised fine-tuning, underutilizing the reasoning capabilities unlocked by reinforcement learning (RL) on verifiable rewards; (3) deployed catalogs index billions of items with non-semantic identifiers that lie outside any base-LLM vocabulary. We present GR2 (Generative Reasoning Re-Ranker), an end-to-end framework that combines (i) mid-training on semantic IDs produced by a tokenizer with >=99% uniqueness, (ii) reasoning-trace distilled from a stronger teacher via targeted prompting and rejection sampling, and (iii) RL with verifiable rewards purpose-built for re-ranking. To make GR2 resource-viable, we further (iv) introduce a context compressor that amortizes training cost, On-Policy Distillation (OPD) as a scalable alternative to SFT -- which we find collapses at industrial scale -- and reasoning distillation for low-latency serving. GR2 delivers +18.7% R@1, +7.1% R@3, and +9.6% N@3 over legacy baselines on industrial-scale traffic. We further find that reward design is critical in re-ranking: LLMs often hack rewards by preserving the incoming order or exploiting position bias, motivating conditional verifiable rewards as essential industrial components.
No Analysis Report Yet
This paper hasn't been analyzed by Gemini yet.
Log in to request an AI analysis.