WhisperRec: 효율적인 기반 추천 모델을 위한 잠재적 추론

WhisperRec: Latent Reasoning for Efficient Foundation Recommendation Models

대규모 언어 모델(LLM)은 강력한 추론 능력을 보여주었으며, 이는 기반 추천 모델(FRM)의 핵심 기술로 채택되는 데 동기를 부여했습니다. 기존 접근 방식은 일반적으로 Think-then-Answer 패러다임 하에서 명시적인 Chain-of-Thought (CoT)를 사용하여 추천을 향상시키는 경향이 있습니다. 그러나 긴 설명 생성은 상당한 추론 오버헤드를 발생시키며, 고정된 CoT 템플릿은 다양하고 동적이며 상황 의존적인 사용자 관심사를 모델링하는 데 어려움을 겪습니다. 본 논문에서는 효율적인 잠재적 추론 프레임워크인 WhisperRec을 제안합니다. WhisperRec은 교사 모델이 생성한 CoT를 학습 가능한 잠재적 추론 토큰으로 압축하여, 상세한 설명을 생성하지 않고 잠재 공간에서 추론을 수행하는 Latent-Reason-then-Answer 패러다임을 구현합니다. 이러한 설계는 의사 결정에 관련된 중요한 추론 정보를 유지하면서 자기 회귀 방식의 설명 생성이 야기하는 지연 문제를 해결합니다. 구체적으로, WhisperRec은 먼저 Multi-View Adaptive CoT (MV-ACoT)를 도입하여 사용자 관심사에 대한 보완적인 관점에서 다양한 고품질의 지도 데이터를 생성합니다. MV-ACoT는 또한 각 인스턴스에 따라 추론 복잡도를 조정하며, 간단한 경우엔 경량 분석을 적용하고 어려운 경우에는 대상 다중 요인 추론을 사용합니다. 사전 훈련된 FRM을 기반으로, WhisperRec은 세 단계의 잠재적 추론 정렬(Latent Reasoning Alignment) 절차를 사용하여 교사 CoT를 점진적으로 잠재 표현에 내재화합니다. 마지막으로, 커리큘럼 기반의 후속 학습을 통해 잠재 토큰 추론을 활성화하여 다운스트림 추천 성능을 향상시키면서 동시에 표준적인 추천 기능을 유지합니다. 산업 규모의 Kuaishou 데이터셋과 공개된 Kuaishou LLM-Rec 벤치마크에서의 실험 결과, WhisperRec은 명시적인 CoT 방법 및 기존 기본 모델보다 우수한 성능을 보였습니다. 특히, WhisperRec은 명시적 CoT (Think) 및 No-Think 변형에 비해 SID@64 지표를 각각 17.44% 및 9.33% 향상시켰으며, 온라인 추론 처리량은 10배 이상 높았습니다.

Large language models (LLMs) have demonstrated strong reasoning capabilities, motivating their adoption as backbones for foundation recommendation models (FRMs). Existing approaches typically enhance recommendation with explicit Chain-of-Thought (CoT) under the Think-then-Answer paradigm. However, generating lengthy rationales introduces substantial inference overhead, while fixed CoT templates struggle to model diverse, dynamic, and context-dependent user interests. We propose WhisperRec, an efficient latent reasoning framework for FRMs. WhisperRec compresses teacher-generated CoT into learnable latent reasoning tokens, enabling a Latent-Reason-then-Answer paradigm that performs reasoning in latent space without producing verbose rationales. This design retains decision-relevant reasoning information while avoiding the latency bottleneck of autoregressive rationale generation. Specifically, it first introduces Multi-View Adaptive CoT (MV-ACoT) to construct diverse, high-quality supervision from complementary perspectives on user interests. MV-ACoT also adapts reasoning complexity to each instance, applying lightweight analysis to clear cases and targeted multi-factor reasoning to challenging ones. Building on a pre-trained FRM, WhisperRec then employs a three-stage Latent Reasoning Alignment procedure to progressively internalize teacher CoT into latent representations. Finally, curriculum-based post-training activates latent-token reasoning for downstream recommendation while preserving standard recommendation capability. Experiments on an industrial-scale Kuaishou dataset and the public Kuaishou LLM-Rec benchmark show that WhisperRec consistently outperforms explicit-CoT methods and conventional baselines. Compared with explicit CoT Think and No-Think variants, WhisperRec improves SID@64 by 17.44% and 9.33%, respectively, and achieves over 10x higher online inference throughput.