GRAB: LLM(대규모 언어 모델)에서 영감을 받은 시퀀스 우선 클릭률 예측 모델링 패러다임

GRAB: An LLM-Inspired Sequence-First Click-Through Rate Prediction Modeling Paradigm

기존의 딥러닝 추천 모델(DLRM)은 성능 및 효율성 측면에서 점점 더 큰 제약을 받고 있으며, 일반화 및 긴 시퀀스 모델링에 어려움을 겪는 경우가 많습니다. 대규모 언어 모델(LLM)의 성공적인 확장 사례에서 영감을 받아, 본 연구에서는 바이두에서 개발한 광고 클릭률(CTR) 예측을 위한 완전 통합 생성 프레임워크인 Generative Ranking for Ads at Baidu (GRAB)를 제안합니다. GRAB은 사용자의 행동 시퀀스 내의 시간적 동역학과 특정 행동 신호를 효과적으로 파악하기 위해, 새로운 인과적 행동(Causal Action)-인식 다중 채널 어텐션(CamA) 메커니즘을 통합합니다. 실제 온라인 환경에 GRAB을 적용한 결과, 기존의 DLRM보다 성능이 크게 향상되었으며, 수익이 3.05% 증가하고 CTR이 3.49% 상승했습니다. 또한, 본 모델은 바람직한 확장성을 보여주며, 더 긴 상호 작용 시퀀스를 사용할수록 표현력이 단조롭고 거의 선형적으로 향상됩니다.

Traditional Deep Learning Recommendation Models (DLRMs) face increasing bottlenecks in performance and efficiency, often struggling with generalization and long-sequence modeling. Inspired by the scaling success of Large Language Models (LLMs), we propose Generative Ranking for Ads at Baidu (GRAB), an end-to-end generative framework for Click-Through Rate (CTR) prediction. GRAB integrates a novel Causal Action-aware Multi-channel Attention (CamA) mechanism to effectively capture temporal dynamics and specific action signals within user behavior sequences. Full-scale online deployment demonstrates that GRAB significantly outperforms established DLRMs, delivering a 3.05% increase in revenue and a 3.49% rise in CTR. Furthermore, the model demonstrates desirable scaling behavior: its expressive power shows a monotonic and approximately linear improvement as longer interaction sequences are utilized.