미세 조정된 LLM을 활용한 보완적 예측 모델이 광고 시스템 성능 향상에 미치는 영향

Fine-Tuned LLM as a Complementary Predictor Improving Ads System

추천 시스템은 피드, 광고 및 짧은 동영상 플랫폼에서 사용자 참여와 수익 창출에 중요한 역할을 하지만, 최신 대규모 언어 모델(LLM)의 발전 사항을 추천 시스템(RecSys)에 적용하는 것은 드물며, 특히 실제 산업 환경에서의 광고 분야에서는 더욱 그렇습니다. 기존의 LLM 성공 사례는 주로 다음과 같은 세 가지 범주로 나뉩니다: (a) 후보 항목 생성을 위한 다음 항목 직접 예측 모델인 생성적 검색, (b) LLM을 사용하는 후반 단계 재순위화, 그리고 (c) LLM을 활용한 보조 신호 강화입니다. 본 연구에서는 광고에 대한 새로운 접근 방식을 제안합니다. 즉, 순위를 매기는 역할이 아닌, 사용자의 프로필 및 기록을 기반으로 잠재적 광고주를 예측하는 광고 특화의 미세 조정된 오픈 소스 LLM을 사용하는 것입니다. 이 LLM 기반 광고주 예측은 기존 후보 생성 프로세스를 보완하고 후속 단계의 순위 결정에 유용한 정보를 제공합니다. 대규모 생산 환경의 광고 시스템에서 개발된 본 접근 방식은 상당한 오프라인 성능 향상과 측정 가능한 온라인 비즈니스 효과를 보여주며, LLM의 지식 및 예측 능력을 효율적으로 활용할 수 있음을 입증합니다. 본 연구는 광고 분야에서의 LLM 적용 가능성을 검증하는 것뿐만 아니라, 대상별 보조 예측이 검색 및 후반 단계 순위 결정 모두에서 전체적인 성능 향상을 가져올 수 있음을 보여줍니다. 이는 대규모 추천 시스템에 LLM을 효과적으로 통합하기 위한 실용적인 경로를 제시합니다.

Recommendation systems power engagement and monetization across feeds, ads, and short-video platforms, but translating the latest advances in Large Language Models into Recommendation Systems (RecSys) gains remains rare, particularly in advertising and production-scale real-world industry setups. Prior real-world LLM successes typically fall into three buckets: (a) generative retrieval that directly predicts the next items for candidate generation, (b) late-stage re-ranking that uses LLMs, and (c) auxiliary signal enrichment with LLMs. We introduce a complementary paradigm for ads: a fine-tuned open-source LLM used not as a ranker, but as an ads-specific ancillary predictor, forecasting likely advertisers from user profiles and histories. This LLM-driven advertiser prediction augments conventional candidate generation and provides informative priors to downstream ranking. Developed in a large-scale production advertising system, our approach produces substantial offline improvements and measurable online business impact, demonstrating that LLM world knowledge and predictive capacity can be efficiently harnessed. Beyond validating LLMs for ads applications, our results show that targeted ancillary predictions can unlock end-to-end gains across both retrieval and late-stage ranking, offering a practical path to LLM-enhanced recommendation at scale.