자기 진화 추천 시스템: LLM 에이전트를 활용한 엔드 투 엔드 자율 모델 최적화

Self-Evolving Recommendation System: End-To-End Autonomous Model Optimization With LLM Agents

글로벌 비디오 플랫폼을 위한 추천 모델과 같은 대규모 머신러닝 시스템을 최적화하려면 방대한 하이퍼파라미터 탐색 공간을 탐색해야 하며, 더욱 중요하게는 미묘한 사용자 행동을 파악할 수 있는 정교한 최적화 알고리즘, 아키텍처 및 보상 함수를 설계해야 합니다. 이러한 영역에서 실질적인 개선을 달성하는 것은 쉬운 일이 아니며, 전통적으로는 새로운 가설을 테스트하기 위한 광범위한 수동 반복이 필요합니다. 본 논문에서는 Google의 Gemini 패밀리와 같은 대규모 언어 모델(LLM)을 활용하여 고성능의 복잡한 모델 변경 사항을 엔드 투 엔드 자동 워크플로우 내에서 자율적으로 생성, 훈련 및 배포하는 자기 진화 시스템을 제안합니다. 자기 진화 시스템은 프록시 메트릭을 사용하여 고처리량의 가설 생성을 수행하는 오프라인 에이전트(내부 루프)와, 실제 운영 환경에서 지연된 핵심 비즈니스 지표를 기반으로 후보를 검증하는 온라인 에이전트(외부 루프)로 구성됩니다. 당사의 에이전트는 전문 머신러닝 엔지니어(MLE) 역할을 수행하며, 심층적인 추론 능력을 통해 최적화 알고리즘 및 모델 아키텍처의 새로운 개선 사항을 발견하고, 장기적인 사용자 참여를 목표로 하는 혁신적인 보상 함수를 수립합니다. YouTube에서 성공적으로 출시된 여러 사례를 통해 본 접근 방식의 효과가 입증되었으며, 자율적인 LLM 기반 진화가 기존 엔지니어링 워크플로우보다 개발 속도와 모델 성능 모두에서 우수한 결과를 얻을 수 있음을 확인했습니다.

Optimizing large-scale machine learning systems, such as recommendation models for global video platforms, requires navigating a massive hyperparameter search space and, more critically, designing sophisticated optimizers, architectures, and reward functions to capture nuanced user behaviors. Achieving substantial improvements in these areas is a non-trivial task, traditionally relying on extensive manual iterations to test new hypotheses. We propose a self-evolving system that leverages Large Language Models (LLMs), specifically those from Google's Gemini family, to autonomously generate, train, and deploy high-performing, complex model changes within an end-to-end automated workflow. The self-evolving system is comprised of an Offline Agent (Inner Loop) that performs high-throughput hypothesis generation using proxy metrics, and an Online Agent (Outer Loop) that validates candidates against delayed north star business metrics in live production. Our agents act as specialized Machine Learning Engineers (MLEs): they exhibit deep reasoning capabilities, discovering novel improvements in optimization algorithms and model architecture, and formulating innovative reward functions that target long-term user engagement. The effectiveness of this approach is demonstrated through several successful production launches at YouTube, confirming that autonomous, LLM-driven evolution can surpass traditional engineering workflows in both development velocity and model performance.