RecHarness: 밴딧 기반 경로 탐색 에이전트 하니스를 이용한 자체 진화 추천 시스템

RecHarness: A Bandit-Routed Agentic Harness for Self-Evolving Recommender Systems

현대적인 추천 모델의 최적화는 여전히 아키텍처, 목표 함수 및 학습 전략 변경에 대한 엔지니어의 수동적인 반복 작업에 크게 의존합니다. LLM 기반 에이전트는 이러한 시행착오 과정을 자동화할 수 있지만, LLM이 수정 방향을 선택하고 구체적인 가설을 생성하도록 하는 방식은 제한된 실험 예산 하에서 불안정한 탐색 결과를 초래하는 경우가 많습니다. 위와 같은 문제에 착안하여, 우리는 자동 추천 모델 최적화를 위한 밴딧 기반 경로 탐색 에이전트 하니스인 RecHarness를 제안합니다. RecHarness는 최적화 과정을 두 단계로 분리합니다. 밴딧 라우터는 과거 검증 피드백을 바탕으로 다음 수정 방향을 선택하고, LLM은 선택된 방향 내에서 구체적인 최적화 가설과 실행 가능한 코드 변경 사항을 생성합니다. 장기적인 탐색을 유지하기 위해, RecHarness는 로컬 수정이 정체될 때 구조적 변화를 유도하는 점프-베이신 메커니즘을 사용합니다. 여러 추천 작업, 데이터 세트 및 모델 백본에 걸쳐, RecHarness는 LLM 기반 추론 검색보다 더 안정적인 성능 향상을 달성하며 제한된 실험 예산을 보다 효율적으로 활용합니다. 대규모 단편 동영상 광고 플랫폼에서 7일 동안 진행된 온라인 A/B 테스트 결과, 선택된 후보 모델은 ADVV를 2.084%, 수익을 0.534%, 노출을 0.559% 향상시켰습니다. 관련 코드는 https://github.com/6lyc/RecHarness에서 확인할 수 있습니다.

Optimizing modern recommender models still depends heavily on engineers manually iterating over architectural, objective, and training-strategy changes. While LLM-based agents can automate this trial-and-error process, allowing the LLM to both select modification directions and generate concrete hypotheses often leads to unstable search under limited experiment budgets. Inspired by the above challenge, we propose RecHarness, a Bandit-Routed Agentic Harness for automated recommender model optimization. RecHarness separates the optimization process into two steps: a bandit router selects the next modification direction according to historical validation feedback, while the LLM generates a concrete optimization hypothesis and executable code edit within the selected direction. To sustain long-horizon exploration, RecHarness uses a jump-basin mechanism to activate a structural-jump arm when local edits stagnate. Across multiple recommendation tasks, datasets, and model backbones, RecHarness achieves more stable performance improvements and uses limited trial budgets more effectively than LLM-reasoning search. During a 7-day online A/B test on a large-scale short-video advertising platform, the selected candidate improves ADVV by 2.084%, Revenue by 0.534%, and Exposure by 0.559%. Code is available at https://github.com/6lyc/RecHarness.