에이전트가 방향을 제시하다: 영향력 교환을 통한 폐루프 순위 최적화

Let the Agent Steer: Closed-Loop Ranking Optimization via Influence Exchange

추천 순위 결정은 근본적으로 영향력 할당 문제이며, 순위 결정 공식은 경쟁적인 요소들 간의 순위 영향력을 분배하고, 비즈니스 결과는 이러한 요소들 간의 최적의 '교환 비율'을 찾는 데 달려 있습니다. 그러나 오프라인 프록시 지표는 영향력 재분배가 온라인에 미치는 영향에 대해 체계적으로 잘못 판단하며, 단일 보정 인자로는 수정할 수 없는 비대칭적인 편향을 보입니다. 저희는 Sortify를 제안합니다. Sortify는 대규모 생산 추천 시스템에 배포된 최초의 완전 자율 LLM 기반 순위 최적화 에이전트입니다. 이 에이전트는 순위 최적화를 지속적인 영향력 교환으로 재구성하여, 인간의 개입 없이 진단부터 파라미터 배포까지 전체 루프를 닫습니다. Sortify는 세 가지 메커니즘을 통해 구조적인 문제를 해결합니다. (1) Savage의 주관적 기대 효용(SEU)에 기반한 이중 채널 프레임워크는 오프라인-온라인 전환 오류 수정(Belief 채널)과 제약 조건 페널티 조정(Preference 채널)을 분리합니다. (2) LLM 메타 컨트롤러는 저수준 검색 변수가 아닌 프레임워크 수준의 파라미터에 작동합니다. (3) 7개의 관계형 테이블을 가진 지속적인 메모리 DB를 사용하여 라운드 간 학습을 수행합니다. 핵심 지표인 '영향력 점유율(Influence Share)'은 모든 요소의 기여도가 정확히 100%를 더하는 분해 가능한 측정값을 제공합니다. Sortify는 두 시장에 배포되었습니다. A 국가에서는 에이전트가 7번의 반복을 통해 GMV를 -3.6%에서 +9.2%로 끌어올렸으며, 최고 주문량은 +12.5%에 도달했습니다. B 국가에서는 콜드 스타트 배포를 통해 7일간의 A/B 테스트에서 GMV/UU가 +4.15% 증가하고 광고 수익이 +3.58% 증가하여, 전체 생산 배포로 이어졌습니다.

Recommendation ranking is fundamentally an influence allocation problem: a sorting formula distributes ranking influence among competing factors, and the business outcome depends on finding the optimal "exchange rates" among them. However, offline proxy metrics systematically misjudge how influence reallocation translates to online impact, with asymmetric bias across metrics that a single calibration factor cannot correct. We present Sortify, the first fully autonomous LLM-driven ranking optimization agent deployed in a large-scale production recommendation system. The agent reframes ranking optimization as continuous influence exchange, closing the full loop from diagnosis to parameter deployment without human intervention. It addresses structural problems through three mechanisms: (1) a dual-channel framework grounded in Savage's Subjective Expected Utility (SEU) that decouples offline-online transfer correction (Belief channel) from constraint penalty adjustment (Preference channel); (2) an LLM meta-controller operating on framework-level parameters rather than low-level search variables; (3) a persistent Memory DB with 7 relational tables for cross-round learning. Its core metric, Influence Share, provides a decomposable measure where all factor contributions sum to exactly 100%. Sortify has been deployed across two markets. In Country A, the agent pushed GMV from -3.6% to +9.2% within 7 rounds with peak orders reaching +12.5%. In Country B, a cold-start deployment achieved +4.15% GMV/UU and +3.58% Ads Revenue in a 7-day A/B test, leading to full production rollout.