SR-Agent: 경험 기반 에이전트 프레임워크를 활용한 전자상거래 추천 시스템의 후순위 전략 개선

SR-Agent: An Experience-Driven Agentic Framework for Post-Ranking Strategies Refinement in E-Commerce Recommendation

산업용 전자상거래 추천 시스템에서 사용자 경험은 매우 중요한 목표입니다. 순위를 매긴 목록에 대한 다양성, 유사성 및 노출을 관리하는 후순위 전략은 간단하고 운영 비용이 저렴하여 널리 사용됩니다. 그러나 온라인 추천 환경이 끊임없이 변화함에 따라 이러한 정적으로 구성된 전략은 시간이 지남에 따라 효과가 떨어져 사용자 경험을 저하시킵니다. 일반적으로 이러한 전략 개선은 수동 검사, 진단 및 업데이트를 통해 이루어지는데, 이 과정은 느리고 비용이 많이 들며 재사용하기 어렵습니다. 최근의 LLM 기반 에이전트(예: RecUserSim, SimUSER, Self-EvolveRec)는 유망한 방향을 제시하지만, 자동화되고 자체적으로 진화하는 전략 개선 프로세스를 완전히 구현한 것은 없습니다. 이러한 격차를 해소하기 위해, 우리는 SR-Agent라는 전략 개선 에이전트 프레임워크를 제안합니다. SR-Agent는 산업용 추천 시스템에서 후순위 전략을 개선하는 데 처음으로 사용된 프레임워크입니다. SR-Agent는 세 가지 주요 구성 요소를 통합합니다. (i) 사용자 경험 저하 사례를 식별하기 위한 'UserSim' 에이전트, (ii) 반복되는 저하 사례를 구조화되고 재사용 가능한 진단 정보로 통합하는 'Analysis' 에이전트, 그리고 (iii) 진단 정보를 유형화되고 제한된 방식으로 적용하며, 4단계 보상 시스템과 되돌릴 수 있는 기능을 갖춘 'Strategy Refinement Harness'입니다. SR-Agent는 Kuaishou 전자상거래 플랫폼에 배포되어 지속적으로 개선 프로세스를 실행하며, 한 달 동안의 온라인 A/B 테스트에서 주문량 0.71%, 탐색 깊이 0.34%, 클릭한 카테고리 다양성 0.48%를 증가시켰습니다. 또한, 개선 주기를 단축하고 운영 비용을 절감했습니다.

User experience is a first-class objective in industrial e-commerce recommender systems (RS). Post-ranking strategies, which govern diversity, similarity, and exposure over a ranked list, are widely deployed in industrial RS for their simplicity and low serving cost. However, as the online recommendation environment evolves continuously, these statically configured strategies gradually become stale, degrading the user experience. Refining them typically relies on manual inspection, diagnosis, and updates, a process that is slow, costly, and hard to reuse. Although recent LLM-based agents (e.g., RecUserSim, SimUSER, and Self-EvolveRec) offer promising directions, none of them close the full loop of automated, self-evolving strategy refinement. To bridge this gap, we introduce SR-Agent, a Strategy Refinement agentic framework that, to the best of our knowledge, is the first deployed for refining post-ranking strategies in industrial RS. SR-Agent unifies three components: (i) a UserSim agent that applies staged inspection skills to surface user-perceived bad cases; (ii) an Analysis agent that consolidates recurring bad cases into structured, reusable diagnoses; and (iii) a constrained Strategy Refinement Harness that maps diagnoses to typed and bounded actions, gated by a four-stage reward pipeline with reversible rollback. Deployed on the Kuaishou e-commerce platform, SR-Agent continuously runs this refinement loop and, in a one-month online A/B test, increases order volume by 0.71%, browsing depth by 0.34%, and clicked-category diversity by 0.48%, while markedly shortening the refinement cycle and lowering operational cost.