ShopSimulator: 쇼핑 어시스턴트를 위한 강화학습 기반 LLM 에이전트 평가 및 탐구

ShopSimulator: Evaluating and Exploring RL-Driven LLM Agent for Shopping Assistants

거대 언어 모델(LLM) 기반 에이전트가 이커머스 쇼핑 분야에 점차 도입되고 있습니다. 철저한 사용자 맞춤형 상품 검색을 수행하기 위해, 에이전트는 개인의 선호도를 해석하고, 멀티 턴 대화에 참여하며, 궁극적으로 매우 유사한 상품들 사이에서 적절한 상품을 검색하고 구별해 내야 합니다. 그러나 기존 연구는 이 모든 측면을 일관되게 포착하는 통합 시뮬레이션 환경을 아직 제공하지 못하고 있으며, 학습 지원 없이 오직 평가 벤치마크에만 집중하고 있습니다. 본 논문에서는 대규모의 도전적인 중국어 쇼핑 환경인 ShopSimulator를 소개합니다. ShopSimulator를 활용하여 다양한 시나리오에서 LLM을 평가한 결과, 최고 성능을 보이는 모델조차 40% 미만의 완전 성공률을 기록했습니다. 오류 분석 결과, 에이전트들은 긴 궤적 내에서의 심층 검색 및 상품 선택에 어려움을 겪고, 개인화 단서 활용의 균형을 맞추지 못하며, 사용자와 효과적으로 상호작용하는 데 실패하는 것으로 나타났습니다. 추가적인 학습 탐구는 이러한 약점을 극복하기 위한 실질적인 지침을 제공하며, 지도 미세 조정(SFT)과 강화학습(RL)의 결합이 상당한 성능 향상을 이끌어 냄을 확인했습니다. 코드와 데이터는 https://github.com/ShopAgent-Team/ShopSimulator 에서 공개될 예정입니다.

Large language model (LLM)-based agents are increasingly deployed in e-commerce shopping. To perform thorough, user-tailored product searches, agents should interpret personal preferences, engage in multi-turn dialogues, and ultimately retrieve and discriminate among highly similar products. However, existing research has yet to provide a unified simulation environment that consistently captures all of these aspects, and always focuses solely on evaluation benchmarks without training support. In this paper, we introduce ShopSimulator, a large-scale and challenging Chinese shopping environment. Leveraging ShopSimulator, we evaluate LLMs across diverse scenarios, finding that even the best-performing models achieve less than 40% full-success rate. Error analysis reveals that agents struggle with deep search and product selection in long trajectories, fail to balance the use of personalization cues, and to effectively engage with users. Further training exploration provides practical guidance for overcoming these weaknesses, with the combination of supervised fine-tuning (SFT) and reinforcement learning (RL) yielding significant performance improvements. Code and data will be released at https://github.com/ShopAgent-Team/ShopSimulator.