AgenticShop: 개인화된 웹 쇼핑을 위한 에이전트 기반 상품 큐레이션 벤치마킹

AgenticShop: Benchmarking Agentic Product Curation for Personalized Web Shopping

전자상거래의 확산으로 인해 웹 쇼핑 플랫폼은 방대한 디지털 시장을 탐색하는 고객들에게 핵심 관문이 되었다. 그러나 이러한 급격한 확장은 노이즈가 많고 파편화된 정보 환경을 초래하여, 쇼핑객들이 온라인에서 상품을 탐색하고 구매할 때 겪는 인지적 부담을 가중시켰다. 이러한 문제를 완화할 수 있는 유망한 잠재력을 지닌 에이전트 시스템은 웹 쇼핑에서 사용자 측 작업을 자동화하는 기술로 점점 더 많은 관심을 받고 있다. 상당한 발전에도 불구하고, 기존 벤치마크들은 개방형 웹 환경에서 에이전트 시스템이 상품을 얼마나 잘 큐레이션할 수 있는지를 종합적으로 평가하지 못하고 있다. 구체적으로, 기존 연구들은 탐색적 검색보다는 단순화된 단일 플랫폼 조회에만 초점을 맞추어 쇼핑 시나리오를 제한적으로만 다루고 있다. 더욱이 평가 과정에서 개인화 요소를 간과하고 있어, 에이전트가 현실적인 쇼핑 상황에서 다양한 사용자 선호도에 적응할 수 있는지 여부가 불분명하다. 이러한 한계를 극복하기 위해, 우리는 개방형 웹 환경에서 개인화된 상품 큐레이션에 대해 에이전트 시스템을 평가하는 최초의 벤치마크인 AgenticShop을 제안한다. 핵심적으로 우리의 접근 방식은 현실적인 쇼핑 시나리오, 다양한 사용자 프로필, 그리고 검증 가능한 체크리스트 기반의 개인화 평가 프레임워크를 특징으로 한다. 광범위한 실험을 통해 우리는 현재의 에이전트 시스템들이 여전히 크게 부족하다는 점을 입증하며, 현대 웹 전반에 걸쳐 맞춤형 상품을 효과적으로 큐레이션할 수 있는 사용자 측 시스템의 필요성을 강조한다.

The proliferation of e-commerce has made web shopping platforms key gateways for customers navigating the vast digital marketplace. Yet this rapid expansion has led to a noisy and fragmented information environment, increasing cognitive burden as shoppers explore and purchase products online. With promising potential to alleviate this challenge, agentic systems have garnered growing attention for automating user-side tasks in web shopping. Despite significant advancements, existing benchmarks fail to comprehensively evaluate how well agentic systems can curate products in open-web settings. Specifically, they have limited coverage of shopping scenarios, focusing only on simplified single-platform lookups rather than exploratory search. Moreover, they overlook personalization in evaluation, leaving unclear whether agents can adapt to diverse user preferences in realistic shopping contexts. To address this gap, we present AgenticShop, the first benchmark for evaluating agentic systems on personalized product curation in open-web environment. Crucially, our approach features realistic shopping scenarios, diverse user profiles, and a verifiable, checklist-driven personalization evaluation framework. Through extensive experiments, we demonstrate that current agentic systems remain largely insufficient, emphasizing the need for user-side systems that effectively curate tailored products across the modern web.