TimeWarp: 과거를 재검토하여 웹 에이전트 평가하기

TimeWarp: Evaluating Web Agents by Revisiting the Past

현재 벤치마크에서 웹 에이전트의 성능 향상은 다음과 같은 질문을 제기합니다: 웹 환경이 변화했을 때 오늘날의 에이전트들은 동일한 성능을 유지할 수 있는가? 본 논문에서는 TimeWarp라는 벤치마크를 소개합니다. TimeWarp는 컨테이너 기반 환경을 사용하여 웹의 변화를 모방하며, UI, 디자인, 레이아웃이 다양한 환경을 제공합니다. TimeWarp는 세 가지 웹 환경으로 구성되며, 각 환경은 인터넷의 다양한 시대를 반영하는 여섯 가지 UI 버전으로 제공됩니다. 또한, 다양한 형태의 웹 탐색을 요구하는 복잡하고 현실적인 작업 세트가 함께 제공됩니다. 우리의 실험 결과는 웹 에이전트가 변화에 취약하며, 단일 버전의 데이터만을 사용하여 학습하는 행동 복제(BC) 방식의 한계를 보여줍니다. 이러한 문제를 해결하기 위해, 우리는 계획 추출(plan distillation)을 사용하여 여러 버전의 데이터에서 학습 트레이커리(trajectories)를 수집하는 간단하면서도 효과적인 알고리즘인 TimeTraj를 제안합니다. 우리의 BC 변형 방식을 사용하여 학습된 에이전트는 상당한 성능 향상을 보였습니다: Qwen-3 4B 모델은 20.4%에서 37.7%로, Llama-3.1 8B 모델은 0%에서 27.0%로 성능이 향상되었습니다. 본 연구가 웹 디자인 전반에 걸친 일반화 연구를 돕고, 트레이커리 대신 계획을 수집하는 새로운 패러다임을 제시하여 웹 에이전트의 안정성을 향상시키는 데 기여하기를 바랍니다.

The improvement of web agents on current benchmarks raises the question: Do today's agents perform just as well when the web changes? We introduce TimeWarp, a benchmark that emulates the evolving web using containerized environments that vary in UI, design, and layout. TimeWarp consists of three web environments, each with six UI versions spanning different eras of the internet, paired with a set of complex, realistic tasks requiring different forms of web navigation. Our experiments reveal web agents' vulnerability to changes and the limitations of behavior cloning (BC) on single-version trajectories. To address this, we propose TimeTraj, a simple yet effective algorithm that uses plan distillation to collect trajectories across multiple versions. By training agents on teacher rollouts using our BC-variant, we achieve substantial performance gains: $20.4\%\rightarrow37.7\%$ for Qwen-3 4B and $0\%\rightarrow27.0\%$ for Llama-3.1 8B models. We hope our work helps researchers study generalization across web designs and unlock a new paradigm for collecting plans rather than trajectories, thereby improving the robustness of web agents.