BEAP-Agent: GUI 에이전트를 위한 역추적 가능한 실행 및 적응형 계획

BEAP-Agent: Backtrackable Execution and Adaptive Planning for GUI Agents

GUI 에이전트는 반복적인 작업을 자동화하고 생산성을 높이기 위해 설계되었습니다. 그러나 기존 GUI 에이전트들은 한번 잘못된 탐색 경로로 들어서면 회복하는 데 어려움을 겪어 종종 작업 실패로 이어집니다. 본 연구에서는 GUI 작업 실행을 DFS(깊이 우선 탐색) 프로세스로 모델링하고, 동적 작업 추적 및 업데이트를 통해 장거리 및 다단계 상태 역추적을 지원하는 DFS 기반 프레임워크인 BEAP-Agent를 제안합니다. 이 프레임워크는 플래너(Planner), 실행기(Executor), 트래커(Tracker)라는 세 가지 협력 구성 요소로 이루어져 있으며, 이들은 함께 효과적인 작업 탐색과 실행을 가능하게 합니다. BEAP-Agent는 GUI 에이전트의 체계적인 역추적 메커니즘 부재를 해결하여, 장기 작업 탐색을 위한 체계적인 솔루션을 제공합니다. OSWorld 벤치마크에서 체계적인 평가를 수행한 결과, BEAP-Agent는 28.2%의 정확도를 달성하여 제안된 방법의 효과성을 입증했습니다.

GUI agents are designed to automate repetitive tasks and enhance productivity. However, existing GUI agents struggle to recover once they follow an incorrect exploration path, often leading to task failure. In this work, we model GUI task execution as a DFS process and propose BEAP-Agent, a DFS-based framework that supports long-range, multi-level state backtracking with dynamic task tracking and updating. The framework consists of three collaborative components: Planner, Executor, and Tracker. Together, they enable effective task exploration and execution. BEAP-Agent fills the gap in systematic backtracking mechanisms for GUI agents, offering a systematic solution for long-horizon task exploration. We conducted a systematic evaluation on the OSWorld benchmark, where BEAP-Agent achieved an accuracy of 28.2%, validating the effectiveness of the proposed method.