Plover: 계획 중심의 상호 작용을 통한 GUI 에이전트 제어

Plover: Steering GUI Agents through Plan-Centric Interaction

그래픽 사용자 인터페이스(GUI) 자동화는 실제 환경에서 여전히 어려운 과제입니다. 동적인 레이아웃, 예상치 못한 대화창, 그리고 변화하는 인터페이스 상태로 인해 자율 에이전트가 사용자의 의도와 어긋날 수 있습니다. 최근의 비전 기반 멀티모달 에이전트는 스크린샷과 자연어 지침을 직접 활용하여 유연성을 향상시키지만, 계획 및 적응은 종종 내부적으로 이루어져 사용자에게 시스템 동작을 검토, 감독 또는 수정할 수 있는 능력을 제한합니다. 본 논문에서는 작업 계획과 재계획 과정을 지속적이고 검토 가능하며 수정 가능한 형태로 외부화하는 비전 기반 GUI 자동화 시스템인 Plover를 소개합니다. Plover는 플래너-실행자 아키텍처를 통해 실행 과정에 대한 명시적인 감독, 편집 가능한 계획을 통한 부분적인 수정, 자연어 지침, 그리고 스크린샷 기반의 개입을 지원하며, 오류 수정 중에도 이전 진행 상황을 유지합니다. 6명의 참가자를 대상으로 한 초기 연구를 통해 상호 작용 디자인이 이루어졌습니다. 이후 Plover는 표준화된 실패 사례 복구 및 시나리오 기반 워크플로우 분석을 통해 평가되었습니다. 실험 결과, 많은 자율 GUI 에이전트의 오류가 계획이 가시 상태로 유지되고 개입이 부분적으로 이루어질 때 구조적으로 수정 가능하며, 명시적인 재계획은 GUI 자동화를 더욱 투명하고 제어 가능하게 만들며 적응력을 향상시키는 데 도움이 된다는 것을 보여줍니다.

Graphical user interface (GUI) automation remains challenging in real-world environments, where dynamic layouts, unexpected dialogs, and evolving interface states can cause autonomous agents to drift from user intent. Recent vision-based multimodal agents improve flexibility by operating directly over screenshots and natural language instructions, but planning and adaptation often remain internal, limiting users' ability to inspect, supervise, or correct system behavior. We present Plover, a plan-centric vision-based GUI automation system that externalizes task plans and replanning as persistent, inspectable, and revisable artifacts. Through a planner--executor architecture, Plover supports explicit supervision of evolving execution, localized correction through editable plans, natural-language guidance, and screenshot-grounded interventions, while preserving prior progress during repair. A formative study with six participants informed the interaction design. We then evaluate Plover through benchmark failure-case repair and scenario-based workflow analyses. Our results show that many autonomous GUI-agent failures are structurally repairable when plans remain visible and interventions are localized, and that explicit replanning helps make GUI automation more transparent, controllable, and adaptable.