UI-KOBE: 지식 기반 행동 탐색 - 경량 그래프 기반 GUI 에이전트

UI-KOBE: Knowledge-Oriented Behavior Exploration for Lightweight Graph-Guided GUI Agents

최근 모바일 GUI 에이전트 기술은 모바일 작업 자동화에 큰 잠재력을 보여주고 있지만, 대부분의 효과적인 시스템은 여전히 스크린샷 이해 및 장기 계획을 위해 대규모 시각-언어 모델에 의존합니다. 모바일 기기에 직접 배포할 수 있는 경량 GUI 에이전트는 낮은 추론 비용과 민감한 온디바이스 정보 보호 측면에서 더 실용적이지만, 제한된 모델 용량으로 인해 이러한 경량 에이전트는 스크린샷만으로는 GUI 작업을 전체적으로 계획하고 실행하는 데 신뢰성이 떨어지는 경향이 있습니다. 본 연구에서는 재사용 가능한 앱별 그래프 지식을 활용하여 경량 모바일 GUI 에이전트의 성능을 향상시키는 프레임워크인 지식 기반 행동 탐색 (UI-KOBE)을 제안합니다. UI-KOBE는 먼저 모바일 애플리케이션을 자율적으로 탐색하고 앱 지식 그래프를 구축하는데, 여기서 노드는 고유한 UI 상태를 나타내고 에지는 실행 가능한 전환을 나타냅니다. 런타임 시, 경량 GUI 에이전트는 이 그래프를 외부 안내로 활용합니다. 사용자 작업과 현재 스크린샷이 주어지면, 에이전트는 현재 그래프 노드를 식별하고 해당 노드와 관련된 자체 루프 액션, 인접 전환, 작업 완료 또는 대체 액션 중에서 선택합니다. UI-KOBE는 앱별 그래프 지침을 통해 런타임 의사 결정을 지원함으로써 전체 GUI 계획의 부담을 줄이고 경량 모델이 모바일 GUI 작업을 보다 효과적으로 수행할 수 있도록 하며, 효율적이고 해석 가능하며 개인 정보 보호를 고려한 온디바이스 GUI 에이전트 개발에 한 걸음 더 다가갑니다.

Recent advances in mobile GUI agents have shown strong potential for automating mobile tasks, but most effective systems still depend on large vision-language models for screenshot understanding and long-horizon planning. Small GUI agents that can be deployed directly on mobile devices are more attractive for practical use, offering lower inference cost and better protection of sensitive on-device information. However, due to limited model capacity, such lightweight agents remain unreliable when planning and executing GUI tasks end-to-end from screenshots alone. We propose Knowledge-Oriented Behavior Exploration (\textbf{UI-KOBE}), a framework that improves lightweight mobile GUI agents with reusable app-specific graph knowledge. UI-KOBE first autonomously explores a mobile application and constructs an app knowledge graph, where nodes represent distinct UI states and edges represent executable transitions. At runtime, a lightweight GUI agent uses the graph as external guidance: given a user task and the current screenshot, it identifies the current graph node and selects among self-loop actions, neighboring transitions, task completion, or fallback free actions associated with that node. By supporting runtime decisions with app-specific graph guidance, UI-KOBE reduces the burden of end-to-end GUI planning and helps lightweight models perform mobile GUI tasks more effectively, offering a practical step toward efficient, interpretable, and privacy-conscious on-device GUI agents.