강화 학습 기반 GUI 에이전트: 디지털 거주자(Digital Inhabitants)를 향하여

GUI Agents with Reinforcement Learning: Toward Digital Inhabitants

그래픽 사용자 인터페이스(GUI) 에이전트는 시각적으로 그래픽 인터페이스를 인식하고 상호 작용하는 지능형 시스템에 대한 유망한 패러다임으로 등장했습니다. 그러나 지도 학습 기반의 미세 조정만으로는 장기적인 보상 할당, 데이터 분포 변화, 그리고 되돌릴 수 없는 환경에서의 안전한 탐색을 처리하기 어렵기 때문에, 강화 학습(RL)은 자동화를 발전시키는 핵심 방법론입니다. 본 연구에서는 RL과 GUI 에이전트의 융합에 대한 최초의 종합적인 개요를 제시하고, 이 연구 방향이 어떻게 디지털 거주자를 향해 발전할 수 있는지 살펴봅니다. 기존 방법들을 오프라인 RL, 온라인 RL, 그리고 하이브리드 전략으로 분류하는 체계적인 분류법을 제안하고, 보상 설계, 데이터 효율성, 그리고 주요 기술적 혁신에 대한 분석을 덧붙입니다. 우리의 분석 결과, 신뢰성과 확장성 사이의 긴장은 복합적이고 다 계층적인 보상 구조 채택을 유도하고 있으며, GUI 입출력 지연 문제는 월드 모델 기반의 학습으로의 전환을 가속화하여 상당한 성능 향상을 가져올 수 있습니다. 또한, 시스템 2와 유사한 숙고 능력이 자연스럽게 나타나는 것은 풍부한 보상 신호가 충분히 제공될 경우 명시적인 추론 지도만으로는 충분할 수 있음을 시사합니다. 이러한 연구 결과를 바탕으로, 프로세스 보상, 지속적인 RL, 인지 아키텍처, 그리고 안전한 배포를 다루는 로드맵을 제시하여, 견고한 GUI 자동화 및 에이전트 기반 인프라의 다음 세대를 이끌고자 합니다.

Graphical User Interface (GUI) agents have emerged as a promising paradigm for intelligent systems that perceive and interact with graphical interfaces visually. Yet supervised fine-tuning alone cannot handle long-horizon credit assignment, distribution shifts, and safe exploration in irreversible environments, making Reinforcement Learning (RL) a central methodology for advancing automation. In this work, we present the first comprehensive overview of the intersection between RL and GUI agents, and examine how this research direction may evolve toward digital inhabitants. We propose a principled taxonomy that organizes existing methods into Offline RL, Online RL, and Hybrid Strategies, and complement it with analyses of reward engineering, data efficiency, and key technical innovations. Our analysis reveals several emerging trends: the tension between reliability and scalability is motivating the adoption of composite, multi-tier reward architectures; GUI I/O latency bottlenecks are accelerating the shift toward world-model-based training, which can yield substantial performance gains; and the spontaneous emergence of System-2-style deliberation suggests that explicit reasoning supervision may not be necessary when sufficiently rich reward signals are available. We distill these findings into a roadmap covering process rewards, continual RL, cognitive architectures, and safe deployment, aiming to guide the next generation of robust GUI automation and its agent-native infrastructure.