MAGNET: 메모리 기반 지식 진화를 통한 적응형 GUI 에이전트 개발

MAGNET: Towards Adaptive GUI Agents with Memory-Driven Knowledge Evolution

대규모 기반 모델로 구동되는 모바일 GUI 에이전트는 자율적인 작업 실행을 가능하게 하지만, UI의 빈번한 변경과 워크플로우 재구성은 과거 데이터로 훈련된 에이전트의 성능 저하를 초래합니다. 겉으로 보이는 변화에도 불구하고, 기능적 의미와 작업 의도는 근본적으로 안정적입니다. 이러한 점에 착안하여, 우리는 이중 수준의 메모리를 갖춘 메모리 기반 적응형 에이전트 프레임워크인 MAGNET을 소개합니다. MAGNET은 다양한 시각적 특징을 안정적인 기능적 의미와 연결하는 정적 메모리와, 변화하는 워크플로우에서도 안정적인 작업 의도를 포착하는 절차적 메모리를 사용합니다. 우리는 자주 사용되는 지식을 우선적으로 활용하여 두 메모리를 지속적으로 개선하는 동적 메모리 진화 메커니즘을 제안합니다. 온라인 AndroidWorld 벤치마크 평가 결과, MAGNET은 기존 모델보다 상당한 성능 향상을 보였으며, 오프라인 벤치마크는 데이터 분포 변화에서도 일관된 성능 향상을 확인했습니다. 이러한 결과는 인터페이스 변경에도 불구하고 안정적인 구조를 활용하면 에이전트의 성능과 일반화 능력이 향상되어 변화하는 소프트웨어 환경에서 더 나은 성능을 발휘한다는 것을 입증합니다.

Mobile GUI agents powered by large foundation models enable autonomous task execution, but frequent updates altering UI appearance and reorganizing workflows cause agents trained on historical data to fail. Despite surface changes, functional semantics and task intents remain fundamentally stable. Building on this insight, we introduce MAGNET, a memory-driven adaptive agent framework with dual-level memory: stationary memory linking diverse visual features to stable functional semantics for robust action grounding and procedural memory capturing stable task intents across varying workflows. We propose a dynamic memory evolution mechanism that continuously refines both memories by prioritizing frequently accessed knowledge. Online benchmark AndroidWorld evaluations show substantial improvements over baselines, while offline benchmarks confirm consistent gains under distribution shifts. These results validate that leveraging stable structures across interface changes improves agent performance and generalization in evolving software environments.