다윈 메모리: GUI 에이전트 진화를 위한 훈련이 필요 없는 자가 조절 메모리 시스템

Darwinian Memory: A Training-Free Self-Regulating Memory System for GUI Agent Evolution

멀티모달 대규모 언어 모델(MLLM) 에이전트는 그래픽 사용자 인터페이스(GUI) 자동화를 촉진하지만, 제한된 컨텍스트 윈도우로 인해 긴 호흡의 교차 애플리케이션 작업을 수행하는 데 어려움을 겪습니다. 메모리 시스템이 실행 가능한 해결책을 제공하지만, 기존 패러다임은 역동적인 GUI 환경에 적응하는 데 어려움이 있으며, 고수준 의도와 저수준 실행 간의 입도 불일치 문제와 오래된 경험의 정적 축적으로 인해 에이전트가 환각에 빠지는 컨텍스트 오염 문제를 겪고 있습니다. 이러한 병목 현상을 해결하기 위해, 우리는 메모리를 적자생존의 법칙이 지배하는 동적 생태계로 구축하는 자가 진화 아키텍처인 다윈 메모리 시스템(DMS)을 제안합니다. DMS는 구성적 유연성을 위해 복잡한 궤적을 독립적이고 재사용 가능한 단위로 분해하고, 생존 가치를 추적하기 위해 효용 기반 자연 선택을 구현하여 최적화되지 않은 경로를 능동적으로 제거하고 고위험 계획을 억제합니다. 이러한 진화적 압력은 에이전트가 더 우수한 전략을 도출하도록 유도합니다. 실제 다중 앱 벤치마크에 대한 광범위한 실험을 통해, DMS가 훈련 비용이나 아키텍처 오버헤드 없이 범용 MLLM의 성능을 향상시켜 성공률에서 평균 18.0%, 실행 안정성에서 33.9%의 이득을 달성하는 동시에 작업 지연 시간을 줄임으로써, GUI 작업을 위한 효과적인 자가 진화 메모리 시스템임을 입증했습니다.

Multimodal Large Language Model (MLLM) agents facilitate Graphical User Interface (GUI) automation but struggle with long-horizon, cross-application tasks due to limited context windows. While memory systems provide a viable solution, existing paradigms struggle to adapt to dynamic GUI environments, suffering from a granularity mismatch between high-level intent and low-level execution, and context pollution where the static accumulation of outdated experiences drives agents into hallucination. To address these bottlenecks, we propose the Darwinian Memory System (DMS), a self-evolving architecture that constructs memory as a dynamic ecosystem governed by the law of survival of the fittest. DMS decomposes complex trajectories into independent, reusable units for compositional flexibility, and implements Utility-driven Natural Selection to track survival value, actively pruning suboptimal paths and inhibiting high-risk plans. This evolutionary pressure compels the agent to derive superior strategies. Extensive experiments on real-world multi-app benchmarks validate that DMS boosts general-purpose MLLMs without training costs or architectural overhead, achieving average gains of 18.0% in success rate and 33.9% in execution stability, while reducing task latency, establishing it as an effective self-evolving memory system for GUI tasks.