FocusMem: 잠재 GUI 메모리에서의 콘텐츠, 읽기 및 신뢰성 분해

FocusMem: Factorizing Content, Readout, and Trust in Latent GUI Memory

GUI 에이전트는 이전 작업에서 얻은 유용한 경험과 현재 상호작용의 미완료된 진행 상황을 모두 기억해야 합니다. 잠재 메모리는 다중 모드 트래젝토리를 몇 개의 연속적인 토큰으로 압축하여 효율적인 솔루션을 제공합니다. 그러나 기존 방법은 일반적으로 각 트래젝토리를 하나의 고정된 메모리 블록에 매핑하고 주로 다음 행동의 감독 신호를 통해 훈련합니다. 이는 세 가지 실질적인 문제를 야기합니다: 중요한 세부 정보가 압축 과정에서 손실될 수 있으며, 동일한 메모리 블록이 다양한 의사 결정 단계에 사용되어야 하고, 관련 없는 트래젝토리가 검색되어 에이전트를 오도할 수 있습니다. 본 논문에서는 이러한 책임을 잠재 메모리 인터페이스 내에서 분리하는 FocusMem을 소개합니다. 역할 기반 콘텐츠 베이스는 에피소드 메모리가 재사용 가능한 경험을 유지하고 작업 메모리가 작업 진행 상황을 유지하도록 장려합니다. 상태에 조건화된 읽기 기능은 동일한 저장된 증거를 의사 결정에 특화된 관점에서 제공하며, 가벼운 신뢰 게이트는 현재 단계와 관련이 없어 보이는 메모리 블록을 억제할 수 있습니다. 모든 구성 요소는 GUI 정책이 고정된 상태에서 함께 훈련됩니다. 다섯 가지 GUI 에이전트 벤치마크에서 FocusMem은 완벽하게 일치된 액션 기반의 고정 메모리 기준 및 기존 잠재 메모리 변형보다 꾸준히 뛰어난 성능을 보였습니다. 추가 분석 결과, 의미론적 및 기능적 감독 신호는 상호 보완적인 정보를 유지하며, 상태에 조건화된 읽기 기능은 주변 트래젝토리 컨텍스트가 증가함에 따라 더 강력하고, 신뢰 게이트는 주입된 관련 없는 에피소드 증거로 인한 피해를 줄이는 것으로 나타났습니다. 이러한 결과는 효과적인 잠재 메모리가 과거 상호작용을 압축하는 것뿐만 아니라 무엇을 유지할지, 무엇을 노출할지, 그리고 무엇을 허용할지에 따라 달라진다는 것을 보여줍니다.

GUI agents must remember both useful experience from earlier tasks and unfinished progress in the current interaction. Latent memory offers a compact solution by compressing multimodal trajectories into a few continuous tokens. Existing methods, however, usually map each trajectory to one fixed memory block and train it mainly through next-action supervision. This creates three practical problems: important details may be lost during compression, the same memory block must serve different decision stages, and irrelevant retrieved trajectories may still mislead the agent. We introduce FocusMem, which separates these responsibilities within a compact latent-memory interface. A role-aware content basis encourages episodic memory to retain reusable experience and working memory to retain task progress. A state-conditioned readout generates a decision-specific view of the same stored evidence, while a lightweight trust gate can suppress memory blocks that appear irrelevant to the current step. All components are trained while the GUI policy remains frozen. Across five GUI-agent benchmarks, FocusMem consistently outperforms a fully matched action-only fixed-memory baseline and prior latent memory adaptations. Further analysis shows that semantic and functional supervision preserve complementary information, state-conditioned readout is more robust as surrounding trajectory context grows, and the trust gate reduces the harm caused by injected irrelevant episodic evidence. These results show that effective latent memory depends not only on compressing past interaction, but also on what is retained, what is exposed, and what is allowed.