PersonalAlign: 장기 사용자 중심 기록을 활용한 개인화된 GUI 에이전트를 위한 계층적 암시적 의도 정렬

PersonalAlign: Hierarchical Implicit Intent Alignment for Personalized GUI Agent with Long-Term User-Centric Records

GUI 에이전트가 명시적이고 완결된 지시 사항에 대해서는 강력한 성능을 보여주었지만, 실제 환경에 배포하기 위해서는 사용자의 더 복잡하고 암시적인 의도에 부합해야 합니다. 본 연구에서는 '개인화된 GUI 에이전트를 위한 계층적 암시적 의도 정렬(PersonalAlign)'을 제안합니다. 이는 에이전트가 장기 사용자 기록을 지속적인 문맥으로 활용하여 모호한 지시 사항에서 생략된 선호도를 파악하고, 사용자 상태에 따른 잠재적 루틴을 예측하여 선제적인 지원을 제공해야 하는 새로운 에이전트 과제입니다. 이 연구를 촉진하기 위해, 장기 사용자 기록에 대한 추론을 통해 모호한 지시를 해결하고 선제적인 제안을 제공하는 에이전트의 능력을 평가하도록 설계된 벤치마크인 AndroidIntent를 소개합니다. 평가를 위해 다양한 사용자에 걸친 2만 건의 장기 기록에서 775건의 사용자별 선호도와 215건의 루틴에 주석을 달았습니다. 더 나아가, 지속적으로 업데이트되는 개인 기억을 유지하고 개인화를 위해 사용자 선호도와 루틴을 계층적으로 구성하는 계층적 의도 기억 에이전트(HIM-Agent)를 소개합니다. 마지막으로, GPT-5, Qwen3-VL, UI-TARS를 포함한 다양한 GUI 에이전트를 AndroidIntent에서 평가하였으며, 그 결과 HIM-Agent가 실행 및 선제적 성능을 각각 15.7%와 7.3%만큼 유의미하게 향상시킴을 확인했습니다.

While GUI agents have shown strong performance under explicit and completion instructions, real-world deployment requires aligning with users' more complex implicit intents. In this work, we highlight Hierarchical Implicit Intent Alignment for Personalized GUI Agent (PersonalAlign), a new agent task that requires agents to leverage long-term user records as persistent context to resolve omitted preferences in vague instructions and anticipate latent routines by user state for proactive assistance. To facilitate this study, we introduce AndroidIntent, a benchmark designed to evaluate agents' ability in resolving vague instructions and providing proactive suggestions through reasoning over long-term user records. We annotated 775 user-specific preferences and 215 routines from 20k long-term records across different users for evaluation. Furthermore, we introduce Hierarchical Intent Memory Agent (HIM-Agent), which maintains a continuously updating personal memory and hierarchically organizes user preferences and routines for personalization. Finally, we evaluate a range of GUI agents on AndroidIntent, including GPT-5, Qwen3-VL, and UI-TARS, further results show that HIM-Agent significantly improves both execution and proactive performance by 15.7% and 7.3%.