트래젝토리 기반 선호도 최적화를 통한 모바일 GUI 에이전트의 개인 정보 맞춤 설정

Mobile GUI Agent Privacy Personalization with Trajectory Induced Preference Optimization

멀티모달 대규모 언어 모델(MLLM) 기반의 모바일 GUI 에이전트는 모바일 장치에서 복잡한 작업을 수행할 수 있습니다. 하지만 현재 대부분의 시스템은 작업 성공 또는 효율성을 최적화하는 데 집중하며, 사용자의 개인 정보 맞춤 설정을 간과하고 있습니다. 본 논문에서는 종종 간과되는 에이전트 개인화 문제를 연구합니다. 우리는 개인화가 실행 트래젝토리에서 체계적인 구조적 이질성을 유발할 수 있다는 것을 확인했습니다. 예를 들어, 개인 정보 보호를 우선시하는 사용자는 권한 거부, 로그아웃, 노출 최소화와 같은 보호 조치를 선호하는 경향이 있으며, 이는 유용성 우선 사용자와는 논리적으로 다른 실행 트래젝토리를 생성합니다. 이러한 가변 길이 및 구조적으로 다른 트래젝토리는 표준 선호도 최적화를 불안정하게 만들고, 정보 제공 능력을 저하시킵니다. 이러한 문제를 해결하기 위해, 우리는 트래젝토리 기반 선호도 최적화(TIPO)를 제안합니다. TIPO는 선호도 강도 가중치를 사용하여 중요한 개인 정보 관련 단계를 강조하고, 패딩 게이팅을 사용하여 정렬 노이즈를 억제합니다. 우리의 개인 정보 선호도 데이터셋에 대한 실험 결과는 TIPO가 강력한 작업 실행 가능성을 유지하면서도 개인화된 에이전트의 일관성과 구분을 향상시킴을 보여줍니다. TIPO는 기존 최적화 방법보다 우수한 성능을 보이며, 65.60%의 성공률(SR), 46.22%의 규정 준수(Compliance), 및 66.67%의 개인 정보 보호(PD)를 달성했습니다. 코드와 데이터셋은 https://github.com/Zhixin-L/TIPO 에서 공개될 예정입니다.

Mobile GUI agents powered by Multimodal Large Language Models (MLLMs) can execute complex tasks on mobile devices. Despite this progress, most existing systems still optimize task success or efficiency, neglecting users' privacy personalization. In this paper, we study the often-overlooked problem of agent personalization. We observe that personalization can induce systematic structural heterogeneity in execution trajectories. For example, privacy-first users often prefer protective actions, e.g., refusing permissions, logging out, and minimizing exposure, leading to logically different execution trajectories from utility-first users. Such variable-length and structurally different trajectories make standard preference optimization unstable and less informative. To address this issue, we propose Trajectory Induced Preference Optimization (TIPO), which uses preference-intensity weighting to emphasize key privacy-related steps and padding gating to suppress alignment noise. Results on our Privacy Preference Dataset show that TIPO improves persona alignment and distinction while preserving strong task executability, achieving 65.60% SR, 46.22 Compliance, and 66.67% PD, outperforming existing optimization methods across various GUI tasks. The code and dataset will be publicly released at https://github.com/Zhixin-L/TIPO.