모바일 GUI 에이전트의 익명화 기반 개인 정보 보호 강화: 활용 가능하지만 보이지 않는 방식

Anonymization-Enhanced Privacy Protection for Mobile GUI Agents: Available but Invisible

모바일 그래픽 사용자 인터페이스(GUI) 에이전트는 다중 모드 대규모 언어 모델(MLLM)과 시스템 수준 제어 인터페이스를 활용하여 복잡한 스마트폰 작업을 자동화하는 강력한 기능을 제공합니다. 그러나 이러한 패러다임은 상당한 개인 정보 보호 위험을 초래합니다. 에이전트는 일반적으로 전체 화면 내용을 캡처하고 처리하므로 전화번호, 주소, 메시지 및 금융 정보와 같은 민감한 개인 데이터를 노출할 수 있습니다. 기존의 방어 메커니즘은 UI 노출을 줄이거나 작업과 관련 없는 콘텐츠만 숨기거나 사용자 승인에 의존하지만, 어떤 방법도 중요한 작업에 필요한 민감한 정보를 보호하면서 에이전트의 원활한 사용성을 유지할 수 없습니다. 저희는 민감한 데이터에 대한 '활용 가능하지만 보이지 않는' 접근 방식을 적용하는 익명화 기반 개인 정보 보호 프레임워크를 제안합니다. 민감한 정보는 작업 실행에 활용되지만, 클라우드 기반 에이전트에게는 직접적으로 노출되지 않습니다. 저희 시스템은 PII(개인 식별 정보) 인식 모델을 사용하여 민감한 UI 콘텐츠를 감지하고, 식별 정보를 제거하면서 의미 범주를 유지하는 결정적이고 유형을 보존하는 자리 표시자(예: PHONE_NUMBER#a1b2c)로 대체합니다. PII 감지기, UI 변환기, 보안 상호 작용 프록시 및 개인 정보 보호 게이트키퍼로 구성된 계층적 아키텍처는 사용자 지침, XML 계층 구조 및 스크린샷 전반에 걸쳐 일관된 익명화를 보장하고, 익명화된 인터페이스를 통해 모든 에이전트 작업을 중재하며, 원시 값을 사용하여 추론해야 하는 경우 제한적인 로컬 계산을 지원합니다. AndroidLab 및 PrivScreen 벤치마크에서 수행한 광범위한 실험 결과, 저희 프레임워크는 여러 모델에서 개인 정보 유출을 크게 줄이는 동시에 사용성 저하가 미미하며, 기존 방법 중에서 가장 우수한 개인 정보 보호-사용성 균형을 달성합니다. 코드: https://github.com/one-step-beh1nd/gui_privacy_protection

Mobile Graphical User Interface (GUI) agents have demonstrated strong capabilities in automating complex smartphone tasks by leveraging multimodal large language models (MLLMs) and system-level control interfaces. However, this paradigm introduces significant privacy risks, as agents typically capture and process entire screen contents, thereby exposing sensitive personal data such as phone numbers, addresses, messages, and financial information. Existing defenses either reduce UI exposure, obfuscate only task-irrelevant content, or rely on user authorization, but none can protect task-critical sensitive information while preserving seamless agent usability. We propose an anonymization-based privacy protection framework that enforces the principle of available-but-invisible access to sensitive data: sensitive information remains usable for task execution but is never directly visible to the cloud-based agent. Our system detects sensitive UI content using a PII-aware recognition model and replaces it with deterministic, type-preserving placeholders (e.g., PHONE_NUMBER#a1b2c) that retain semantic categories while removing identifying details. A layered architecture comprising a PII Detector, UI Transformer, Secure Interaction Proxy, and Privacy Gatekeeper ensures consistent anonymization across user instructions, XML hierarchies, and screenshots, mediates all agent actions over anonymized interfaces, and supports narrowly scoped local computations when reasoning over raw values is necessary. Extensive experiments on the AndroidLab and PrivScreen benchmarks show that our framework substantially reduces privacy leakage across multiple models while incurring only modest utility degradation, achieving the best observed privacy-utility trade-off among existing methods. Code available at: https://github.com/one-step-beh1nd/gui_privacy_protection