개념 인지 개인 정보 보호 메커니즘: 임베딩 역전 공격 방어

Concept-Aware Privacy Mechanisms for Defending Embedding Inversion Attacks

텍스트 임베딩은 다양한 자연어 처리(NLP) 애플리케이션을 가능하게 하지만, 임베딩 역전 공격으로 인해 심각한 개인 정보 보호 위험에 직면합니다. 이러한 공격은 민감한 속성을 노출하거나 원본 텍스트를 재구성할 수 있습니다. 기존의 차등 프라이버시(Differential Privacy) 방어 기법은 임베딩 차원에 걸쳐 균일한 민감도를 가정하여 과도한 노이즈를 발생시키고 유용성을 저하시킵니다. 본 논문에서는 텍스트 임베딩에서의 사용자 중심 개념별 개인 정보 보호를 위한 프레임워크인 SPARSE를 제안합니다. SPARSE는 (1) 사용자가 정의한 개념에 대한 개인 정보에 민감한 차원을 식별하기 위한 미분 가능한 마스크 학습과 (2) 차원 민감도에 맞춰 조정된 타원형 노이즈를 적용하는 Mahalanobis 메커니즘을 결합합니다. 기존의 구형 노이즈 주입 방식과 달리, SPARSE는 개인 정보에 민감한 차원을 선택적으로 변경하면서 비민감한 의미를 보존합니다. 세 개의 임베딩 모델과 공격 시나리오를 사용하여 여섯 개의 데이터 세트에서 실험한 결과, SPARSE는 최첨단 DP 방법과 비교하여 개인 정보 유출을 지속적으로 줄이면서 우수한 성능을 달성했습니다.

Text embeddings enable numerous NLP applications but face severe privacy risks from embedding inversion attacks, which can expose sensitive attributes or reconstruct raw text. Existing differential privacy defenses assume uniform sensitivity across embedding dimensions, leading to excessive noise and degraded utility. We propose SPARSE, a user-centric framework for concept-specific privacy protection in text embeddings. SPARSE combines (1) differentiable mask learning to identify privacy-sensitive dimensions for user-defined concepts, and (2) the Mahalanobis mechanism that applies elliptical noise calibrated by dimension sensitivity. Unlike traditional spherical noise injection, SPARSE selectively perturbs privacy-sensitive dimensions while preserving non-sensitive semantics. Evaluated across six datasets with three embedding models and attack scenarios, SPARSE consistently reduces privacy leakage while achieving superior downstream performance compared to state-of-the-art DP methods.