섀도우 언러닝: LLM에서 데이터 프라이버시를 보존하는 '얼굴 없는 망각'을 위한 신경-의미론적 접근 방식

Shadow Unlearning: A Neuro-Semantic Approach to Fidelity-Preserving Faceless Forgetting in LLMs

머신 언러닝은 특정 학습 데이터의 영향을 선택적으로 제거하여 GDPR의 '잊힐 권리'와 같은 개인정보보호 규정을 준수하는 것을 목표로 합니다. 그러나 많은 기존 방법은 제거 대상 데이터에 대한 접근이 필요하며, 이는 멤버십 추론 공격 및 개인 식별 정보(PII)의 잠재적 오용으로 이어질 수 있습니다. 본 연구에서는 섀도우 언러닝(Shadow Unlearning)이라는 새로운 패러다임을 제안하여 이 중요한 문제를 해결합니다. 섀도우 언러닝은 PII를 노출하지 않고 익명화된 망각 데이터를 사용하여 머신 언러닝을 수행하는 근사적 언러닝 방식입니다. 또한, 섀도우 언러닝을 구현하기 위한 새로운 개인정보보호 프레임워크인 신경-의미론적 투영 언러닝(Neuro-Semantic Projector Unlearning, NSPU)을 제안합니다. 제안하는 방법을 평가하기 위해, 다섯 가지 다양한 도메인을 포괄하는 다중 도메인 가상 언러닝(Multi-domain Fictitious Unlearning, MuFU) 데이터셋을 구축하고, 지식 유지와 언러닝 효과 간의 균형을 정량적으로 평가할 수 있는 평가 시스템을 도입했습니다. 다양한 LLM에 대한 실험 결과, NSPU는 우수한 언러닝 성능을 달성하고, 모델의 유용성을 유지하며, 사용자 프라이버시를 향상시키는 것으로 나타났습니다. 또한, 제안하는 접근 방식은 기존의 표준 언러닝 방식보다 최소 10배 더 높은 계산 효율성을 제공합니다. 본 연구의 결과는 데이터 보호와 모델 충실도를 균형 있게 유지하는 개인정보 보호 머신 언러닝 분야에 새로운 방향을 제시합니다.

Machine unlearning aims to selectively remove the influence of specific training samples to satisfy privacy regulations such as the GDPR's 'Right to be Forgotten'. However, many existing methods require access to the data being removed, exposing it to membership inference attacks and potential misuse of Personally Identifiable Information (PII). We address this critical challenge by proposing Shadow Unlearning, a novel paradigm of approximate unlearning, that performs machine unlearning on anonymized forget data without exposing PII. We further propose a novel privacy-preserving framework, Neuro-Semantic Projector Unlearning (NSPU) to achieve Shadow unlearning. To evaluate our method, we compile Multi-domain Fictitious Unlearning (MuFU) forget set across five diverse domains and introduce an evaluation stack to quantify the trade-off between knowledge retention and unlearning effectiveness. Experimental results on various LLMs show that NSPU achieves superior unlearning performance, preserves model utility, and enhances user privacy. Additionally, the proposed approach is at least 10 times more computationally efficient than standard unlearning approaches. Our findings foster a new direction for privacy-aware machine unlearning that balances data protection and model fidelity.