DECAF: 적응적 표현 학습을 위한 클러스터 제거

DECAF: De-Clustering for Adaptive Representational Unlearning

머신 러닝 모델에서 특정 학습 데이터의 영향을 제거하는 머신 언러닝은 개인 정보 보호, 책임성 및 적응형 배포를 위해 필수적인 기술입니다. 본 논문에서는 많은 언러닝 방법들이 간단한 클러스터링 공격에 취약하며, 이 공격을 통해 비지도 방식으로 클래스 구조를 복원할 수 있어, 필요에 따라 안정적으로 제거 요청을 처리해야 하는 지속적인 배포 환경에서 활용하기 어렵다는 점을 지적합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 'DECAF (DE-Clustering for Adaptive Forgetting)'라는 후처리 방법을 제안합니다. DECAF는 삭제 대상 데이터 세트(forget set)에만 작용하며, 클러스터 구조를 파괴하도록 설계되었습니다. DECAF는 입력 노이즈 추가, 신뢰도 억제 및 엔트로피 기반 출력 다양화 기법을 결합하여, 삭제된 데이터와 관련된 잔여 특징 공간 구조를 파괴합니다. CIFAR-10 데이터셋에 ResNet-18 모델을 적용한 실험에서, DECAF는 0.10%의 삭제 클래스 정확도, 79.4%의 유지 정확도 및 AUS (Average Unlearning Score) 값인 0.88을 달성하여, 다른 기존 방법들을 능가하는 성능을 보였습니다. 또한, 클러스터 기반 분석 결과, DECAF는 전체 학습 데이터 세트를 사용하는 언러닝 방법들과 유사한 성능을 보이면서도 훨씬 더 효율적인 성능을 제공합니다. 코드: https://github.com/ale256/representation_unlearning

Machine unlearning, which aims to remove the influence of specific training data from a trained model, is a key requirement for privacy, accountability, and adaptive deployment. We argue that many unlearning methods are vulnerable to a simple clustering attack, which can recover class structure in an unsupervised manner, limiting their suitability for continual deployment where removal requests must be handled reliably on demand. To address this, we propose DECAF (DE-Clustering for Adaptive Forgetting), a post-hoc method that operates only on the forget set and is designed to break the cluster. DECAF combines input noise, confidence suppression, and entropy-based output diversification to disrupt the residual feature-space structure associated with forgotten data. On CIFAR-10 with ResNet-18, DECAF attains 0.10% forget-class accuracy, 79.4% retain accuracy, and an AUS of 0.88, surpassing all other baselines. In cluster-based analysis, it attains performance comparable to that of unlearning methods that use the full training set, while being significantly more efficient. Code: https://github.com/ale256/representation_unlearning.