저차원 특징 공간에서의 기계 학습 데이터 삭제

Machine Unlearning in Low-Dimensional Feature Subspace

기계 학습 데이터 삭제(MU)는 사전 훈련된 모델에서 특정 데이터의 영향을 제거하면서 나머지 데이터에 대한 성능을 유지하는 것을 목표로 합니다. 본 연구에서는 저차원 특징 공간에 대한 새로운 관점에서 MU를 제시하며, 이를 통해 나머지 데이터와 삭제할 데이터를 분리할 수 있는 가능성을 제시합니다. 이러한 분리 가능성은 LOFT라는 방법을 고안하는 데 영감을 주었습니다. LOFT는 사전 훈련된 모델에서 주성분 분석을 통해 얻은 저차원 특징 공간에서 데이터 삭제를 수행하는 방법입니다. 이 방법은 나머지 데이터의 정보를 최대한 활용하고 삭제할 데이터의 정보를 최소화하도록 최적화된 투영 행렬을 사용합니다. 학습 과정에서 LOFT는 사전 훈련된 모델에 쉽게 통합될 수 있는 작은 크기의 투영 행렬을 최적화하며, 원본 데이터를 반복적으로 사용할 필요 없이 사전 훈련된 모델에서 단 한 번의 특징 추출만으로 작동합니다. 따라서 LOFT는 주류 MU 방법에서 발생하는 두 가지 중요한 문제, 즉 대량의 데이터 로드에서 발생하는 개인 정보 유출 위험과 전체 사전 훈련된 모델에 대한 비효율적인 업데이트 문제를 완화합니다. 광범위한 실험 결과, LOFT는 다양한 모델, 데이터 세트, 작업 및 애플리케이션에서 훨씬 낮은 계산 오버헤드와 우수한 데이터 삭제 성능을 보이는 것으로 나타났습니다. 코드는 익명으로 다음 링크에서 사용할 수 있습니다: https://anonymous.4open.science/r/4352/.

Machine Unlearning (MU) aims at removing the influence of specific data from a pretrained model while preserving performance on the remaining data. In this work, a novel perspective for MU is presented upon low-dimensional feature subspaces, which gives rise to the potentials of separating the remaining and forgetting data herein. This separability motivates our LOFT, a method that proceeds unlearning in a LOw-dimensional FeaTure subspace from the pretrained model skithrough principal projections, which are optimized to maximally capture the information of the remaining data and meanwhile diminish that of the forgetting data. In training, LOFT simply optimizes a small-size projection matrix flexibly plugged into the pretrained model, and only requires one-shot feature fetching from the pretrained backbone instead of repetitively accessing the raw data. Hence, LOFT mitigates two critical issues in mainstream MU methods, i.e., the privacy leakage risk from massive data reload and the inefficiency of updates to the entire pretrained model. Extensive experiments validate the significantly lower computational overhead and superior unlearning performance of LOFT across diverse models, datasets, tasks, and applications. Code is anonymously available at https://anonymous.4open.science/r/4352/.