FaLW: 장기 꼬리 분포 데이터 삭제를 위한 망각 인식 손실 재가중화 방법

FaLW: A Forgetting-aware Loss Reweighting for Long-tailed Unlearning

머신 러닝 모델에서 특정 데이터를 효율적으로 제거하는 머신 언러닝은 데이터 프라이버시 규정, 특히 '잊혀질 권리'를 준수하는 데 매우 중요합니다. 그러나 기존 연구에서는 주로 비교적 균형 잡힌 데이터 세트를 사용하여 언러닝 방법을 평가합니다. 이는 사용자의 활동 기록과 같이 삭제해야 할 데이터가 장기 꼬리 분포를 따르는 일반적인 실제 시나리오를 간과합니다. 본 연구는 이러한 중요한 연구 격차를 처음으로 조사합니다. 우리는 이러한 장기 꼬리 분포 환경에서 기존 방법들이 두 가지 주요 문제점, 즉 extit{이질적인 언러닝 편향} 및 extit{편향된 언러닝 편향}을 겪는다는 것을 발견했습니다. 이러한 문제점을 해결하기 위해, 우리는 FaLW라는 플러그 앤 플레이 방식으로, 개별 데이터 포인트에 따라 동적으로 손실을 재가중화하는 방법을 제안합니다. FaLW는 각 데이터 포인트의 언러닝 상태를 평가할 때, 해당 데이터 포인트의 예측 확률을 동일 클래스의 보이지 않는 데이터 분포와 비교합니다. 이를 바탕으로, FaLW는 균형 계수를 사용하여 각 데이터 포인트에 대한 언러닝 강도를 적응적으로 조절하는 망각 인식 재가중화 체계를 적용합니다. 광범위한 실험 결과, FaLW가 우수한 성능을 달성한다는 것을 보여줍니다.

Machine unlearning, which aims to efficiently remove the influence of specific data from trained models, is crucial for upholding data privacy regulations like the ``right to be forgotten". However, existing research predominantly evaluates unlearning methods on relatively balanced forget sets. This overlooks a common real-world scenario where data to be forgotten, such as a user's activity records, follows a long-tailed distribution. Our work is the first to investigate this critical research gap. We find that in such long-tailed settings, existing methods suffer from two key issues: \textit{Heterogeneous Unlearning Deviation} and \textit{Skewed Unlearning Deviation}. To address these challenges, we propose FaLW, a plug-and-play, instance-wise dynamic loss reweighting method. FaLW innovatively assesses the unlearning state of each sample by comparing its predictive probability to the distribution of unseen data from the same class. Based on this, it uses a forgetting-aware reweighting scheme, modulated by a balancing factor, to adaptively adjust the unlearning intensity for each sample. Extensive experiments demonstrate that FaLW achieves superior performance.