통계적 멤버십 추론: 신뢰할 수 있는 언러닝 감사 시스템을 위한 멤버십 추론 공격 재고

Statistical MIA: Rethinking Membership Inference Attack for Reliable Unlearning Auditing

머신 러닝 시스템에서 삭제될 권리를 보장하기 위해서는 머신 언러닝(MU)이 필수적입니다. MU의 주요 과제 중 하나는 모델이 특정 학습 데이터를 실제로 삭제했는지 신뢰성 있게 감사하는 것입니다. 멤버십 추론 공격(MIA)은 언러닝 감사를 위해 널리 사용되며, 멤버십 탐지를 회피하는 샘플은 종종 성공적으로 삭제된 것으로 간주됩니다. MIA의 신뢰성을 면밀히 검토한 결과, 이러한 가정은 잘못되었음을 보여줍니다. 멤버십 추론에 실패한다는 것은 반드시 실제 삭제를 의미하지 않습니다. 본 연구에서는 MIA 기반 감사, 특히 이 방식이 이진 분류 문제로 공식화될 때, 필연적으로 발생하는 통계적 오류의 크기를 감사 과정에서 관찰할 수 없다는 것을 이론적으로 입증합니다. 이는 언러닝 성능에 대한 지나치게 낙관적인 평가로 이어지며, 동시에 섀도 모델 훈련으로 인해 상당한 계산 비용이 발생합니다. 이러한 한계를 해결하기 위해, 본 연구에서는 학습 데이터 없이도 높은 효율성을 가진 감사 프레임워크인 통계적 멤버십 추론 공격(SMIA)을 제안합니다. SMIA는 학습된 공격 모델이 필요 없이, 통계적 검정을 사용하여 멤버 및 논멤버 데이터의 분포를 직접 비교합니다. 또한, SMIA는 삭제 비율과 해당 신뢰 구간을 모두 제공하여 감사 결과의 정량적인 신뢰성을 확보합니다. 광범위한 실험 결과, SMIA는 기존의 MIA 기반 접근 방식보다 훨씬 낮은 계산 비용으로 더 신뢰할 수 있는 감사 결과를 제공하는 것으로 나타났습니다. 특히, SMIA의 이론적 보장과 실증적 효과는 신뢰할 수 있는 머신 언러닝 감사 시스템을 위한 새로운 패러다임을 제시합니다.

Machine unlearning (MU) is essential for enforcing the right to be forgotten in machine learning systems. A key challenge of MU is how to reliably audit whether a model has truly forgotten specified training data. Membership Inference Attacks (MIAs) are widely used for unlearning auditing, where samples that evade membership detection are often regarded as successfully forgotten. After carefully revisiting the reliability of MIA, we show that this assumption is flawed: failed membership inference does not imply true forgetting. We theoretically demonstrate that MIA-based auditing, when formulated as a binary classification problem, inevitably incurs statistical errors whose magnitude cannot be observed during the auditing process. This leads to overly optimistic evaluations of unlearning performance, while incurring substantial computational overhead due to shadow model training. To address these limitations, we propose Statistical Membership Inference Attack (SMIA), a novel training-free and highly effective auditing framework. SMIA directly compares the distributions of member and non-member data using statistical tests, eliminating the need for learned attack models. Moreover, SMIA outputs both a forgetting rate and a corresponding confidence interval, enabling quantified reliability of the auditing results. Extensive experiments show that SMIA provides more reliable auditing with significantly lower computational cost than existing MIA-based approaches. Notably, the theoretical guarantees and empirical effectiveness of SMIA suggest it as a new paradigm for reliable machine unlearning auditing.