차등 프라이버시 학습이 장기 꼬리 데이터의 암기 현상에 미치는 영향에 대한 이해

Understanding the Impact of Differentially Private Training on Memorization of Long-Tailed Data

최근 연구에 따르면, 현대 딥러닝 모델은 높은 예측 정확도를 달성하는 데 있어 개별 학습 샘플을 암기하는 것이 중요한 역할을 합니다. 이러한 암기는 심각한 개인 정보 보호 문제를 야기하며, DP-SGD와 같은 차등 프라이버시 학습 알고리즘의 광범위한 채택을 촉진하고 있습니다. 그러나, 증가하는 수의 실증 연구 결과에 따르면, DP-SGD는 종종 최적의 일반화 성능을 달성하지 못하며, 특히 많은 수의 희귀하거나 비정상적인 샘플을 포함하는 장기 꼬리 데이터에서 이러한 현상이 두드러집니다. 이러한 관찰에도 불구하고, 이러한 현상에 대한 이론적 이해는 아직 충분히 연구되지 않았으며, 기존의 차등 프라이버시 분석은 실제로 사용되는 비볼록(nonconvex)이고 부드럽지 않은 신경망에 적용하기 어렵습니다. 본 연구에서는, 특징 학습 관점에서 DP-SGD가 장기 꼬리 데이터에 미치는 영향을 분석하는 최초의 이론적 프레임워크를 개발했습니다. 우리는 DP-SGD로 학습된 모델의 장기 꼬리 부분 모집단에서의 테스트 오류가 전체 데이터셋에서의 전체 테스트 오류보다 훨씬 크다는 것을 보여줍니다. 또한, 본 연구는 DP-SGD의 학습 과정을 상세히 분석하여, 그래디언트 클리핑과 노이즈 주입이 모델의 능력을 저하시켜, 유용하지만 표현이 부족한 샘플을 암기하는 데 미치는 부정적인 영향을 입증합니다. 마지막으로, 우리는 합성 데이터셋과 실제 데이터셋 모두에서 광범위한 실험을 통해 본 연구의 이론적 결과를 검증했습니다.

Recent research shows that modern deep learning models achieve high predictive accuracy partly by memorizing individual training samples. Such memorization raises serious privacy concerns, motivating the widespread adoption of differentially private training algorithms such as DP-SGD. However, a growing body of empirical work shows that DP-SGD often leads to suboptimal generalization performance, particularly on long-tailed data that contain a large number of rare or atypical samples. Despite these observations, a theoretical understanding of this phenomenon remains largely unexplored, and existing differential privacy analysis are difficult to extend to the nonconvex and nonsmooth neural networks commonly used in practice. In this work, we develop the first theoretical framework for analyzing DP-SGD on long-tailed data from a feature learning perspective. We show that the test error of DP-SGD-trained models on the long-tailed subpopulation is significantly larger than the overall test error over the entire dataset. Our analysis further characterizes the training dynamics of DP-SGD, demonstrating how gradient clipping and noise injection jointly adversely affect the model's ability to memorize informative but underrepresented samples. Finally, we validate our theoretical findings through extensive experiments on both synthetic and real-world datasets.