INO-SGD: 개인 맞춤형 차등 프라이버시 환경에서의 유용성 불균형 문제 해결

INO-SGD: Addressing Utility Imbalance under Individualized Differential Privacy

차등 프라이버시(DP)는 머신러닝에서 기밀 또는 민감한 학습 데이터를 보호하기 위해 널리 사용됩니다. 데이터 소유자가 개인 데이터 소유권을 통해 데이터에 대한 통제력을 강화함에 따라, 자체적인 개인 정보 보호 요구 사항을 설정할 가능성이 높아지고 있으며, 이러한 요구 사항을 충족하기 위해 개인 맞춤형 차등 프라이버시(IDP)가 필요합니다. 특히, 낙인찍힌 질병의 양성 사례와 같이 더 민감한 데이터 세트의 소유자는 데이터 유출이 더 심각한 사회적 영향을 미칠 수 있으므로 더 강력한 개인 정보 보호 요구 사항을 설정할 가능성이 높습니다. 그러나 기존의 IDP 알고리즘은 심각한 유용성 불균형 문제를 야기합니다. 즉, 더 강력한 개인 정보 보호 요구 사항을 가진 소유자의 데이터는 학습된 모델에서 심각하게 과소 대표될 수 있으며, 이는 배포 시 유사한 데이터를 사용하는 후속 사용자의 성능 저하로 이어질 수 있습니다. 본 논문에서는 이러한 문제를 분석하고, 각 배치 내의 데이터를 전략적으로 가중치를 낮춰 모든 반복에서 더 높은 개인 정보 보호 수준을 가진 데이터에 대한 성능을 향상시키는 INO-SGD 알고리즘을 제안합니다. 주목할 점은, 제안하는 알고리즘은 특히 IDP를 만족하도록 설계되었으며, 유용성 불균형 문제를 해결하는 기존 기술은 IDP를 만족하지 않거나 쉽게 IDP에 적용할 수 없습니다. 마지막으로, 제안하는 방법의 실질적인 타당성을 실험적으로 검증합니다.

Differential privacy (DP) is widely employed in machine learning to protect confidential or sensitive training data from being revealed. As data owners gain greater control over their data due to personal data ownership, they are more likely to set their own privacy requirements, necessitating individualized DP (IDP) to fulfil such requests. In particular, owners of data from more sensitive subsets, such as positive cases of stigmatized diseases, likely set stronger privacy requirements, as leakage of such data could incur more serious societal impact. However, existing IDP algorithms induce a critical utility imbalance problem: Data from owners with stronger privacy requirements may be severely underrepresented in the trained model, resulting in poorer performance on similar data from subsequent users during deployment. In this paper, we analyze this problem and propose the INO-SGD algorithm, which strategically down-weights data within each batch to improve performance on the more private data across all iterations. Notably, our algorithm is specially designed to satisfy IDP, while existing techniques addressing utility imbalance neither satisfy IDP nor can be easily adapted to do so. Lastly, we demonstrate the empirical feasibility of our approach.