차등 프라이버시 모델 병합

Differentially Private Model Merging

머신러닝 애플리케이션에서 추론 또는 배포 단계 동안 개인 정보 보호 요구 사항은 정책, 규정 또는 사용자 경험의 변화로 인해 지속적으로 변할 수 있습니다. 본 연구에서는 기존 모델들이 동일한 데이터 세트에 대해 서로 다른 개인 정보 보호/유용성 균형을 가지고 학습되었을 때, 추가적인 학습 단계를 거치지 않고도 모든 목표 차등 프라이버시(DP) 요구 사항을 만족하는 다양한 모델을 생성하는 것을 목표로 합니다. 목표 개인 정보 보호 파라미터에 따라 최종 개인 정보 보호 모델을 출력하기 위해 랜덤 선택과 선형 결합이라는 두 가지 후처리 기법을 제안합니다. 본 연구에서는 R'enyi DP 관점에서 이러한 접근 방식의 개인 정보 보호 계산을 제공하며, 일반적인 문제에 대한 개인 정보 손실 분포를 분석합니다. 개인 정보 보호된 평균 추정 사례 연구에서 개인 정보 보호/유용성 결과를 자세히 분석하고, 선형 결합이 랜덤 선택보다 우수함을 이론적으로 입증합니다. 또한, 여러 모델과 합성 데이터 및 실제 데이터 세트에 대한 실험을 통해 본 연구의 접근 방식과 분석을 검증합니다.

In machine learning applications, privacy requirements during inference or deployment time could change constantly due to varying policies, regulations, or user experience. In this work, we aim to generate a magnitude of models to satisfy any target differential privacy (DP) requirement without additional training steps, given a set of existing models trained on the same dataset with different privacy/utility tradeoffs. We propose two post processing techniques, namely random selection and linear combination, to output a final private model for any target privacy parameter. We provide privacy accounting of these approaches from the lens of R'enyi DP and privacy loss distributions for general problems. In a case study on private mean estimation, we fully characterize the privacy/utility results and theoretically establish the superiority of linear combination over random selection. Empirically, we validate our approach and analyses on several models and both synthetic and real-world datasets.