개인 정보 보호는 항상 공정성을 해칠까? Chernoff 정보 신경 추정 기반 데이터 의존적 균형

Does Privacy Always Harm Fairness? Data-Dependent Trade-offs via Chernoff Information Neural Estimation

공정성과 개인 정보 보호는 신뢰할 수 있는 머신러닝의 두 가지 중요한 요소입니다. 이러한 각각의 주제에 대한 연구는 활발히 진행되어 왔지만, 공정성과 개인 정보 보호 간의 관계에 대한 연구는 상대적으로 부족했습니다. 본 논문에서는 정보 이론적 측정 방법인 Chernoff 정보를 활용하여 공정성, 개인 정보 보호, 정확성 간의 관계가 데이터에 따라 달라지는 특성을 강조합니다. 먼저, 공정성, 개인 정보 보호, 정확성 간의 관계를 동시에 분석할 수 있는 도구인 '잡음 Chernoff 차이(Noisy Chernoff Difference)'를 정의합니다. 합성 데이터에 대해 이 값이 3가지 뚜렷한 방식으로 나타나는 것을 보여주고, 데이터 분포에 따른 이러한 현상을 분석하며, 관련된 공정성 및 개인 정보 보호 측면을 탐구합니다. 또한, '잡음 Chernoff 차이'가 공정성-정확성 곡선의 기울기를 나타내는 지표로 작용한다는 것을 입증합니다. 마지막으로, 알려지지 않은 분포의 데이터에 대한 Chernoff 정보를 추정하는 방법을 제안하고, 이 프레임워크를 사용하여 실제 데이터셋에서 공정성, 개인 정보 보호, 정확성 간의 역학 관계를 분석합니다. 본 연구는 공정성-개인 정보 보호-정확성 간의 관계에 대한 통합적인 이해를 구축하고, 이러한 관계가 데이터에 따라 달라지는 특성을 강조합니다.

Fairness and privacy are two vital pillars of trustworthy machine learning. Despite extensive research on these individual topics, the relationship between fairness and privacy has received significantly less attention. In this paper, we utilize the information-theoretic measure Chernoff Information to highlight the data-dependent nature of the relationship among the triad of fairness, privacy, and accuracy. We first define Noisy Chernoff Difference, a tool that allows us to analyze the relationship among the triad simultaneously. We then show that for synthetic data, this value behaves in 3 distinct ways (depending on the distribution of the data). We highlight the data distributions involved in these cases and explore their fairness and privacy implications. Additionally, we show that Noisy Chernoff Difference acts as a proxy for the steepness of the fairness-accuracy curves. Finally, we propose a method for estimating Chernoff Information on data from unknown distributions and utilize this framework to examine the triad dynamic on real datasets. This work builds towards a unified understanding of the fairness-privacy-accuracy relationship and highlights its data-dependent nature.