성과 예측 이론

Performative Learning Theory

성과 예측은 예측하고자 하는 결과 자체에 영향을 미치는 현상입니다. 본 연구에서는 특정 집단(예: 앱의 기존 사용자) 또는 전체 모집단(예: 모든 잠재적 앱 사용자)에 영향을 미치는 성과 예측을 분석합니다. 이는 성과 예측 하에서 모델이 얼마나 잘 일반화되는지에 대한 질문을 제기합니다. 예를 들어, 기존 사용자의 데이터를 기반으로 새로운 앱 사용자에 대한 통찰력을 얻을 수 있을까요? 이때, 기존 및 새로운 사용자가 앱의 예측에 모두 반응한다면 일반화 성능은 어떻게 될까요? 우리는 성과 예측을 통계 학습 이론에 통합하여 이 질문에 답합니다. 우리는 성과 효과가 샘플, 모집단, 그리고 둘 모두에 미치는 영향을 고려하여 일반화 경계를 증명합니다. 우리의 증명에서 중요한 직관은, 최악의 경우 모집단은 예측을 부정하는 반면, 샘플은 오해의 소지가 있도록 예측을 실현한다는 것입니다. 이러한 자기 부정적이고 자기 실현적인 예측을 워테르슈타인 공간에서 각각 min-max 및 min-min 위험 함수로 표현합니다. 우리의 분석은 성과적으로 세상을 변화시키는 것과 그로부터 학습하는 것 사이의 근본적인 상충 관계를 보여줍니다. 모델이 데이터에 미치는 영향이 클수록, 모델은 데이터로부터 학습할 수 있는 능력이 줄어듭니다. 또한, 우리의 분석은 성과적으로 왜곡된 샘플을 사용하여 재학습함으로써 일반화 보장을 개선하는 놀라운 방법을 제시합니다. 우리는 독일 실업민에게 직업 훈련을 제공하는 예측 기반 할당 사례 연구를 통해 우리의 경계를 설명하며, 이를 위해 1975년부터 2017년까지 독일의 노동 시장 기록 데이터를 활용합니다.

Performative predictions influence the very outcomes they aim to forecast. We study performative predictions that affect a sample (e.g., only existing users of an app) and/or the whole population (e.g., all potential app users). This raises the question of how well models generalize under performativity. For example, how well can we draw insights about new app users based on existing users when both of them react to the app's predictions? We address this question by embedding performative predictions into statistical learning theory. We prove generalization bounds under performative effects on the sample, on the population, and on both. A key intuition behind our proofs is that in the worst case, the population negates predictions, while the sample deceptively fulfills them. We cast such self-negating and self-fulfilling predictions as min-max and min-min risk functionals in Wasserstein space, respectively. Our analysis reveals a fundamental trade-off between performatively changing the world and learning from it: the more a model affects data, the less it can learn from it. Moreover, our analysis results in a surprising insight on how to improve generalization guarantees by retraining on performatively distorted samples. We illustrate our bounds in a case study on prediction-informed assignments of unemployed German residents to job trainings, drawing upon administrative labor market records from 1975 to 2017 in Germany.