수요 추정의 한계를 넘어: 누적 경향 가중치를 이용한 소비자 잉여 평가

Beyond Demand Estimation: Consumer Surplus Evaluation via Cumulative Propensity Weights

본 논문은 관측 데이터를 활용하여 AI 기반 의사 결정, 특히 타겟 가격 책정 및 알고리즘 기반 대출에서 발생하는 소비자 잉여 효과를 평가하는 실용적인 프레임워크를 제시합니다. 기존 접근 방식은 일반적으로 수요 함수를 먼저 추정하고 이를 통합하여 소비자 잉여를 계산하지만, 이러한 방법은 매개변수 기반 수요 모델의 부정확성, 그리고 비매개변수 또는 머신러닝 접근 방식의 높은 데이터 요구량 및 느린 수렴 속도 때문에 실제 적용에 어려움이 있습니다. 본 연구에서는 탐색과 활용의 균형을 맞춰야 하는 현대 알고리즘 가격 책정의 고유한 무작위성을 활용하여, 수요 함수를 명시적으로 추정하고 수치 적분을 수행하지 않고도 소비자 잉여를 추정하는 방법을 제안합니다. 각 관측된 구매 결과는 특정 가격에서 수요의 편향되지 않은 추정치이며, 새롭게 개발된 누적 경향 가중치(CPW)를 사용하여 구매 결과를 신중하게 재가중화함으로써, 전체적인 적분을 재구성할 수 있습니다. 이 아이디어를 바탕으로, 수요 모델 또는 과거 가격 정책 분포 중 하나만 정확하게 지정되어도 작동하는 이중 강건성 변형인 증강 누적 경향 가중치(ACPW) 추정기를 소개합니다. 또한, 이 접근 방식은 수요 추정치를 포함함으로써 머신러닝 추정기의 수렴 속도가 느리더라도 빠른 수렴 속도를 달성하여, 소비자 잉여 추정에 유연한 머신러닝 방법을 사용할 수 있도록 합니다. 제안하는 추정기는 소비자 잉여 자체가 관측되지 않는다는 점에서 기존의 오프라인 평가 기법의 표준적인 적용 방식이 아닙니다. 공정성을 고려하기 위해, 본 프레임워크를 확장하여 불평등을 고려한 소비자 잉여 측정 방법을 제시함으로써, 규제 기관 및 기업이 이윤과 공정성 간의 균형을 정량화할 수 있도록 합니다. 마지막으로, 제안하는 방법론을 다양한 수치 연구를 통해 검증합니다.

This paper develops a practical framework for using observational data to audit the consumer surplus effects of AI-driven decisions, specifically in targeted pricing and algorithmic lending. Traditional approaches first estimate demand functions and then integrate to compute consumer surplus, but these methods can be challenging to implement in practice due to model misspecification in parametric demand forms and the large data requirements and slow convergence of flexible nonparametric or machine learning approaches. Instead, we exploit the randomness inherent in modern algorithmic pricing, arising from the need to balance exploration and exploitation, and introduce an estimator that avoids explicit estimation and numerical integration of the demand function. Each observed purchase outcome at a randomized price is an unbiased estimate of demand and by carefully reweighting purchase outcomes using novel cumulative propensity weights (CPW), we are able to reconstruct the integral. Building on this idea, we introduce a doubly robust variant named the augmented cumulative propensity weighting (ACPW) estimator that only requires one of either the demand model or the historical pricing policy distribution to be correctly specified. Furthermore, this approach facilitates the use of flexible machine learning methods for estimating consumer surplus, since it achieves fast convergence rates by incorporating an estimate of demand, even when the machine learning estimate has slower convergence rates. Neither of these estimators is a standard application of off-policy evaluation techniques as the target estimand, consumer surplus, is unobserved. To address fairness, we extend this framework to an inequality-aware surplus measure, allowing regulators and firms to quantify the profit-equity trade-off. Finally, we validate our methods through comprehensive numerical studies.