분포 변화 하에서의 강건 학습의 통계적 특성

Statistical Properties of Robust Learning under Distributional Shifts

분포 변화는 학습 데이터가 생성된 원본 환경과 대상 배포 환경이 다를 때 발생합니다. 분산 강건 최적화(DRO) 및 강건 만족(RS)과 같은 강건 학습 프레임워크는 이러한 문제를 해결하고자 하지만, 이러한 변화 하에서의 유한 표본 보장 조건과 체계적인 비교 연구는 아직 미흡합니다. 기존 분석은 일반적으로 원본 환경 또는 불확실성 집합에 대한 적대적 최악 성능에 대한 보장을 설정합니다. 본 논문에서는 대상 환경에서의 일반화 오류, 즉 분포가 이동된 대상 분포 하에서의 초과 손실을 연구합니다. 본 논문의 주요 기여는 세 가지입니다. 첫째, DRO와 RS 모두에 대해 분포가 이동된 대상 환경에서 유한 표본 일반화 오류 경계를 도출했습니다. 이러한 경계는 각 방법의 강건성 하이퍼파라미터에 의해 유도되는 정규화 페널티와 변화에 대한 감수성이 감소하는 것 사이의 균형을 명시적으로 나타내며, Wasserstein 경험적 집중과 관련된 차원의 저주를 피합니다. 둘째, 변화량 또는 방향과 같은 부분적인 변화 정보가 주어질 때, 정보 기반 하이퍼파라미터 조정 방법을 제안하고 동일한 정보를 사용할 경우 두 방법을 비교합니다. 이러한 조정 조건에서 연구하는 부분 정보 환경에서는 DRO와 RS가 상호 보완적인 이론적 및 경험적 특성을 나타냅니다. 마지막으로, 본 프레임워크를 네트워크 로트 사이즈 문제에 적용하여 강건 정책이 수요 분포의 긍정적인 변화에 어떻게 반응하는지 해석합니다. 이러한 결과들은 분포 변화 하에서 강건 학습 방법의 통계적 특성에 대한 이해를 높이고 DRO와 RS를 비교하기 위한 합리적인 기반을 제공합니다.

Distributional shifts arise when the target deployment environment differs from the source environment that generated the training data. Robust learning frameworks such as Distributionally Robust Optimization (DRO) and Robust Satisficing (RS) aim to address this challenge, yet their finite-sample guarantees under such shifts, and their systematic comparison, remain underexplored: existing analyses typically establish guarantees either in the source environment or for adversarial worst-case performance over an ambiguity set. This paper instead studies generalization error in the target environment---the excess loss under the shifted target distribution. Our contributions are threefold. First, we derive finite-sample generalization error bounds in the shifted target environment for both DRO and RS. These bounds explicitly characterize the trade-off between reduced sensitivity to shift and the regularization penalty induced by each method's robustness hyperparameter, and they avoid the curse of dimensionality associated with Wasserstein empirical concentration. Second, when partial shift information such as shift magnitude or direction is available, we propose information-directed hyperparameter calibrations and compare the two methods given the same information. Under these calibrations, and in the partial-information regimes we study, DRO and RS exhibit complementary theoretical and empirical behavior. Finally, we apply the framework to a network lot-sizing problem, using it to interpret how robust policies respond to positive shifts in the demand distribution. Together, these results fill a gap in understanding the statistical properties of robust learning methods under distributional shifts and provide a principled basis for comparing DRO and RS.