고유한 최소값이 없어도 문제없다: 강건 신경망 분류기의 일관성 연구

No Unique Minimizer, No Problem: On the Consistency of Robust Neural Classifiers

교차 엔트로피 최소화를 통해 학습된 신경망 분류기는 레이블 노이즈 및 적대적 공격에 매우 민감합니다. 강건한 대안들은 제한적인 영향과 왜곡에 대한 저항성을 제공하지만, 딥러닝 환경에서의 통계적 기반은 근본적인 어려움으로 인해 불충분합니다. 즉, 신경망 파라미터는 고유하게 식별할 수 없으며, 따라서 손실 함수의 최솟값은 고유한 점이 아닌 파라미터의 동치류입니다. 우리는 S-다이버전스 패밀리를 기반으로 한 강건 신경망 분류기에 대한 일관성 이론을 개발하며, 이는 식별 가능성에 대한 가정을 필요로 하지 않습니다. 학습을 비식별 가능한 파라미터 공간에서의 확률적 최적화 문제로 간주하고, 경미한 정칙성 조건 하에서 경험적인 S-다이버전스 최소값이 모집단 최적 동치류로 수렴함을 증명합니다. 또한, 세 가지 아키텍처 선택에 대해 이러한 조건을 검증했습니다. 더욱이, 강건 학습 알고리즘의 극한점은 경험적 목적 함수의 고정점임을 입증합니다. 이미지 및 텍스트 벤치마크 데이터셋에 대한 실험 결과, S-다이버전스 학습은 깨끗한 데이터에서의 정확도를 유지하면서 기존의 강건 방법과 경쟁력 있는 성능을 보여줍니다.

Neural network classifiers trained by cross-entropy minimization are highly sensitive to label noise and adversarial contamination. While robust alternatives offer bounded influence and resistance to corruption, their statistical foundations in the deep learning setting are insufficient due to a fundamental difficulty: neural parameterizations are non-identifiable, so the population loss minimizer is an equivalence class of parameters, not a unique point. We develop a consistency theory for robust neural classifiers based on the S-divergence family that requires no identifiability assumption. Casting training as stochastic optimization over a non-identifiable parameter space, we prove that empirical S-divergence minimizers converge to the population-optimal equivalence class under mild regularity conditions, and verify these conditions for three architecture choices. We further establish that limit points of the robust training algorithm are stationary points of the empirical objective. Experiments on vision and language benchmark datasets confirm that S-divergence training maintains clean-data accuracy while exhibiting performance competitive with existing robust methods.