초매개변수화된 얕은 신경망에 대한 초기화 의존적이고 의미 있는 일반화 경계 연구

Towards Initialization-dependent and Non-vacuous Generalization Bounds for Overparameterized Shallow Neural Networks

초매개변수화된 신경망은 종종 훈련 데이터 수보다 매개변수 수가 많음에도 불구하고 뛰어난 일반화 성능을 보이는 긍정적인 과적합 특성을 나타냅니다. 긍정적인 과적합 현상을 설명하는 유망한 접근 방식은 일반화를 초기화로부터의 거리의 노름과 연관시키는 것입니다. 이는 초기화 거리 자체가 전체 노름보다 훨씬 작다는 경험적 관찰에 의해 뒷받침됩니다. 그러나 기존의 초기화 의존적 복잡성 분석은 초기화의 잠재력을 충분히 활용하지 못합니다. 왜냐하면 관련된 경계는 초기화 행렬의 스펙트럼 노름에 의존하는데, 이는 폭의 제곱근 함수로 스케일링될 수 있으며, 따라서 초매개변수화된 모델에는 효과적이지 않습니다. 본 논문에서는 일반적인 립시츠 활성화 함수를 갖는 얕은 신경망에 대한 최초의 *완전한* 초기화 의존적 복잡성 경계를 개발합니다. 이러한 경계는 폭에 대한 로그 의존성을 갖습니다. 우리의 경계는 초기화로부터의 거리의 경로 노름에 의존하며, 이는 새로운 피일링 기법을 도입하여 초기화 의존적 제약 조건을 처리하는 과정에서 도출되었습니다. 또한, 상수 계수 내에서 최적화된 하한 경계를 개발했습니다. 마지막으로, 경험적 비교를 수행하고, 우리의 일반화 분석이 초매개변수화된 네트워크에 대해 의미 있는 경계를 제공함을 보여줍니다.

Overparameterized neural networks often show a benign overfitting property in the sense of achieving excellent generalization behavior despite the number of parameters exceeding the number of training examples. A promising direction to explain benign overfitting is to relate generalization to the norm of distance from initialization, motivated by the empirical observations that this distance is often significantly smaller than the norm itself. However, the existing initialization-dependent complexity analyses cannot fully exploit the power of initialization since the associated bounds depend on the spectral norm of the initialization matrix, which can scale as a square-root function of the width and are therefore not effective for overparameterized models. In this paper, we develop the first \emph{fully} initialization-dependent complexity bounds for shallow neural networks with general Lipschitz activation functions, which enjoys a logarithmic dependency on the width. Our bounds depend on the path-norm of the distance from initialization, which are derived by introducing a new peeling technique to handle the challenge along with the initialization-dependent constraint. We also develop a lower bound tight up to a constant factor. Finally, we conduct empirical comparisons and show that our generalization analysis implies non-vacuous bounds for overparameterized networks.