과적합 네트워크 최적화에서의 대칭성의 역할

The Role of Symmetry in Optimizing Overparameterized Networks

과적합은 딥러닝의 성공에 핵심적인 역할을 하지만, 그 메커니즘이 최적화 성능을 어떻게 향상시키는지에 대한 이해는 아직 불완전합니다. 본 연구에서는 신경망의 가중치 공간에서의 대칭성을 분석하고, 과적합이 최적화에 유리하게 작용하는 두 가지 방식을 보여줍니다. 첫째, 이러한 대칭성은 헤세 행렬에 대한 일종의 대각선 전처리 역할을 하여, 기능적으로 동일한 해의 각 동치류 내에서 더 나은 조건의 최소값을 존재하게 합니다. 둘째, 과적합은 일반적인 초기화 시점에서 전역 최소값 주변의 확률 질량을 증가시켜, 이러한 유리한 해들이 더 쉽게 도달할 수 있도록 합니다. 교사-학생 네트워크 실험을 통해 이론적 예측을 검증한 결과, 네트워크 폭이 증가함에 따라 헤세 행렬의 흔적은 감소하고, 조건 수는 개선되며, 수렴 속도가 빨라지는 것을 확인했습니다. 본 연구는 과적합과 네트워크 폭 증가를 손실 함수의 기하학적 변환으로 이해하는 통합적인 프레임워크를 제공합니다.

Overparameterization is central to the success of deep learning, yet the mechanisms by which it improves optimization remain incompletely understood. We analyze weight-space symmetries in neural networks and show that overparameterization introduces additional symmetries that benefit optimization in two distinct ways. First, we prove that these symmetries act as a form of diagonal preconditioning on the Hessian, enabling the existence of better-conditioned minima within each equivalence class of functionally identical solutions. Second, we show that overparameterization increases the probability mass of global minima near typical initializations, making these favorable solutions more reachable. Teacher-student network experiments validate our theoretical predictions: as width increases, the Hessian trace decreases, condition numbers improve, and convergence accelerates. Our analysis provides a unified framework for understanding overparameterization and width growth as a geometric transformation of the loss landscape.