현대 신경망 아키텍처를 위한 보존 법칙

Conservation Laws for Modern Neural Architectures

과적합 모델의 성공을 설명하는 데 있어 경사 하강법의 동역학을 이해하는 것이 핵심이며, 암묵적인 편향은 경사 흐름에서의 보존 법칙을 통해 나타납니다. 이러한 법칙은 선형 네트워크 및 ReLU 네트워크에서는 잘 알려져 있지만, 현대 아키텍처에서는 아직 널리 연구되지 않았습니다. 본 논문에서는 GELU, SiLU 및 SwiGLU 활성화 함수를 사용하는 피드포워드 네트워크, 사인 및 회전 위치 인코딩을 사용하는 멀티헤드 어텐션, 그리고 다양한 게이팅 디자인 하의 Mixture-of-Experts 아키텍처를 포함한 현대 모델에 대한 보존 법칙을 특징짓는 통합 프레임워크를 개발합니다. 우리의 이론적 결과는 예측된 불변량을 검증하는 실험으로 뒷받침됩니다.

Understanding gradient descent dynamics is key to explaining the success of over-parameterized models, where implicit bias manifests through conservation laws in gradient flow. While such laws are well understood for linear and ReLU networks, they remain largely unexplored for modern architectures. This work develops a unified framework to characterize conservation laws for contemporary models, including feedforward networks with GELU, SiLU, and SwiGLU activations, multihead attention with sinusoidal and rotary positional encodings, and Mixture-of-Experts architectures under diverse gating designs. Our theoretical findings are supported by experiments that validate the predicted invariants.