자발적 대칭 깨짐과 골드스톤 모드: 심층 정보 전파

Spontaneous symmetry breaking and Goldstone modes for deep information propagation

물리 시스템에서 연속적인 대칭이 자발적으로 깨질 때, 시스템은 골드스톤 모드라는 여기(excitation)를 가지며, 이는 장거리 및 시간 동안 일관성 있는 정보 전파를 가능하게 합니다. 본 연구에서는 내부 레이어가 연속적인 대칭에 대해 불변(equivariant)인 심층 신경망을 연구하며, 따라서 유사한 골드스톤 유사 자유도를 가질 수 있습니다. 우리는 분석적, 경험적으로 이러한 자유도가 깊이와 반복적인 연산 과정을 통해 일관성 있는 신호 전파를 가능하게 함을 보여줍니다. 이는 잔차 연결 또는 정규화와 같은 구조적 안정화 장치에 의존하지 않고도 안정적인 정보 흐름을 제공하는 메커니즘입니다. 순방향 신경망에서 이는 학습 용이성 향상과 레이어 간의 표현 다양성을 증가시킵니다. 순환 신경망 설정에서, 우리는 동일한 메커니즘이 순환적인 반복을 통해 정보를 전파하여 장기 기억에 유용하며, RNN 및 GRU의 장기 시퀀스 모델링 성능을 향상시킨다는 것을 보여줍니다.

In physical systems, whenever a continuous symmetry is spontaneously broken, the system possesses excitations called Goldstone modes, which allow coherent information propagation over long distances and times. In this work, we study deep neural networks whose internal layers are equivariant under a continuous symmetry and may therefore support analogous Goldstone-like degrees of freedom. We demonstrate, both analytically and empirically, that these degrees of freedom enable coherent signal propagation across depth and recurrent iterations, providing a mechanism for stable information flow without relying on architectural stabilizers such as residual connections or normalization. In feedforward networks, this results in improved trainability and representational diversity across layers. In recurrent settings, we demonstrate the same mechanism is valuable for long-term memory by propagating information over recurrent iterations, thereby improving performance of RNNs and GRUs on long-sequence modeling tasks.