어텐션에서의 함수적 동등성: 선형 모드 연결에 대한 응용을 포함하는 포괄적인 연구

Functional Equivalence in Attention: A Comprehensive Study with Applications to Linear Mode Connectivity

신경망 파라미터 공간은 본질적으로 단사 함수가 아니며, 이는 서로 다른 파라미터 구성이 함수적 동등성을 통해 동일한 기능을 수행할 수 있기 때문입니다. 이러한 대칭성은 기존의 완전 연결 및 컨볼루션 모델에서는 잘 이해되고 있지만, 현대적인 어텐션 기반 아키텍처에서는 훨씬 더 복잡해집니다. 다중 헤드 어텐션에 대한 기존 연구는 대부분 기본적인 형태에 초점을 맞추고 있으며, 아키텍처의 대칭성을 근본적으로 변화시키는 위치 인코딩을 간과했습니다. 본 논문에서는 위치 인코딩이 적용된 트랜스포머에서의 함수적 동등성에 대한 형식적인 연구를 제공합니다. 가장 널리 사용되는 두 가지 형태인 사인 함수 기반 및 회전 위치 인코딩(RoPE)에 초점을 맞춰, 사인 함수 인코딩은 기본적인 어텐션의 동등성 구조를 유지하는 반면, RoPE는 대칭 그룹을 크게 줄여 표현력을 향상시키는 것을 보여줍니다. 이는 실제에서 RoPE가 점점 더 중요해지는 이유에 대한 합리적인 설명을 제공합니다. 또한, 본 연구에서는 위치 인코딩이 선형 모드 연결에 미치는 영향을 조사하고, 정렬 알고리즘을 통해 트랜스포머 설정에서의 연결성 존재 여부 및 변동성이 위치 인코딩에 크게 의존한다는 것을 경험적으로 입증합니다.

Neural network parameter spaces are inherently non-injective, as distinct parameter configurations can realize identical functions through functional equivalence. While this symmetry is well understood in classical fully connected and convolutional models, it becomes substantially more intricate in modern attention-based architectures. Existing analyses of multihead attention have largely focused on the vanilla formulation, overlooking positional encodings that fundamentally reshape architectural symmetries. In this work, we provide a formal study of functional equivalence in Transformers with positional encodings. Focusing on the two most widely used variants--sinusoidal and rotary positional encodings (RoPE)--we show that sinusoidal encodings preserve the equivalence structure of vanilla attention, whereas rotary encodings significantly reduce the symmetry group, thereby enhancing expressivity. This offers a principled explanation for the growing prominence of RoPE in practice. We further examine how positional encodings affect linear mode connectivity, and through an alignment algorithm, empirically demonstrate that the presence and variability of connectivity across Transformer settings crucially depend on the positional encoding.