스펙트럴 게이팅 네트워크

Spectral Gating Networks

게이팅 메커니즘은 널리 사용되지만, 순방향 신경망에서 여전히 탐구되지 않은 중요한 질문이 있습니다. 즉, 안정성과 확장성을 희생하지 않고 주파수 특성을 어떻게 추가할 수 있는가 하는 문제입니다. 이러한 긴장은 스플라인 기반의 콜모고로프-아르놀드 네트워크(KAN)의 파라미터화에서 드러납니다. 여기서 그리드 정밀도 향상은 고차원 공간에서 파라미터 증가 및 취약한 최적화를 유발할 수 있습니다. 본 논문에서는 고정된 파라미터 및 학습 예산 내에서 기존의 MLP/FFN 레이어에 안정성을 유지하면서 스펙트럴 용량을 주입하는 방법을 제안합니다. 이를 위해 스펙트럴 게이팅 네트워크(SGN)라는 새로운 스펙트럴 재파라미터화 방식을 도입합니다. SGN은 표준 활성화 경로에 컴팩트한 스펙트럴 경로와 학습 가능한 게이트를 추가하여 모델이 안정적인 기본 동작에서 시작하여 학습 과정에서 점진적으로 스펙트럴 특징에 용량을 할당할 수 있도록 합니다. 스펙트럴 경로는 학습 가능한 랜덤 푸리에 특징(학습된 주파수 및 위상)으로 구현되며, 그리드 기반 스플라인을 대체하고 해상도 의존성을 제거합니다. 또한, 하이브리드 GELU-푸리에 수식을 사용하여 최적화의 견고성을 향상시키고 고주파수 정확도를 높입니다. 비전, 자연어 처리, 오디오 및 PDE 벤치마크에서 SGN은 동등한 계산 예산 하에서 일관되게 정확도-효율성 균형을 개선하며, CIFAR-10 데이터셋에서 93.15%의 정확도를 달성하고 스플라인 기반 KAN 변형보다 최대 11.7배 빠른 추론 속도를 보입니다. 코드 및 학습된 모델은 공개될 예정입니다.

Gating mechanisms are ubiquitous, yet a complementary question in feed-forward networks remains under-explored: how to introduce frequency-rich expressivity without sacrificing stability and scalability? This tension is exposed by spline-based Kolmogorov-Arnold Network (KAN) parameterizations, where grid refinement can induce parameter growth and brittle optimization in high dimensions. To propose a stability-preserving way to inject spectral capacity into existing MLP/FFN layers under fixed parameter and training budgets, we introduce Spectral Gating Networks (SGN), a drop-in spectral reparameterization. SGN augments a standard activation pathway with a compact spectral pathway and learnable gates that allow the model to start from a stable base behavior and progressively allocate capacity to spectral features during training. The spectral pathway is instantiated with trainable Random Fourier Features (learned frequencies and phases), replacing grid-based splines and removing resolution dependence. A hybrid GELU-Fourier formulation further improves optimization robustness while enhancing high-frequency fidelity. Across vision, NLP, audio, and PDE benchmarks, SGN consistently improves accuracy-efficiency trade-offs under comparable computational budgets, achieving 93.15% accuracy on CIFAR-10 and up to 11.7x faster inference than spline-based KAN variants. Code and trained models will be released.