EUGens: 효율적이고, 통합적이며, 일반적인 Dense 레이어

EUGens: Efficient, Unified, and General Dense Layers

효율적인 신경망은 머신러닝 모델을 실시간 애플리케이션 및 자원 제약 환경으로 확장하는 데 필수적입니다. 완전 연결 피드포워드 레이어(FFL)는 신경망 아키텍처 내에서 계산 및 파라미터 수의 병목 현상을 야기합니다. 이러한 문제를 해결하기 위해, 본 연구에서는 기존의 완전 연결 피드포워드 레이어를 일반화하는 새로운 유형의 Dense 레이어인 EUGens (Efficient, Unified, and General dense layers)를 제안합니다. EUGens는 표준 FFL을 근사하기 위해 랜덤 특징을 활용하며, 계산 과정에 입력 값의 정규화 값을 직접적으로 반영하여 기존 방식을 뛰어넘습니다. 제안된 레이어는 기존의 효율적인 FFL 확장 방식을 통합하고, 추론 복잡도를 2차 시간에서 선형 시간으로 줄여 효율성을 향상시킵니다. 또한, 임의의 다항식 활성화 함수를 사용하는 FFL을 근사하는 최초의 편향되지 않은 알고리즘을 제공합니다. 더욱이, EuGens는 파라미터 수와 계산 오버헤드를 줄이면서 FFL의 표현력과 적응성을 유지합니다. 또한, 역전파를 우회하는 레이어별 지식 전달 기술을 제시하여, EUGens를 사전 학습된 모델에 효율적으로 적용할 수 있도록 합니다. 실험적으로, Transformer 및 MLP에 EUGens를 통합하면 이미지 분류, 언어 모델 사전 훈련 및 3D 장면 재구성 등 다양한 작업에서 추론 속도(최대 27%) 및 메모리 효율성(최대 30%)이 크게 향상되는 것을 확인했습니다. 전반적으로, 본 연구의 결과는 실제 시나리오에서 대규모 신경망의 확장 가능한 배포를 위한 EUGens의 잠재력을 보여줍니다.

Efficient neural networks are essential for scaling machine learning models to real-time applications and resource-constrained environments. Fully-connected feedforward layers (FFLs) introduce computation and parameter count bottlenecks within neural network architectures. To address this challenge, in this work, we propose a new class of dense layers that generalize standard fully-connected feedforward layers, \textbf{E}fficient, \textbf{U}nified and \textbf{Gen}eral dense layers (EUGens). EUGens leverage random features to approximate standard FFLs and go beyond them by incorporating a direct dependence on the input norms in their computations. The proposed layers unify existing efficient FFL extensions and improve efficiency by reducing inference complexity from quadratic to linear time. They also lead to \textbf{the first} unbiased algorithms approximating FFLs with arbitrary polynomial activation functions. Furthermore, EuGens reduce the parameter count and computational overhead while preserving the expressive power and adaptability of FFLs. We also present a layer-wise knowledge transfer technique that bypasses backpropagation, enabling efficient adaptation of EUGens to pre-trained models. Empirically, we observe that integrating EUGens into Transformers and MLPs yields substantial improvements in inference speed (up to \textbf{27}\%) and memory efficiency (up to \textbf{30}\%) across a range of tasks, including image classification, language model pre-training, and 3D scene reconstruction. Overall, our results highlight the potential of EUGens for the scalable deployment of large-scale neural networks in real-world scenarios.