Ge²mS-T: 스파이킹 트랜스포머의 초고효율을 위한 다차원 그룹화

Ge$^\text{2}$mS-T: Multi-Dimensional Grouping for Ultra-High Energy Efficiency in Spiking Transformer

스파이킹 뉴럴 네트워크(SNN)는 인공 신경망(ANN)에 비해 뛰어난 에너지 효율을 제공합니다. 그러나 SNN을 스파이킹 비전 트랜스포머(S-ViT)에 적용할 때, 학습 및 추론 성능 측면에서 상당한 어려움이 발생합니다. 기존의 ANN-SNN 변환 및 시공간 역전파(STBP) 방식과 같은 방법들은 메모리, 정확도 및 에너지 소비를 동시에 최적화하는 데 있어 근본적인 한계를 가지고 있습니다. 이러한 문제점을 해결하기 위해, 우리는 시간, 공간 및 네트워크 구조의 세 가지 차원에서 그룹화된 연산을 구현하는 새로운 아키텍처인 Ge²mS-T를 제안합니다. 특히, 그룹화된 지수 코딩 기반의 Integrate-and-Fire(ExpG-IF) 모델을 도입하여, 일정한 학습 오버헤드로 손실 없는 변환을 가능하게 하고, 스파이크 패턴을 정밀하게 제어할 수 있도록 합니다. 또한, 멀티 스케일 토큰 그룹화 및 하이브리드 어텐션-컨볼루션 프레임워크 내에서 곱셈 연산 없이 계산 복잡도를 줄이는 Group-wise Spiking Self-Attention (GW-SSA) 방식을 개발했습니다. 실험 결과, 제안하는 방법은 어려운 벤치마크에서 뛰어난 성능과 초고효율을 달성하는 것을 확인했습니다. 우리가 알고 있는 한, 본 연구는 S-ViT에서 메모리 오버헤드, 학습 능력 및 에너지 예산의 삼중 문제를 해결하기 위한 다차원 그룹화 연산을 체계적으로 구축하는 최초의 연구입니다.

Spiking Neural Networks (SNNs) offer superior energy efficiency over Artificial Neural Networks (ANNs). However, they encounter significant deficiencies in training and inference metrics when applied to Spiking Vision Transformers (S-ViTs). Existing paradigms including ANN-SNN Conversion and Spatial-Temporal Backpropagation (STBP) suffer from inherent limitations, precluding concurrent optimization of memory, accuracy and energy consumption. To address these issues, we propose Ge$^\text{2}$mS-T, a novel architecture implementing grouped computation across temporal, spatial and network structure dimensions. Specifically, we introduce the Grouped-Exponential-Coding-based IF (ExpG-IF) model, enabling lossless conversion with constant training overhead and precise regulation for spike patterns. Additionally, we develop Group-wise Spiking Self-Attention (GW-SSA) to reduce computational complexity via multi-scale token grouping and multiplication-free operations within a hybrid attention-convolution framework. Experiments confirm that our method can achieve superior performance with ultra-high energy efficiency on challenging benchmarks. To our best knowledge, this is the first work to systematically establish multi-dimensional grouped computation for resolving the triad of memory overhead, learning capability and energy budget in S-ViTs. Code is available at https://github.com/hzc1208/Ge2mST.