SpikeDecoder: 스파이킹 뉴럴 네트워크를 활용한 GPT 아키텍처 구현

SpikeDecoder: Realizing the GPT Architecture with Spiking Neural Networks

Transformer 아키텍처는 자연어 처리에 가장 강력한 도구로 여겨지지만, 복잡한 연산이 많아 에너지 소비가 높다는 단점이 있습니다. 이러한 문제를 해결하기 위해, 본 연구에서는 기존 인공 신경망(ANN)에 비해 에너지 효율적인 스파이킹 뉴럴 네트워크(SNN)를 고려합니다. SNN은 정보 처리를 이벤트 기반으로 수행하므로 자연스럽게 에너지 소비를 줄일 수 있지만, 학습시키기 어렵다는 단점이 있습니다. 따라서 많은 SNN 기반 모델들이 사전 훈련된 ANN을 변환하여 이러한 문제를 해결합니다. 최근에는 Transformer 모델 구조의 직접적으로 학습 가능한 SNN 기반 모델 개발 시도가 있었지만, 주로 컴퓨터 비전 분야에 적용되었고, 인코더 블록만 포함하는 경우가 많았습니다. 본 논문에서는 자연어 처리 응용 분야를 위해 완전히 SNN 기반으로 구현된 Transformer 디코더 블록인 SpikeDecoder를 제안합니다. 일련의 실험을 통해 ANN 모델의 다양한 블록을 스파이크 기반 대안으로 대체했을 때 발생하는 성능 변화를 분석하고, 효율성과 성능 저하 요인을 파악합니다. 또한, 잔차 연결과 SNN에 적합한 정규화 기법의 역할을 조사합니다. 모델 아키텍처 외에도 텍스트 데이터를 스파이크로 변환하기 위한 다양한 임베딩 방법을 제안하고 비교합니다. 마지막으로, 제안된 SNN 기반 디코더 블록이 ANN 기준 모델 대비 이론적으로 에너지 소비를 87%에서 93%까지 줄일 수 있음을 보여줍니다.

The Transformer architecture is widely regarded as the most powerful tool for natural language processing, but due to a high number of complex operations, it inherently faces the issue of high energy consumption. To address this issue, we consider Spiking Neural Networks (SNNs), which are an energy-efficient alternative to conventional Artificial Neural Networks (ANNs) due to their naturally event-driven approach to processing information. However, this inherently makes them difficult to train. Often, many SNN-based models circumvent this issue by converting pre-trained ANNs. More recently, attempts have been made to design directly trainable SNN-based adaptations of the Transformer model structure. Although the results showed great promise, the application field was computer vision. Moreover, the proposed model incorporates only encoder blocks. In this paper, we propose SpikeDecoder, a fully SNN-based implementation of the Transformer decoder block, for applications in natural language processing. In a series of experiments, we analyze the impact of exchanging different blocks of the ANN model with spike-based alternatives to identify trade-offs and significant sources of performance loss. We further investigate the role of residual connections and the selection of SNN-compatible normalization techniques. Besides the work on the model architecture, we formulate and compare different embedding methods to project text data into spikes. Finally, we demonstrate that our proposed SNN-based decoder block reduces the theoretical energy consumption by 87% to 93% compared to the ANN baseline.