스파이크 기반 대규모 언어 모델

Spike-driven Large Language Model

현재 대규모 언어 모델(LLM)은 주로 대규모의 밀집 행렬 곱셈을 기반으로 합니다. 뇌의 정보 처리 메커니즘에서 영감을 받아, 우리는 근본적인 질문을 탐구합니다. 즉, 뇌의 스파이크 기반 특성을 LLM 추론에 어떻게 효과적으로 통합할 수 있는가? 스파이크 신경망(SNN)은 스파이크 기반 특성을 가지고 있으며, 일부 연구에서는 SNN과 트랜스포머를 결합하려는 시도가 있었습니다. 그러나, 수십억 개의 파라미터를 가진 스파이크 기반 LLM을 구축하고, 오직 희소 덧셈 연산만을 사용하는 것은 SNN 분야에서 여전히 어려운 과제입니다. 기존의 스파이크 인코딩 방식에서 LLM 수준에서 나타나는 표현 능력의 제한과 희소성 문제를 해결하기 위해, 우리는 SDLLM이라는 스파이크 기반 대규모 언어 모델을 제안합니다. SDLLM은 희소 덧셈 연산을 통해 밀집 행렬 곱셈을 제거합니다. 특히, 모델의 의미 공간과 일치하도록 양자화 과정을 보장하고, 이진 스파이크로 인한 표현 저하를 완화하기 위해, 플러그 앤 플레이 방식의 감마-SQP 2단계 스파이크 인코딩 방법을 사용합니다. 또한, 대칭 양자화 및 막 전위 클리핑 메커니즘을 사용하여 양방향 인코딩을 도입함으로써, 스파이크 훈련에서 발화 횟수가 높거나 거의 없는 스파이크를 주도적으로 생성하여 모델의 스파이크 발화율을 크게 줄이고, 동시에 시간 단계를 절반으로 줄입니다. 실험 결과는 SDLLM이 추론 비용을 크게 줄일 뿐만 아니라, 스파이크 기반 패러다임 하에서 최첨단 수준의 성능을 달성한다는 것을 보여줍니다. 예를 들어, 기존의 스파이크 기반 LLM과 비교했을 때, SDLLM은 에너지 소비를 7배 줄이고 정확도를 4.2% 향상시켰습니다. 우리의 모델은 차세대 이벤트 기반 뉴로모픽 칩의 아키텍처 설계에 영감을 제공합니다.

Current Large Language Models (LLMs) are primarily based on large-scale dense matrix multiplications. Inspired by the brain's information processing mechanism, we explore the fundamental question: how to effectively integrate the brain's spiking-driven characteristics into LLM inference. Spiking Neural Networks (SNNs) possess spike-driven characteristics, and some works have attempted to combine SNNs with Transformers. However, achieving spike-driven LLMs with billions of parameters, relying solely on sparse additions, remains a challenge in the SNN field. To address the issues of limited representational capacity and sparsity in existing spike encoding schemes at the LLM level, we propose SDLLM, a spike-driven large language model that eliminates dense matrix multiplications through sparse addition operations. Specifically, we use the plug-and-play gamma-SQP two-step spike encoding method to ensure that the quantization process aligns with the model's semantic space, mitigating representation degradation caused by binary spikes. Furthermore, we introduce bidirectional encoding under symmetric quantization and membrane potential clipping mechanisms, leading to spike trains with no or low firing counts dominating, significantly reducing the model's spike firing rate, while halving the number of time steps. Experimental results show that SDLLM not only significantly reduces inference costs but also achieves state-of-the-art task performance under the spike-based paradigm. For example, compared to previous spike-based LLMs, SDLLM reduces energy consumption by 7x and improves accuracy by 4.2%. Our model provides inspiration for the architecture design of the next generation of event-driven neuromorphic chips.