STAER: 시간 정렬 기반 재학습을 통한 지속적인 스파이킹 신경망 학습

STAER: Temporal Aligned Rehearsal for Continual Spiking Neural Network

스파이킹 신경망(SNN)은 이벤트 기반의 시간적 특성으로 인해 지속적인 학습에 적합하지만, 클래스 증분 학습(CIL)에 적용될 때 재앙적 망각과 스파이크 패턴의 시간적 불일치 문제가 발생합니다. 본 연구에서는 이러한 문제를 해결하기 위해, 시간 구조를 명시적으로 보존하여 SNN과 인공 신경망(ANN) 간의 성능 격차를 줄이는 새로운 프레임워크인 스파이킹 시간 정렬 및 경험 재생(STAER)을 제안합니다. STAER는 미분 가능한 Soft-DTW 정렬 손실을 사용하여 스파이크 타이밍의 정확성을 유지하고, 출력 로짓에 대한 시간 확장 및 축소 메커니즘을 적용하여 강력한 표현 학습을 가능하게 합니다. 심층 ResNet19 스파이킹 구조에 구현된 STAER은 Sequential-MNIST 및 Sequential-CIFAR10 데이터셋에서 최첨단 성능을 달성했습니다. 실험 결과는 제안하는 방법이 강력한 ANN 기반 모델(ER, DER++)과 동등하거나 더 나은 성능을 보이면서도 생물학적으로 타당한 동역학을 유지함을 보여줍니다. 추가적인 분석을 통해 명시적인 시간 정렬이 표현 안정성에 매우 중요하다는 것을 확인했으며, 이는 STAER를 스파이크 기반의 장기 학습을 위한 확장 가능한 솔루션으로 자리매김하게 합니다. 관련 코드는 https://github.com/matteogianferrari/staer 에서 확인할 수 있습니다.

Spiking Neural Networks (SNNs) are inherently suited for continuous learning due to their event-driven temporal dynamics; however, their application to Class-Incremental Learning (CIL) has been hindered by catastrophic forgetting and the temporal misalignment of spike patterns. In this work, we introduce Spiking Temporal Alignment with Experience Replay (STAER), a novel framework that explicitly preserves temporal structure to bridge the performance gap between SNNs and ANNs. Our approach integrates a differentiable Soft-DTW alignment loss to maintain spike timing fidelity and employs a temporal expansion and contraction mechanism on output logits to enforce robust representation learning. Implemented on a deep ResNet19 spiking backbone, STAER achieves state-of-the-art performance on Sequential-MNIST and Sequential-CIFAR10. Empirical results demonstrate that our method matches or outperforms strong ANN baselines (ER, DER++) while preserving biologically plausible dynamics. Ablation studies further confirm that explicit temporal alignment is critical for representational stability, positioning STAER as a scalable solution for spike-native lifelong learning. Code is available at https://github.com/matteogianferrari/staer.