모든 타임스탬프가 똑같이 중요하지 않다: 스파이킹 신경망을 위한 선택적 정렬 지식 증류

Not All Timesteps Matter Equally: Selective Alignment Knowledge Distillation for Spiking Neural Networks

뇌에 영감을 받은 스파이크 기반 신경망(SNN)은 높은 에너지 효율을 달성합니다. 그러나 SNN과 인공 신경망(ANN) 간의 성능 격차가 여전히 존재합니다. 지식 증류(KD)는 SNN의 성능을 향상시키기 위해 일반적으로 사용되지만, 기존 방법은 일반적으로 교사 네트워크 또는 시간 간 자가 증류를 통해 모든 타임스탬프에 걸쳐 균일한 정렬을 강제하며, 이는 각 타임스탬프별 예측이 동일하게 취급되어야 한다는 전제를 암시합니다. 실제로 SNN의 예측은 시간이 지남에 따라 변하고 진화하며, 최종 통합된 출력이 정확하더라도 모든 중간 타임스탬프가 개별적으로 정확할 필요는 없습니다. 이러한 조건에서 효과적인 증류는 모든 타임스탬프를 동일한 감독 목표로 강제하는 것이 아니라, 유용한 시간적 동역학을 유지하면서 오류가 있는 타임스탬프에 대한 교정 지침을 제공해야 합니다. 이 문제를 해결하기 위해, 우리는 선택적 정렬 지식 증류(SeAl-KD)를 제안합니다. SeAl-KD는 오류가 있는 타임스탬프에서 경쟁하는 로짓을 동일하게 만들어 클래스 수준 및 시간적 지식을 선택적으로 정렬하고, 신뢰도와 타임스탬프 간 유사성을 기반으로 시간적 정렬에 가중치를 부여합니다. 정적 이미지 및 뉴로모픽 이벤트 기반 데이터셋에 대한 광범위한 실험을 통해 기존 증류 방법보다 일관되게 성능이 향상되는 것을 확인했습니다. 코드: https://github.com/KaiSUN1/SeAl

Spiking neural networks (SNNs), which are brain-inspired and spike-driven, achieve high energy efficiency. However, a performance gap between SNNs and artificial neural networks (ANNs) still remains. Knowledge distillation (KD) is commonly adopted to improve SNN performance, but existing methods typically enforce uniform alignment across all timesteps, either from a teacher network or through inter-temporal self-distillation, implicitly assuming that per-timestep predictions should be treated equally. In practice, SNN predictions vary and evolve over time, and intermediate timesteps need not all be individually correct even when the final aggregated output is correct. Under such conditions, effective distillation should not force every timestep toward the same supervision target, but instead provide corrective guidance to erroneous timesteps while preserving useful temporal dynamics. To address this issue, we propose Selective Alignment Knowledge Distillation (SeAl-KD), which selectively aligns class-level and temporal knowledge by equalizing competing logits at erroneous timesteps and reweighting temporal alignment based on confidence and inter-timestep similarity. Extensive experiments on static image and neuromorphic event-based datasets demonstrate consistent improvements over existing distillation methods. The code is available at https://github.com/KaiSUN1/SeAl