움직임 속의 불꽃: 효율적인 스파이킹 동작 인식 시스템을 위한 비디오 주파수 대역 최적화

Fire on Motion: Optimizing Video Pass-bands for Efficient Spiking Action Recognition

스파이킹 신경망(SNN)은 에너지 효율성, 생물학적 타당성 및 고유한 시간 처리 능력으로 인해 컴퓨터 비전 분야에서 주목받고 있습니다. 그러나 이러한 시간 처리 능력이 있음에도 불구하고, 대부분의 연구는 정적인 이미지 벤치마크에 집중되어 있으며, SNN은 여전히 인공 신경망(ANN)에 비해 동적인 비디오 작업에서 성능이 떨어지는 경향이 있습니다. 본 연구에서는 이러한 성능 차이의 근본적인 원인으로, 표준적인 스파이킹 동작이 정적인 내용을 강조하고 움직임과 관련된 주파수 대역을 감쇠시키는 시간 저역 필터 역할을 한다는 '주파수 대역 불일치' 현상을 규명했습니다. 이 현상은 SNN이 정적인 작업에서는 ANN에 근접한 성능을 보이지만, 풍부한 시간적 이해를 요구하는 작업에서는 뒤쳐지는 이유를 설명합니다. 이러한 문제를 해결하기 위해, 본 연구에서는 작업과 관련된 움직임 주파수 대역으로 시간 주파수 대역을 최적화하는 플러그 앤 플레이 모듈인 'Pass-Bands Optimizer (PBO)'를 제안합니다. PBO는 단 2개의 학습 가능한 파라미터와 의미론 및 경계를 유지하는 가벼운 제약 조건을 도입하며, 계산 오버헤드가 미미하고 아키텍처 변경이 필요하지 않습니다. PBO는 식별에 거의 기여하지 않는 정적인 구성 요소를 의도적으로 억제하여, 스파이킹 활동이 움직임과 관련된 내용에 집중되도록 효과적으로 고주파 필터링을 수행합니다. UCF101 데이터셋에서 PBO는 10% 이상의 성능 향상을 보였습니다. 더욱 복잡한 다중 모드 동작 인식 및 약하게 감독되는 비디오 이상 탐지 작업에서도 PBO는 일관되고 상당한 성능 향상을 제공하며, SNN 기반 비디오 처리 및 이해에 대한 새로운 관점을 제시합니다.

Spiking neural networks (SNNs) have gained traction in vision due to their energy efficiency, bio-plausibility, and inherent temporal processing. Yet, despite this temporal capacity, most progress concentrates on static image benchmarks, and SNNs still underperform on dynamic video tasks compared to artificial neural networks (ANNs). In this work, we diagnose a fundamental pass-band mismatch: Standard spiking dynamics behave as a temporal low pass that emphasizes static content while attenuating motion bearing bands, where task relevant information concentrates in dynamic tasks. This phenomenon explains why SNNs can approach ANNs on static tasks yet fall behind on tasks that demand richer temporal understanding.To remedy this, we propose the Pass-Bands Optimizer (PBO), a plug-and-play module that optimizes the temporal pass-band toward task-relevant motion bands. PBO introduces only two learnable parameters, and a lightweight consistency constraint that preserves semantics and boundaries, incurring negligible computational overhead and requires no architectural changes. PBO deliberately suppresses static components that contribute little to discrimination, effectively high passing the stream so that spiking activity concentrates on motion bearing content. On UCF101, PBO yields over ten percentage points improvement. On more complex multi-modal action recognition and weakly supervised video anomaly detection, PBO delivers consistent and significant gains, offering a new perspective for SNN based video processing and understanding.