CLANE: 이벤트 카메라로부터 뉴로모픽 하드웨어에서 동작을 지속적으로 학습하는 방법

CLANE: Continual Learning of Actions on Neuromorphic Hardware from Event Cameras

AR/VR 및 로봇 응용 분야에서 새로운 인간 행동을 인식하고 기존 클래스를 잊지 않고 지속적으로 학습하는 것은 필수적인 요구 사항입니다. 이러한 응용 분야에서는 개인 정보 보호와 낮은 지연 시간 적응을 위해 장치 내 처리 및 학습이 중요합니다. 이벤트 카메라는 희소하고 비동기적 출력을 통해 시각 감지의 효율성을 높이며, 이는 뉴로모픽 처리에 자연스럽게 호환됩니다. 하지만 이전에는 뉴로모픽 하드웨어를 사용하여 이벤트 기반 동작 인식을 위한 지속적인 장치 내 학습 파이프라인을 구현한 시스템은 없었습니다. 본 논문에서는 Intel Loihi 2에 엔드 투 엔드로 배포된, 이벤트 카메라로부터 뉴로모픽 하드웨어에서 동작을 지속적으로 학습하는 방법인 CLANE을 제시합니다. CLANE은 시공간 특징 추출을 위한 스파이킹 2D CNN과 온칩 학습 헤드 역할을 하는 CLP-SNN을 결합하며, 시간 집계 레이어와 고정 소수점 정규화 레이어를 통해 동작 클립에 적용됩니다. THU E-ACT-50 데이터셋(실제 환경에서 촬영된 50개 클래스)에서 CLANE은 지속적인 학습 작업에서 70.4%의 정확도를 달성했으며, 세 가지 평가 수준에서 수행된 동일 알고리즘 간 플랫폼 비교 테스트를 통해 순차적 CNN+GRU+CLP 기반 GPU 시스템 대비 에너지 소비를 100배 이상 줄이고 지연 시간을 16배 낮췄습니다. 또한, 본 논문에서는 Loihi 2에 새로운 모듈인 시간 집계 레이어와 고정 소수점 정규화 레이어를 적용했습니다.

Recognizing and continuously learning novel human actions without forgetting prior classes is a requirement for emerging AR/VR and robotics applications. For these applications, both on-device processing and learning are essential for privacy and low-latency adaptation. Event cameras address the efficiency of visual sensing with sparse, asynchronous output that is naturally compatible with neuromorphic processing. Yet no prior system has deployed a continual on-device learning pipeline for event-based action recognition using neuromorphic hardware. We present CLANE, Continual Learning of Actions on Neuromorphic Hardware from Event Cameras, deployed end-to-end on Intel Loihi 2. CLANE combines a spiking 2D CNN for spatiotemporal feature extraction with CLP-SNN as its on-chip learning head, extended to action clips via a Temporal Aggregation Layer and a fixed-point Normalization Layer, both novel Loihi 2 modules. On THU E-ACT-50, a 50-class dataset captured under real-world conditions, CLANE achieves 70.4% accuracy in a continual learning task while delivering more than 100x energy reduction and 16x lower latency over a sequential CNN+GRU+CLP edge GPU baseline, validated through iso-algorithm cross-platform benchmarking across three evaluation levels.