SpikingNav: 스파이크 신경망 기반의 견고한 로봇 내비게이션

SpikingNav: Robust Embodied Navigation with Spiking Neural Policies

로봇 내비게이션은 에이전트가 실제 환경에서 자율적인 관점에서 얻은 정보를 바탕으로 연속적인 의사 결정을 내려야 하는 작업입니다. 기존의 인공신경망(ANN) 기반 내비게이션 모델들은 뛰어난 성능을 보여주었지만, 종종 많은 계산량과 높은 리소스 요구량을 가지며, 시각적 왜곡에 취약할 수 있습니다. 스파이크 신경망(SNN)은 이벤트 기반의 계산 방식을 사용하고 고유한 시간적 특성을 가지고 있어, 제한된 자원을 가진 플랫폼에서 효율적이고 견고한 내비게이션을 구현하는 데 유망합니다. 그러나 스파이크 기반 센싱과 정책 동역학이 시각 정보가 풍부한 로봇 내비게이션에서 얼마나 견고성을 향상시킬 수 있는지는 아직 해결해야 할 문제입니다. 본 논문에서는 견고한 실내 로봇 내비게이션을 위한 스파이크 신경망 프레임워크인 SpikingNav를 제안합니다. SpikingNav는 스파이크 기반 센싱 인코더(SSE)와 스파이크 정책 네트워크(SPN)로 구성됩니다. SSE는 스파이크 기반 구조를 사용하여 작업에 적합한 시각적 특징을 추출하고, SPN은 막 전위 통합, 임계값 처리 및 스파이크 유도 재설정을 통해 순환적인 정책 상태를 유지합니다. 이러한 방식으로 SpikingNav는 SNN의 동적 특성과 스파이크 활성화를 활용하여 내비게이션 성능과 견고성을 향상시킵니다. 우리는 SpikingNav를 PointNav와 ObjectNav 환경에서, 깨끗한 데이터와 시각적 왜곡이 있는 데이터 모두에 대해 평가했습니다. SpikingNav는 동일한 ANN 기반 모델보다 적은 파라미터와 낮은 계산량으로 경쟁력 있는 성능을 보였으며, 특히 시각적 왜곡 상황에서 더 강한 견고성을 보여주었습니다. 예를 들어, SpikingNav는 ObjectNav의 성공률을 31.05%에서 34.12%로 향상시키고, 시각적 왜곡이 있는 환경에서의 평균 성공률을 8.45%에서 13.71%로 높여 스파이크 기반 센싱 및 정책 동역학의 이점을 입증했습니다. 또한, 우리의 스파이크 기반 센싱 방법을 Thruster-V2 뉴로모픽 칩에 적용하여 실제 하드웨어에서의 실행 가능성을 검증했습니다. 이러한 물리적 하드웨어 검증은 SpikingNav가 사이버-물리 시스템에서 실제 뉴로모픽 하드웨어 위에 구현될 수 있음을 보여줍니다.

Embodied navigation requires an agent to make sequential decisions from egocentric observations in a physical environment. Existing Artificial Neural Network (ANN)-based navigation models have achieved strong performance, yet they often rely on dense computation and may degrade under visual corruptions. Spiking neural networks (SNNs) provide event-driven computation and intrinsic temporal dynamics, which are promising for compact and robust navigation on resource-constrained platforms. However, whether spike-based sensing and policy dynamics can improve robustness in visually rich embodied navigation remains an open problem. This paper proposes SpikingNav, a spiking framework for robust indoor embodied navigation. It contains a Spiking Sensing Encoder (SSE) and a Spiking Policy Network (SPN). The SSE extracts task-conditioned visual features with a spike-based backbone. The SPN maintains a recurrent policy state through membrane integration, thresholding, and spike-triggered reset. In this way, SpikingNav exploits the dynamic properties and spike activations of SNNs to improve navigation performance and robustness. We evaluate SpikingNav on PointNav and ObjectNav under clean observations and visual corruptions. SpikingNav achieves competitive clean performance and stronger robustness with fewer parameters and lower per-step computation than a matched ANN baseline. For instance, SpikingNav improves ObjectNav success from 31.05% to 34.12%, and raises the average success under visual corruptions from 8.45% to 13.71%, demonstrating the benefits of spike-based sensing and policy dynamics. We further validate the deployability of our spike-based sensing method on the Thruster-V2 neuromorphic chip. This physical hardware validation shows that SpikingNav can be instantiated on a real neuromorphic substrate for cyber-physical systems.