로봇 자동화 물류 시스템에서의 효율적인 경로 탐색을 위한 뉴로모픽 강화 학습 프레임워크

A Neuromorphic Reinforcement Learning Framework for Efficient Pathfinding in Robotic Mobile Fulfillment Systems

동적 환경 변화, 제한된 작업 공간, 그리고 엄격한 실시간 제약 조건은 로봇 자동화 물류 시스템(RMFS)에서의 경로 탐색 문제를 기존의 검색 기반 및 규칙 기반 방법으로 해결하기 어렵게 만듭니다. 이러한 방법들은 일반적으로 높은 계산 복잡성과 긴 의사 결정 지연 시간을 초래합니다. 강화 학습(RL)은 강력한 대안으로 부상했지만, 제한된 자원을 가진 하드웨어에서 극도로 낮은 에너지 효율을 갖는 학습된 정책을 적용하는 것은 여전히 해결해야 할 과제입니다. 본 논문에서는 SDQN-RMFS라는 엔드투엔드 프레임워크를 제시합니다. 이 프레임워크는 고정밀 인공 신경망(ANN)으로 훈련된 RL 정책을 뉴로모픽 칩에 구현하는 과정을 포함하며, 이는 고품질의 결과를 제공합니다. 희소한 이벤트에 의해 트리거될 때만 연산을 수행함으로써, 본 프레임워크는 RMFS 경로 탐색에서 매우 낮은 전력 소비를 가능하게 합니다. 전체 파이프라인은 다음과 같이 작동합니다. 먼저, 충돌을 허용하는 전략을 사용하여 유용한 궤적을 확보하고 효율적으로 ANN 정책을 학습합니다. 그런 다음, 하드 레이블 지식 증류 접근 방식을 통해 이 정책을 스파이크 신경망(SNN)으로 변환합니다. 이를 통해 ANN에서 SNN으로의 변환 과정에서 출력 분포 불일치를 효과적으로 해결하여 정책 성능을 유지하면서 추론 지연 시간을 크게 줄입니다. 하드웨어 실험 결과, 본 프레임워크는 고성능 GPU 기준에 비해 최대 11,281배의 에너지 절감과 거의 두 배에 달하는 지연 시간 감소를 보여주었으며, 원래 학습된 정책과 동등한 수준의 의사 결정 품질을 유지했습니다. 이러한 결과는 물리적 뉴로모픽 추론이 대규모 RMFS 운영을 위한 실용적이고 에너지 효율적인 방법임을 입증합니다.

Dynamic environmental changes, confined workspaces, and stringent real-time constraints make pathfinding in Robotic Mobile Fulfillment Systems (RMFS) a challenging problem for conventional search- and rule-based methods, which typically suffer from high computational complexity and long decision latency. While reinforcement learning (RL) has emerged as a powerful alternative, deploying learned policies with extreme energy efficiency on resource-constrained hardware remains an open challenge. We present SDQN-RMFS, an end-to-end framework that achieves high-fidelity deployment of an RL-trained policy from a full-precision artificial neural network (ANN) through to a neuromorphic chip. By computing only when triggered by sparse events, this framework unlocks ultra-low-power RMFS pathfinding. Our full-stack pipeline operates as follows: an ANN policy is first efficiently trained via a collision-allowing strategy to densify informative trajectories, and then converted into a spiking neural network (SNN) via a hard-label knowledge distillation approach. This effectively addresses the output distribution mismatch, preserving policy capability across the ANN-to-SNN pipeline while substantially reducing inference latency. Hardware experiments demonstrate up to 11,281$\times$ energy savings and a nearly two-fold reduction in latency compared to a high-performance GPU baseline, while maintaining decision quality on par with the original trained policy. These results establish physical neuromorphic inference as a practical and energy-sustainable pathway for large-scale RMFS operations.