Jetson-PI: 예측 기반 비동기 추론을 통한 로봇 제어 시스템 탑재 실시간 제어를 향하여

Jetson-PI: Towards Onboard Real-Time Robot Control via Foresight-Aligned Asynchronous Inference

비전-언어-행동(VLA) 모델은 다양한 임베디드 작업에서 뛰어난 성능을 보여왔습니다. 그러나 Jetson Orin과 같은 저전력 온보드 장치에 VLA 모델을 배포하는 것은 높은 계산 복잡성으로 인해 상당한 추론 지연 및 낮은 제어 빈도를 야기하여 여전히 어려운 과제입니다. 비동기 추론은 행동 실행 및 후속 추론을 병렬화하여 이 지연 시간을 부분적으로 완화할 수 있지만, 인식-실행 불일치 및 긴 반응 시간이라는 두 가지 중요한 문제를 야기합니다. 본 논문에서는 예측 기반 비동기 교정을 통해 온보드 장치에 VLA 모델을 효율적으로 배포하는 방법인 Jetson-PI를 제안합니다. 불일치를 해결하기 위해, 우리는 약속된 행동에 따라 미래 환경 표현을 예측하여 액션 전문가가 직접 향후 시간 단계에서 행동을 예측할 수 있도록 하는 경량화된 미래 교정 모듈을 훈련했습니다. 반응 시간을 줄이기 위해, 우리는 VLM 및 액션 전문가 호출 횟수를 적응적으로 균형 있게 조정하는 신뢰도 기반 스케줄링 최적화를 도입했으며, CUDA 그래프 재사용, GPU-resident 중간 버퍼링 및 플로우 언롤링과 같은 시스템 수준 가속화 기능을 추가했습니다. 광범위한 실험 결과는 Jetson-PI가 NVIDIA Jetson Orin에서 PyTorch 및 vla.cpp를 사용한 기존 방식에 비해 제어 빈도를 각각 8.66배, 5.41배 향상시켰으며, LIBERO 벤치마크에서 평균 성공률이 VLASH보다 14.8% 더 높다는 것을 보여줍니다. 저희의 비동기 알고리즘 코드는 https://github.com/PKU-SEC-Lab/Jetson-PI 에서 이용 가능하며, 효율적인 llama.cpp 기반 추론 엔진은 https://github.com/PKU-SEC-Lab/Jetson-PI-Edge 에서 이용 가능합니다.

Vision-Language-Action (VLA) models have achieved impressive performance on diverse embodied tasks. However, deploying VLA models on low-power onboard devices, such as the Jetson Orin, remains challenging due to their high computational complexity, which leads to substantial inference latency and low control frequency. Asynchronous inference can partially mask this latency by parallelizing action execution and subsequent inference, but it introduces two critical issues: perception-execution misalignment and long reaction time. In this paper, we propose Jetson-PI, a method for efficient VLA deployment on onboard devices via Foresight-Aligned Asynchronous Correction. To address misalignment, we train a lightweight future correction module that predicts future environment representation conditioned on committed actions, enabling the action expert to directly predict actions from the future time step. To reduce reaction time, we introduce confidence-based scheduling optimization that adaptively balances VLM and action expert invocations, complemented by system-level accelerations including CUDA graph reuse, GPU-resident intermediate buffering, and flow unrolling. Extensive experiments demonstrate that Jetson-PI achieves 8.66x and 5.41x improvements in control frequency compared with naive PyTorch and vla.cpp on NVIDIA Jetson Orin, while outperforming VLASH by 14.8\% in average success rate on the LIBERO benchmark. The code of our asynchronous algorithm is available on https://github.com/PKU-SEC-Lab/Jetson-PI, and our efficient llama.cpp-based inference engine is available on https://github.com/PKU-SEC-Lab/Jetson-PI-Edge.