자동 회귀 정책을 이용한 실시간 실행

Real-Time Execution with Autoregressive Policies

실시간 실행은 비전-언어-행동 모델의 현실적인 활용을 위해 필수적이며, 이는 부드러운 행동 경로와 빠른 반응성을 보장하는 비동기 추론을 통해 가능합니다. 하지만 최근 연구들은 주로 확산 정책에 초점을 맞추고 있으며, 동기식 추론에서 더 느린 실행 속도를 가진 자동 회귀 정책의 경우 실시간 실행이 더욱 중요합니다. 본 연구에서는 토큰화 범위를 조정하고 제약된 디코딩 방식을 적용함으로써, 자동 회귀 정책이 엄격한 지연 시간 제한을 충족하여 여러 경로를 동시에 탐색하고 성능을 극대화하며 실시간 실행을 달성할 수 있음을 보여줍니다. 시뮬레이션 및 실제 환경에서 실험 결과, 자동 회귀 정책은 동등 수준의 플로우 매칭 정책보다 일관되게 뛰어난 성능을 보이며, 동기식 추론을 통해 작업 완료 속도가 크게 향상되는 것을 확인했습니다. 이러한 결과는 자동 회귀 정책이 지시 따르기에 있어서 더 빠른 수렴과 더 나은 일반화 능력과 같은 고유한 장점을 가지고 있으며, 실시간 실행을 지원하는 경쟁력 있는 정책 유형으로 유지될 수 있음을 뒷받침합니다.

Real-time execution, enabled by asynchronous inference that ensures both smooth action trajectories and fast reactivity, is critical for realistic deployments of large-scale Vision-Language-Action models. However, recent work on real-time execution primarily focuses on variants of diffusion policies, even though it is more critical for autoregressive policies given their slower rollout speed in synchronous inference. In contrast, we demonstrate that autoregressive policies can achieve real-time execution by adjusting the tokenization horizon and applying constrained decoding, thereby guaranteeing strict latency bounds that enable multi-trajectory decoding to maximize performance. Across simulated and real-world environments, we find that the autoregressive policy consistently outperforms its equivalent-level flow-matching policy counterpart while achieving significantly improved task completion speeds from synchronous inference. Coupled with the inherent advantages of autoregressive policies, such as faster convergence and better generalizability in instruction-following, these results confirm that autoregressive policies can remain a competitive policy type supporting real-time execution.