TurboVLA: RTX 4090에서 32Hz의 실시간 비전-언어-액션 모델 (1GB 미만의 VRAM 사용)

TurboVLA: Real-Time Vision-Language-Action Model at 32 Hz on an RTX 4090 with <1 GB VRAM

비전-언어-액션(VLA) 모델은 일반적으로 시각적 정보를 대규모 언어 모델(LLM)의 표현 공간으로 투영한 후 로봇 액션으로 디코딩하는 $V o L o A$ 방식으로 작동합니다. 이러한 방식은 효과적이지만, 정책 실행 시 상당한 계산 및 메모리 오버헤드를 발생시킵니다. 본 연구에서는 TurboVLA라는 새로운 VLA 패러다임을 소개하며, 기존의 $V o L o A$ 방식을 직접적인 $V + L o A$ 매핑으로 재구성합니다. TurboVLA는 시각과 액션 간의 인터페이스로 LLM을 사용하는 대신, 시각적 정보와 언어 지시를 독립적으로 인코딩하고, 경량 양방향 비전-언어 상호 작용을 통해 정보를 직접 교환하며, 작은 디코더를 사용하여 연속적인 액션 세그먼트를 예측합니다. 이러한 간단한 설계는 시각 및 언어 특징으로부터 작업에 맞는 표현을 직접 생성하여 VLA 추론의 계산 및 메모리 비용을 크게 줄입니다. LIBERO 데이터셋에서 TurboVLA는 0.2B 파라미터로 평균 97.7%의 성공률, 31.2ms의 추론 지연 시간, 그리고 0.9GB의 추론 VRAM 사용량으로 상당한 크기의 기존 VLA 모델과 동등하거나 더 나은 성능을 보입니다. 이러한 결과는 TurboVLA가 LLM 중심의 기존 VLA 패러다임에 대한 간단하고 효과적인 대안임을 입증하며, 효율적인 로봇 조작을 위해 비전, 언어 및 액션을 연결하는 새로운 관점을 제시합니다. 코드: https://github.com/H-EmbodVis/TurboVLA.

Vision-language-action (VLA) models commonly adopt an LLM-centric $V \to L \to A$ pathway, where visual observations are projected into the representation space of a large language model before being decoded into robot actions. Although effective, this design incurs substantial computation and memory overhead at every policy invocation. In this work, we introduce TurboVLA, a new VLA paradigm that reformulates the conventional $V \to L \to A$ pathway as a direct $V + L \to A$ mapping. Instead of using a large language model as the central interface between perception and action, TurboVLA independently encodes visual observations and language instructions, directly exchanges information between them through lightweight bidirectional vision-language interaction, and predicts continuous action chunks with a compact decoder. This simple design constructs task-conditioned representations directly from visual and linguistic features, significantly reducing the computational and memory costs of VLA inference. On LIBERO, TurboVLA achieves 97.7% average success with only 0.2B parameters, 31.2 ms inference latency, and 0.9 GB inference VRAM on a consumer-grade RTX 4090, matching or outperforming substantially larger VLA policies. These results establish TurboVLA as a simple and effective alternative to the prevailing LLM-centric VLA paradigm, offering a new perspective on how vision, language, and action can be connected for efficient robotic manipulation. Code is available at https://github.com/H-EmbodVis/TurboVLA.