G0.5: 로봇 추론 및 행동을 위한 단일 자기 회귀 모델

G0.5: One Autoregressive Stream for Robot Reasoning and Action

현재의 비전-언어-행동(VLA) 모델은 사전 학습된 VLM과 별도로 훈련된 플로우 매칭 기반 액션 전문가를 결합하는 방식으로 작동합니다. 이 방식은 VLM을 의사 결정자가 아닌 컨텍스트 인코더로 만듭니다. 본 논문에서는 단일 목표 하에서 추론 및 행동 토큰을 생성하는 사전 학습된 자기 회귀 VLA 모델인 G0.5를 소개합니다. 이 모델의 확장성을 가능하게 하는 세 가지 주요 구성 요소는 다음과 같습니다: 로봇의 다양한 액션을 공유 어휘로 매핑하는 학습 가능한 크로스-엠바디먼트 액션 토크나이저, 작업 분해, 객체 인식, 그리고 행동 힌트를 액션 토큰과 함께 연결하는 체인 오브 소울 스트림, 그리고 시각 인코더를 통해 다중 초 단위의 과거 정보를 주입하는 비주얼 메모리 모듈. 추론 및 행동이 단일 가중치 세트를 공유하므로, 사전 학습된 VLM의 기능은 실제 행동으로 이어집니다. 이 모델은 지침을 정확하게 따르며, 프롬프트를 통해 액션의 세분성, 작업 범위, 그리고 훈련 없이도 예상치 못한 환경에서의 처리를 직접적으로 제어할 수 있습니다. G0.5는 다양한 로봇 데이터셋과 VQA 샘플로 사전 학습되었으며, R1lite 및 R1pro 로봇을 사용한 실제 환경 미세 조정(76.7% vs. $π_{0.5}$의 53.3%, GR00T-N1.7의 24.4%), 일반화 정책을 사용한 50개의 장기적인 가정용 조작 작업에 대한 2025 BEHAVIOR Challenge(31.4% vs. $π_{0.5}$의 26.3%, 대회 우승팀의 26.1%)에서, DROID 사후 훈련 후 새로운 환경 및 객체로의 제로샷 전이(82.5%), 언어 기반 피크-앤-플레이스 벤치마크, LIBERO(98.9%), RoboTwin 2.0(93.3%), 그리고 SimplerEnv-Bridge(87.3%)에서 최첨단 모델을 능가하는 성능을 보였습니다.

The prevailing recipe for Vision-Language-Action (VLA) models couples a pretrained VLM with a separately trained flow-matching action expert. This makes the VLM a context encoder rather than a decision-maker. We introduce G0.5, a pretrained autoregressive VLA in which a single transformer decoder emits reasoning and action tokens under a single objective. Three components make this tractable at foundation-model scale: a learnable cross-embodiment action tokenizer that maps heterogeneous robot actions into a shared vocabulary; a native chain-of-thought stream interleaving task decomposition, object grounding, and action hints with action tokens; and a visual memory module that injects multi-second history through the vision encoder. Because reasoning and action share a single set of weights, the pretrained VLM's capabilities carry over to physical behavior: the model follows instructions closely, and prompts directly steer action granularity, task horizon, and out-of-distribution scene handling without further training. Pretrained on a large collection of robot datasets together with VQA samples, G0.5 surpasses state-of-the-art models across 7 independent regimes: real-world fine-tuning on R1lite and R1pro robots (76.7\% vs.\ 53.3\% for $π_{0.5}$ and 24.4\% for GR00T-N1.7), the 2025 BEHAVIOR Challenge on 50 long-horizon household mobile manipulation tasks using a generalist policy (31.4\% vs.\ 26.3\% for $π_{0.5}$ and 26.1\% for the challenge winner), DROID post-training followed by zero-shot transfer to an unseen environment and objects (82.5\%), a language-following Pick-and-Place benchmark, LIBERO (98.9\%), RoboTwin 2.0 (93.3\%), and SimplerEnv-Bridge (87.3\%).