비전-언어-행동 모델은 어떤 방식으로 고유 감각 상태를 활용해야 하는가?

How Should Vision-Language-Action Models Use Proprioceptive State?

최근의 비전-언어-행동(VLA) 모델들은 거의 대부분 로봇의 고유 감각 상태를 입력으로 사용하지만, 그 방식은 일관되지 않습니다. 즉, 텍스트 프롬프트에 직렬화되거나, 비전-언어 부분에 투영되거나, 또는 직접 행동 생성 모듈로 전달되는 등 다양한 방식으로 처리되며, 대부분 현재 프레임 하나만 사용됩니다. 다음 세 가지 질문이 여전히 해결되지 않았습니다. (1) 현재 상태가 실제로 폐루프 제어를 향상시키는지, 그리고 어떤 작업에서 효과적인지? (2) 과거 상태 정보가 얼마나 도움이 되는지, 그리고 그 이점이 단순히 조건부 학습 능력의 추가인지, 아니면 진정한 시간적 변화를 반영하는 것인지? (3) 고유 감각 상태 정보는 모델의 어느 부분에 입력되어야 하는가 – 비전-언어 기반 모듈 또는 행동 생성 모듈인가? 우리는 플로우 매칭 VLA 모델을 사용하여 이러한 질문에 대한 답을 찾았습니다. 백본 구조, 학습 데이터, 행동 표현 방식 및 평가 프로토콜을 고정하고, 다섯 가지 대표적인 인터페이스(이산 상태 프롬프트, VLM 접두사, 행동 접두사, 상태 전문가, 그리고 특징 변조)를 구현하여 상세 정보를 일치시킨 후, 45개의 기본 작업과 20개의 복합 작업을 대상으로 성능을 평가했습니다. 또한, 과거 상태 정보의 길이를 1프레임에서 96프레임까지 변화시켜 모델 성능에 미치는 영향을 분석했습니다. 실험 결과는 세 가지 질문에 대한 체계적인 답변을 제공하며, 이는 고유 감각 상태를 활용하는 VLA 모델 설계 원칙으로 요약될 수 있습니다.

Recent Vision-Language-Action (VLA) models almost universally take robot proprioceptive state as input, yet wire it in incompatible ways -- serialized into text prompts, projected into the vision-language prefix, or fed directly to the action expert -- and almost always as a single current frame. Three questions remain open: (1) whether, and on which tasks, current state actually improves closed-loop control; (2) how much state history helps, and whether its benefit reflects genuine temporal variation rather than added conditioning capacity; and (3) where state should enter the model -- the vision-language backbone or the action-generation module. We answer these questions through controlled experiments on a flow-matching VLA, fixing the backbone, training data, action representation, and evaluation protocol throughout. We implement five representative interfaces -- discrete state prompt, VLM prefix, action prefix, state expert, and feature modulation -- under matched implementation details, and evaluate them on 45 atomic tasks spanning three task families plus 20 composite tasks; we then sweep the state-history length from 1 to 96 frames to examine how historical state information affects model performance. The experiments yield systematic answers to all three questions, distilled into testable design principles for state-aware VLAs.