VLM4VLA: 비전-언어 모델을 활용한 비전-언어-행동 모델 재검토

VLM4VLA: Revisiting Vision-Language-Models in Vision-Language-Action Models

사전 학습된 대규모 비전-언어 모델(VLM)을 정책 기반으로 통합하는 비전-언어-행동(VLA) 모델은 뛰어난 일반화 능력으로 상당한 주목을 받고 있습니다. 본 논문에서는 VLM의 선택과 능력이 다운스트림 VLA 정책의 성능에 어떤 영향을 미치는지, 이 근본적인 질문을 체계적으로 연구합니다. 우리는 VLM4VLA라는 최소한의 적응 파이프라인을 소개합니다. 이 파이프라인은 일반적인 VLM을 소수의 새로운 학습 가능한 파라미터만을 사용하여 VLA 정책으로 변환하여 공정하고 효율적인 비교를 가능하게 합니다. VLM4VLA는 단순함에도 불구하고 더 복잡한 네트워크 설계와 경쟁력 있는 성능을 보여줍니다. 세 개의 벤치마크에서 다양한 다운스트림 작업에 대한 광범위한 실험을 통해, VLM 초기화는 처음부터 학습하는 것보다 일관된 이점을 제공하지만, VLM의 일반적인 능력은 다운스트림 작업 성능을 예측하는 데 충분하지 않다는 것을 발견했습니다. 이는 일반적인 VLM 능력은 효과적인 로봇 제어에 필요하지만 충분하지 않다는 기존의 가정을 뒤집는 결과입니다. 또한, 우리는 VLM을 일곱 가지 보조 로봇 관련 작업(예: 로봇 QA, 시각적 지시, 깊이 추정)에 대해 미세 조정하여 특정 로봇 능력의 영향을 조사했습니다. 예상과 달리, 특정 로봇 기술에 대한 VLM의 성능 향상이 다운스트림 제어 성능을 향상시키지 않는다는 것을 확인했습니다. 마지막으로, 모달리티 수준의 분석을 통해 VLM의 언어 구성 요소가 아닌 시각 모듈이 주요 성능 저하 요인임을 확인했습니다. VLM의 시각 인코더에 제어와 관련된 추가 정보를 주입하면, 다운스트림 미세 조정 중에 인코더가 고정된 상태에서도 일관된 성능 향상을 얻을 수 있습니다. 이는 현재 VLM의 사전 학습 목표와 로봇 행동 계획의 요구 사항 간에 존재하는 근본적인 격차를 보여줍니다.

Vision-Language-Action (VLA) models, which integrate pretrained large Vision-Language Models (VLM) into their policy backbone, are gaining significant attention for their promising generalization capabilities. This paper revisits a fundamental yet seldom systematically studied question: how VLM choice and competence translate to downstream VLA policies performance? We introduce VLM4VLA, a minimal adaptation pipeline that converts general-purpose VLMs into VLA policies using only a small set of new learnable parameters for fair and efficient comparison. Despite its simplicity, VLM4VLA proves surprisingly competitive with more sophisticated network designs. Through extensive empirical studies on various downstream tasks across three benchmarks, we find that while VLM initialization offers a consistent benefit over training from scratch, a VLM's general capabilities are poor predictors of its downstream task performance. This challenges common assumptions, indicating that standard VLM competence is necessary but insufficient for effective embodied control. We further investigate the impact of specific embodied capabilities by fine-tuning VLMs on seven auxiliary embodied tasks (e.g., embodied QA, visual pointing, depth estimation). Contrary to intuition, improving a VLM's performance on specific embodied skills does not guarantee better downstream control performance. Finally, modality-level ablations identify the visual module in VLM, rather than the language component, as the primary performance bottleneck. We demonstrate that injecting control-relevant supervision into the vision encoder of the VLM yields consistent gains, even when the encoder remains frozen during downstream fine-tuning. This isolates a persistent domain gap between current VLM pretraining objectives and the requirements of embodied action-planning.