이미지-언어-행동 모델의 미세 조정에는 생각보다 적은 레이어가 필요합니다.

Finetuning Vision-Language-Action Models Requires Fewer Layers Than You Think

방대한 비디오-로봇 데이터 세트로 사전 학습된 이미지-언어-행동(VLA) 모델은 로봇 조작 분야에 혁명을 가져왔지만, 수십억 개의 파라미터를 가진 아키텍처는 다운스트림 미세 조정 및 실시간 추론 과정에서 엄청난 계산 부담을 초래합니다. 본 연구에서는 이러한 연속 제어 기반 정책(예: pi_0, GR00T-N1.5)의 중요한 아키텍처적 특징을 밝혀냈습니다. 다양한 물리적 경로로 훈련되었음에도 불구하고, 이 모델들은 레이어별 표현의 심각한 중복성을 나타냅니다. 이러한 점을 활용하여, 기존 방법들이 전체 모델을 로드하여 최적화된 토큰 감소 또는 동적 레이어 선택기를 학습해야 하는 필요성을 없앤, 완전히 훈련이 필요 없는 구조 압축 파이프라인을 제안합니다. 대신, Centered Kernel Alignment을 통해 단일 순전파 과정을 사용하여 중복되는 레이어 특징을 식별하고, VLM 백본과 연속 제어 정책 헤드 모두에서 최대 50%까지 모델의 깊이를 영구적으로 줄이기 위해 쌍을 이루는 레이어를 제거합니다. 이러한 간소화된 아키텍처를 사용한 다운스트림 미세 조정은 두 가지 이점을 제공합니다. 첫째, 훈련 시간을 40~50% 단축하고, 둘째, 실시간 추론 속도를 최대 30% 향상시키면서 전체 모델의 성능을 능가하거나 일치시킵니다. 저희 방법은 세 개의 시뮬레이션 벤치마크(LIBERO, RoboCasa, SimplerEnv)와 4개의 서로 다른 로봇 플랫폼에서 수행된 10가지 다양한 실제 조작 작업에 대해 종합적으로 검증되었습니다. 이러한 결과는 최첨단 VLA 모델이 기존에 생각했던 것보다 훨씬 적은 레이어로도 작동할 수 있음을 입증하며, 확장 가능한 로봇 학습을 위한 매우 효율적인 계산 방식을 제시합니다.

Vision-Language-Action (VLA) models pre-trained on massive video-robot datasets have revolutionized robotic manipulation, yet their multi-billion parameter architectures impose prohibitive computational burdens during downstream fine-tuning and real-time inference. In this work, we reveal a highly non-trivial architectural characteristic of these continuous control foundation policies (e.g., pi_0, GR00T-N1.5): despite being trained on diverse physical trajectories, they exhibit severe layer-wise representational redundancy. To exploit this, we introduce a structural compression pipeline that is entirely training-free, bypassing the need of existing methods to load full-scale models to learn optimized token reductions or dynamic layer selectors. Instead, using only a single forward pass via Centered Kernel Alignment to identify redundant layer features, we remove twin layers to permanently compress the model depth by up to 50% across both the VLM backbone and the continuous control policy head. Downstream fine-tuning of this streamlined architecture yields a dual acceleration benefit: a 40-50% reduction in training time and up to 30% faster real-time inference, while matching or exceeding full-scale base model performance. We comprehensively validate our method across three simulation benchmarks (LIBERO, RoboCasa, SimplerEnv) and 10 diverse real-world manipulation tasks across 4 unique robotic embodiments. These results prove that advanced VLAs require significantly fewer layers than previously assumed, offering a highly compute-efficient paradigm for scalable robot learning.