사전 학습된 시각-언어-행동 모델은 지속적인 학습에서 놀라울 정도로 망각에 강하다

Pretrained Vision-Language-Action Models are Surprisingly Resistant to Forgetting in Continual Learning

지속적인 학습은 로봇 정책 학습 분야의 오랜 과제로, 로봇은 이전 학습된 기술을 완전히 잊어버리지 않고 시간이 지남에 따라 새로운 기술을 습득해야 합니다. 기존 연구에서는 처음부터 학습된 비교적 작은 행동 복제(BC) 정책 모델에서의 지속적인 학습을 광범위하게 연구했지만, 현대의 대규모 사전 학습된 시각-언어-행동(VLA) 모델에서의 동작은 아직 충분히 연구되지 않았습니다. 본 연구에서, 사전 학습된 VLA 모델은 처음부터 학습된 작은 정책 모델에 비해 망각에 현저히 강하다는 것을 발견했습니다. 간단한 경험 재생(ER) 방법이 VLA 모델에서 놀라울 정도로 효과적이며, 때로는 작은 재생 데이터 크기에도 불구하고 망각이 전혀 발생하지 않는 경우도 있습니다. 우리의 분석 결과, 사전 학습은 다운스트림 지속적인 학습 성능에서 중요한 역할을 합니다. 대규모 사전 학습 모델은 작은 재생 버퍼 크기로도 망각을 완화하고 강력한 새로운 학습 능력을 유지합니다. 또한, VLA 모델은 새로운 작업을 학습하는 동안 성능이 저하되더라도 이전 작업에서 관련 지식을 유지할 수 있습니다. 이러한 지식 보존은 미세 조정(finetuning)을 통해 잊혀진 것처럼 보이는 기술을 빠르게 복구할 수 있도록 합니다. 종합적으로, 이러한 결과는 대규모 사전 학습이 지속적인 학습의 역학을 근본적으로 변화시켜 모델이 간단한 재생을 통해 시간이 지남에 따라 지속적으로 새로운 기술을 습득할 수 있도록 한다는 것을 시사합니다. 코드 및 자세한 정보는 https://ut-austin-rpl.github.io/continual-vla 에서 확인할 수 있습니다.

Continual learning is a long-standing challenge in robot policy learning, where a policy must acquire new skills over time without catastrophically forgetting previously learned ones. While prior work has extensively studied continual learning in relatively small behavior cloning (BC) policy models trained from scratch, its behavior in modern large-scale pretrained Vision-Language-Action (VLA) models remains underexplored. In this work, we found that pretrained VLAs are remarkably resistant to forgetting compared with smaller policy models trained from scratch. Simple Experience Replay (ER) works surprisingly well on VLAs, sometimes achieving zero forgetting even with a small replay data size. Our analysis reveals that pretraining plays a critical role in downstream continual learning performance: large pretrained models mitigate forgetting with a small replay buffer size while maintaining strong forward learning capabilities. Furthermore, we found that VLAs can retain relevant knowledge from prior tasks despite performance degradation during learning new tasks. This knowledge retention enables rapid recovery of seemingly forgotten skills through finetuning. Together, these insights imply that large-scale pretraining fundamentally changes the dynamics of continual learning, enabling models to continually acquire new skills over time with simple replay. Code and more information can be found at https://ut-austin-rpl.github.io/continual-vla