Track4Action: 월드 중심 3차원 추적기를 활용하여 시각-언어-행동 정책을 구축하는 방법

Track4Action: Distilling World-Centric 3D Tracker into Vision-Language-Action Policies

행동 레이블은 로봇이 따라야 할 명령을 알려주지만, 해당 명령이 3차원 세계에 어떤 변화를 가져오는지 알 수 없습니다. 정렬된 데모 클립은 이러한 누락된 정보를 제공합니다. 왜냐하면 $K$ 프레임 간의 변화가 해당 $K$ 행동 동안 발생하는 기하학적 구조, 움직임, 가시성 및 카메라 변화를 기록하기 때문입니다. 본 논문에서는 Track4Action이라는 프레임워크를 소개합니다. 이 프레임워크는 고정된 월드 중심 3차원 추적기를 활용하여 현재 관찰을 기반으로 하는 시각-언어-행동 정책을 학습시킵니다. 학습 과정에서 Track4World는 클립 $V_{t:t+K}$를 풀링된 추적기 특징으로 인코딩합니다. 학습 가능한 쿼리는 이 특징을 현재 시각-언어-행동 은닉 상태로부터 추론하고, 공유 공간에서 정렬하며, 특징 기반 게이팅을 통해 플로우 매칭 행동 헤드를 조건화합니다. 추적기 특징은 정렬 대상일 뿐이며, 배포 단계에서는 클립이나 추적기를 사용하지 않습니다. Track4Action은 제로샷 환경인 LIBERO-Plus에서 82.3%의 성능을 달성했으며, 이는 정렬 방식이 없는 모델보다 7.6% 포인트 향상된 결과입니다. 또한 LaMP보다 3.0% 포인트 향상되었습니다. RoboTwin 2.0 데이터셋의 깨끗하고 랜덤화된 환경에서 각각 80.44% 및 81.48%의 성능을 보였으며, 네 가지 실제 양손 작업에서 평균 성공률이 67.5%로, 정렬 방식이 없는 모델보다 25.0% 포인트 높은 수치를 기록했습니다. 시뮬레이션 및 실제 작업에서의 성능 향상은 추적기 없이도 시각-언어-행동 정책을 배포하기 위한 중요한 정보를 제공하는 행동에 맞춘 3차원 추적기 특징의 유용성을 입증합니다. 본 프로젝트 페이지는 https://wing0night.github.io/track4action-project-page 에서 확인할 수 있습니다.

Action labels tell a vision-language-action (VLA) policy which robot commands to imitate, but not how those commands change the 3D world. The aligned demonstration clip contains this missing supervision because its $K$ frame transitions record the geometry, motion, visibility, and camera change produced during the corresponding $K$ actions. We introduce Track4Action, a framework that distills this realized transition from a frozen world-centric 3D tracker into a current-observation VLA policy. During training, Track4World encodes the clip $V_{t:t+K}$ into a pooled tracker feature. Learnable track queries infer this feature from current VLA hidden states, match it in a shared space, and condition a flow-matching action head through a feature-wise gate. The tracker feature only defines the alignment target, so neither the clip nor the tracker is used at deployment. Track4Action reaches 82.3% on zero-shot LIBERO-Plus, improving the alignment-free variant by 7.6 points and LaMP by 3.0 points. It obtains 80.44% and 81.48% on the clean and randomized RoboTwin 2.0 splits, and 67.5% average success across four physical bimanual tasks, 25.0 points above the alignment-free variant. The gains across simulation and physical tasks support action-aligned 3D tracker features as privileged supervision for tracker-free VLA deployment. Our project page is available at https://wing0night.github.io/track4action-project-page.