Faster-WAM: 월드 액션 모델에서 심층적인 액션 모듈이 정말 필요한가?

Faster-WAM: Do World Action Models Need Deep Action Modules?

월드 액션 모델(WAM)은 로봇 행동 예측과 비디오 기반의 세계 모델을 결합합니다. 기존의 WAM들은 일반적으로 공유된 구조와 Mixture-of-Transformers 설계를 사용하며, 이로 인해 액션 모듈의 깊이가 비디오 백본의 깊이에 묶여 상당한 계산 부담과 높은 추론 지연 시간을 초래합니다. 이러한 제한점을 해결하기 위해, 우리는 사전 학습된 비디오 Transformer를 표현 허브로 활용하고 경량화된 출력 헤드를 연결하는 비디오 중심 설계 원리인 Dock of Transformer (DoT)를 제안합니다. 이를 통해 다양한 출력 헤드 설계를 유연하게 구현할 수 있으며, 백본의 모든 레이어에서 추출된 표현에 직접 접근할 수 있습니다. 우리는 DoT를 WAM에 적용한 Faster-WAM을 개발했습니다. Faster-WAM은 단일 레이어의 액션 헤드를 30개의 비디오 백본 레이어에 연결하며, 이 연결 인터페이스는 모든 비디오 레이어로부터 키와 값을 가져와 RoPE 재정렬을 수행합니다. 추가적인 인체화된 사전 학습 없이도 Faster-WAM은 LIBERO 및 RoboTwin 2.0에서 경쟁력 있는 성능을 달성했으며, LIBERO-Plus 데이터셋에서 뛰어난 일반화 능력을 보여주었습니다. 또한, 제어된 비교 실험 결과, Faster-WAM은 Fast-WAM보다 3.2배 빠른 66.5ms의 낮은 종단 간 지연 시간을 보였습니다. 전반적으로, 이러한 결과는 비디오 중심의 DoT 아키텍처가 다양한 작업에 특화된 헤드 설계를 지원하며, 낮은 추론 지연 시간, 강력한 행동 예측 성능 및 견고한 일반화를 제공함을 보여줍니다.

World Action Models (WAMs) couple robot action prediction with video world models. Existing WAMs with shared-backbone and Mixture-of-Transformers designs generally tie the depth of the action module to that of the video backbone, resulting in substantial computational overhead and high inference latency. To address this limitation, we introduce Dock of Transformer (DoT), a video-centric design principle that treats a pretrained video Transformer as a representation hub and connects lightweight output-heads through docking interfaces. This enables flexible output-head design while providing direct access to representations from all layers of the backbone. We then introduce \textbf{Faster-WAM}, an instantiation of DoT for WAMs, which docks a single-layer action head onto a 30-layer video backbone. The docking interface fuses keys and values from all video layers and applies RoPE realignment. Without additional embodied pretraining, Faster-WAM achieves competitive performance on LIBERO and RoboTwin 2.0 while demonstrating strong out-of-distribution generalization on LIBERO-Plus. Faster-WAM also achieves the lowest end-to-end latency in our controlled comparison, requiring only 66.5 ms per inference --- a \(3.2\times\) speedup over Fast-WAM. Overall, these results demonstrate that the video-centric DoT architecture supports flexible task-specific head design while delivering low inference latency, strong action-prediction performance, and robust generalization.