OASIS: SE(3) 경로 예측을 통한 관찰-행동 공간 정렬을 이용한 로봇 조작

OASIS: Observation-Action Space Alignment via SE(3) Trajectory Prediction for Robotic Manipulation

최근의 비전-언어-행동 (VLA) 모델과 월드 액션 모델 (WAM)은 중간 표현에 보조적인 공간 정보를 추가하거나 미래 시각적 상태를 예측함으로써 로봇 조작 능력을 향상시킵니다. 그러나 이러한 표현은 주로 관찰 공간 내에 머무르며 행동 공간의 강체 기하학적 구조와 공유하지 않아, 행동 디코더가 이 기하학적 구조를 암묵적으로 복원하도록 강제합니다. 본 논문에서는 $SE(3)$ 엔드-이펙터 경로 예측을 통해 중간 표현과 행동 공간을 정렬하는 시각운동 정책인 OASIS를 제안합니다. OASIS는 비전-언어 및 메트릭 심도 특징을 융합하는 3D 인식 특징 인코더와 카메라 프레임에서 엔드-이펙터 경로를 생성하는 $SE(3)$ 경로 예측기를 결합합니다. 예측기의 포즈 지도 하에 숨겨진 상태를 기반으로, 행동 디코더는 강체 운동과 일관된 행동 단위를 생성합니다. 시뮬레이션 및 실제 환경 실험 결과, OASIS는 VLA 및 WAM 기준 모델보다 성공률 및 일반화 성능에서 우수한 결과를 보였습니다. 본 프로젝트 페이지는 https://npuhandsome.github.io/OASIS_web 에서 확인할 수 있습니다.

Recent vision-language-action (VLA) models and world action models (WAMs) advance robotic manipulation by enriching intermediate representations with auxiliary spatial features or future visual-state prediction. However, these representations largely remain within the observation space and do not share the rigid-body geometry of the action space, forcing the action decoder to implicitly recover this geometry. We propose OASIS, a visuomotor policy that aligns the intermediate representation with the action space via $SE(3)$ end-effector trajectory prediction. OASIS couples a 3D-aware feature encoder that fuses vision-language and metric-depth features with an $SE(3)$ trajectory predictor that produces a camera-frame end-effector trajectory. Conditioned on the predictor's pose-supervised hidden states, the action decoder generates action chunks consistent with rigid-body motion. Across simulation and real-world experiments, OASIS outperforms VLA and WAM baselines in success rate and out-of-distribution generalization. Our project page is available at https://npuhandsome.github.io/OASIS_web.