로봇처럼 보기: 로봇 중심 포인트맵을 활용한 시각-언어-행동 모델

See like a Robot: Robot-Centric Pointmaps for Vision-Language-Action Models

시각-언어-행동(VLA) 모델은 로봇의 시각적 관찰과 언어 명령으로부터 로봇의 행동을 예측합니다. 이러한 행동들은 로봇 고유의 3차원 좌표계를 기준으로 정의되지만, 대부분의 VLA 모델은 카메라 프레임으로 장면을 관찰하여 장면 관찰 위치와 행동 정의 위치 간의 프레임 불일치를 야기합니다. 이러한 불일치는 고정된 시점에서 정책이 단 하나의 관찰-행동 매핑을 기억할 수 있는 경우에는 큰 문제가 되지 않지만, 대규모 데이터셋은 다양한 카메라 설정을 포함하는 데모를 집계하고 정책이 이러한 매핑을 다양한 시점에서 일반화해야 하므로 문제가 더욱 심각해집니다. 우리는 로봇 중심 포인트맵을 사용하여 이러한 불일치를 해결합니다. 포인트맵은 이미지의 픽셀에 로봇 프레임에서 장면 점의 3차원 좌표를 저장하는 이미지입니다. 포인트맵은 로봇 프레임에서의 3차원 기하 정보를 제공하면서도, 사전 학습된 2D VLA 모델이 기대하는 밀집된 H x W 그리드를 유지하여 기존 VLA 아키텍처에 최소한의 변경만으로 통합될 수 있습니다. RoboCasa 데이터셋에서 포인트맵은 pi0.5 및 SmolVLA 모델의 성능을 향상시키며, 대표적인 카메라 시점 기반 및 3차원 인식 베이스라인 모델보다 우수한 성능을 보입니다. 실제 로봇 실험에서는 카메라가 학습 중에 사용되지 않은 위치로 이동했을 때, RGB 이미지만 사용하는 정책에 비해 포인트맵의 장점이 더욱 두드러집니다.

Vision-language-action (VLA) models predict robot actions from visual observations and language instructions. These actions are defined in the robot's own 3D coordinate frame, yet most VLAs observe the scene in the camera frame, creating a frame mismatch between where the scene is observed and where actions are defined. The mismatch is benign under a fixed viewpoint, where the policy can memorize a single observation-to-action mapping, but grows harder as large-scale datasets aggregate demonstrations across diverse camera setups and the policy must generalize this mapping across viewpoints. We address this mismatch with robot-centric pointmaps, images whose pixels store the 3D coordinates of scene points in the robot frame. Pointmaps provide robot-frame 3D geometry while preserving the dense H x W grid expected by pretrained 2D VLAs, so they integrate into existing VLAs with minimal architectural change. On RoboCasa, pointmaps improve both pi0.5 and SmolVLA and outperform representative camera-viewpoint and 3D-aware baselines. In real-robot experiments, their advantage over an RGB-only policy widens when the camera is moved to a placement unseen during training.