UMI-Underwater: 수중 로봇 조작을 위한 수중 원격 조작 없이 학습하는 방법

UMI-Underwater: Learning Underwater Manipulation without Underwater Teleoperation

수중 로봇의 물체 잡기는 이미지 품질 저하, 높은 변동성, 그리고 다양한 수중 시연 데이터 수집의 어려움으로 인해 어렵습니다. 본 연구에서는 (i) 자체적으로 구축된 데이터 수집 파이프라인을 통해 성공적인 수중 잡기 시연 데이터를 자동으로 수집하고, (ii) 육상에서 수집된 인간 시연 데이터를 활용하여 수중 환경과의 격차를 해소하고 조명 및 색상 변화에 강건한 깊이 기반 어포던스(affordance) 표현을 통해 잡기 지식을 전달하는 시스템을 제안합니다. 육상에서 수집된 휴대용 시연 데이터를 기반으로 학습된 어포던스 모델을 기하학적 정렬을 통해 수중 환경에 적용하고, 수중 시연 데이터를 이용하여 어포던스에 조건화된 확산 정책을 학습시켜 제어 명령을 생성합니다. 수영장 환경에서의 실험 결과, 제안하는 방법은 잡기 성능과 배경 변화에 대한 강건성을 향상시키고, 육상 데이터에서만 관찰된 객체에 대한 일반화 능력을 제공하며, RGB 이미지만 사용하는 기존 방법보다 우수한 성능을 보였습니다. 코드, 동영상, 추가 결과는 https://umi-under-water.github.io 에서 확인할 수 있습니다.

Underwater robotic grasping is difficult due to degraded, highly variable imagery and the expense of collecting diverse underwater demonstrations. We introduce a system that (i) autonomously collects successful underwater grasp demonstrations via a self-supervised data collection pipeline and (ii) transfers grasp knowledge from on-land human demonstrations through a depth-based affordance representation that bridges the on-land-to-underwater domain gap and is robust to lighting and color shift. An affordance model trained on on-land handheld demonstrations is deployed underwater zero-shot via geometric alignment, and an affordance-conditioned diffusion policy is then trained on underwater demonstrations to generate control actions. In pool experiments, our approach improves grasping performance and robustness to background shifts, and enables generalization to objects seen only in on-land data, outperforming RGB-only baselines. Code, videos, and additional results are available at https://umi-under-water.github.io.