정적인 입력, 동적인 출력: 움직이는 물체 조작을 위한 반사실적 행동 증강

Static In, Dynamic Out: Counterfactual Action Augmentation for Moving Object Manipulation

시각-운동 정책은 목표 객체가 실행 동안 고정된 상태로 유지되는 조작 작업에서 상당한 발전을 이루었지만, 실제 환경에서는 이러한 가정이 깨지는 경우가 많습니다. 예를 들어, 컨베이어 벨트 위에서 부품이 움직이거나 과일이 바람에 흔들리는 현상이 발생합니다. 본 논문에서는 '정적인 입력, 동적인 출력 (Static In, Dynamic Out; SIDO)'이라는 반사실적 행동 증강 기법을 소개합니다. 이 기술은 정적인 객체 데모 데이터로 학습된 정책이 테스트 시점에서 예상치 못한 객체의 움직임에 적응할 수 있도록 합니다. 핵심 아이디어는 움직이는 객체 조작 문제를 두 가지 하위 문제로 분해하는 것입니다: 객체가 어디로 이동할지 예측하고, 예측된 위치에 도달하는 것입니다. SIDO는 객체를 반사실적인 미래 위치로 이동시키고, 손과 객체의 상대적 자세를 유지하도록 데모 액션 시퀀스를 변형하여 목표 기반 정책을 생성합니다. 실제 사용 단계에서 객체 자세 예측기가 미래 위치 정보를 제공합니다. 세 가지 시뮬레이션 작업(Mug, Square, Stack) 및 다섯 가지 객체 움직임 패턴, 그리고 두 가지 실제 환경 작업(Gantry, Peachtree)에 대한 실험 결과, SIDO는 기준 모델보다 움직이는 객체 조작 성공률을 향상시키면서 동시에 정적인 객체에 대한 성능 저하를 방지합니다. 프로젝트 웹사이트: https://sido-staticindynamicout.github.io/.

Visuomotor policies have advanced on manipulation tasks where the target object stays static during execution, but real deployments break this assumption: parts drift on conveyors and fruits sway in the wind. We introduce Static In, Dynamic Out (SIDO), a counterfactual action augmentation that enables a policy trained only on static object demonstrations to adapt to unseen object motion at test time. Our key idea is to factorize moving object manipulation into two sub-problems: predicting where the object will be, and reaching that predicted pose. SIDO displaces the object to a counterfactual future position and morphs the demonstrated action chunk to preserve the hand-object relative pose, yielding a goal-conditioned policy. At deployment an object pose predictor supplies the future position. Across three simulated tasks (Mug, Square, Stack) under five object motion patterns and two real-world tasks (Gantry, Peachtree), SIDO improves moving object success over the baselines while preserving static object performance. Project website: https://sido-staticindynamicout.github.io/.