IMPASTO: 모델 기반 계획과 학습된 동역학 모델을 통합하여 로봇이 유화 작품을 재현하는 시스템

IMPASTO: Integrating Model-Based Planning with Learned Dynamics Models for Robotic Oil Painting Reproduction

소프트 브러쉬와 안료를 사용하여 로봇이 유화 작품을 재현하는 것은 변형 가능한 도구에 대한 정밀한 힘 제어, 붓놀림 효과 예측, 다단계 붓놀림 계획을 필요로 하며, 종종 사람의 단계별 시연이나 정확한 시뮬레이터 없이 이루어집니다. 로봇은 목표 유화 이미지 시퀀스만 주어진 경우, 이를 재현하는 데 필요한 붓놀림 궤적, 힘, 색상을 추론하고 실행할 수 있을까요? 본 논문에서는 학습된 픽셀 동역학 모델과 모델 기반 계획을 통합한 로봇 유화 시스템인 IMPASTO를 소개합니다. 동역학 모델은 이미지 관찰과 파라미터화된 붓놀림 동작으로부터 캔버스 변화를 예측하며, 수평선 모델 예측 제어 최적화기는 궤적과 힘을 계획하고, 힘 센서 기반 제어기는 7자유도 로봇 팔에 붓놀림을 실행합니다. IMPASTO는 저수준 힘 제어, 학습된 동역학 모델, 고수준 폐루프 계획을 통합하며, 로봇 자체 학습을 통해 단일 붓놀림 데이터셋과 다중 붓놀림 작품을 근사화하고, 재현 정확도 측면에서 기존 방식보다 우수한 성능을 보입니다. 프로젝트 웹사이트: https://impasto-robopainting.github.io/

Robotic reproduction of oil paintings using soft brushes and pigments requires force-sensitive control of deformable tools, prediction of brushstroke effects, and multi-step stroke planning, often without human step-by-step demonstrations or faithful simulators. Given only a sequence of target oil painting images, can a robot infer and execute the stroke trajectories, forces, and colors needed to reproduce it? We present IMPASTO, a robotic oil-painting system that integrates learned pixel dynamics models with model-based planning. The dynamics models predict canvas updates from image observations and parameterized stroke actions; a receding-horizon model predictive control optimizer then plans trajectories and forces, while a force-sensitive controller executes strokes on a 7-DoF robot arm. IMPASTO integrates low-level force control, learned dynamics models, and high-level closed-loop planning, learns solely from robot self-play, and approximates human artists' single-stroke datasets and multi-stroke artworks, outperforming baselines in reproduction accuracy. Project website: https://impasto-robopainting.github.io/