물리 기반 지침을 활용한 잔차 동역학 학습을 통한 변형 객체 시뮬레이션

Learning Physics-Guided Residual Dynamics for Deformable Object Simulation

변형 가능한 객체의 시뮬레이션은 다양한 로봇 조작 응용 분야에서 필수적이지만, 정확하게 그 역학을 예측하는 것은 여전히 어려운 과제입니다. 본 연구에서는 물리 기반 및 학습 기반 접근 방식의 장점을 결합한 하이브리드 시뮬레이션 프레임워크인 Physics-Guided Residual Dynamics (PGRD)를 제안합니다. 구체적으로, PGRD는 최적화 가능한 스프링-매스 시뮬레이터를 핵심으로 사용하며, 학습된 신경망을 통해 물리 기반 예측의 잔차 오차를 보정합니다. 안정적인 시뮬레이션을 위해 속도 기반 공식을 채택하고, 시간적 의존성을 포착하기 위해 슬라이딩 윈도우 트랜스포머 아키텍처를 사용했습니다. 실험 결과, PGRD는 다양한 실제 변형 가능한 객체에 대해 순수 물리 기반 방법 및 학습 기반 방법에 비해 더 정확한 결과를 제공하는 것으로 나타났습니다. 또한, PGRD의 유용성을 Model Predictive Control을 이용한 조작 계획 (생성된 목표 이미지와 연계된 언어 조건 설정 포함) 및 3D Gaussian Splatting을 사용한 액션 조건 비디오 예측을 통한 인터랙티브 시뮬레이션이라는 두 가지 응용 분야에서 입증했습니다.

Simulating deformable objects is essential for a wide range of robotic manipulation applications, yet accurately predicting their dynamics remains challenging. We propose Physics-Guided Residual Dynamics (PGRD), a hybrid simulation framework that combines the advantages of physics-based and learning-based approaches. Specifically, PGRD combines an optimizable spring-mass simulator as a backbone with a learned neural network that predicts residual corrections to the physics-based predictions. We adopt a velocity-based formulation to ensure stable simulation and a sliding-window transformer architecture to capture temporal dependencies. We show that PGRD produces more accurate results than both purely physics-based and learning-based methods on a set of diverse real-world deformable objects. We further demonstrate the utility of PGRD in two applications: manipulation planning via Model Predictive Control, including a language-conditioned setting with a generated goal image; and interactive simulation via action-conditioned video prediction by 3D Gaussian Splatting.