SoMA: 로봇 소프트 물체 조작을 위한 현실-시뮬레이션 신경망 시뮬레이터

SoMA: A Real-to-Sim Neural Simulator for Robotic Soft-body Manipulation

현실-시뮬레이션 로봇 조작에서, 환경 효과와 로봇 동작에 의해 복합적으로 작용하는 변형 가능한 물체의 시뮬레이션은 여전히 중요한 과제입니다. 기존 시뮬레이터는 미리 정의된 물리학 또는 데이터 기반 역학을 사용하며, 로봇의 제어 조건을 고려하지 않아 정확성, 안정성 및 일반화 성능이 제한됩니다. 본 논문에서는 소프트 물체 조작을 위한 3D 가우시안 스플랫 시뮬레이터인 SoMA를 제안합니다. SoMA는 변형 가능한 역학, 환경 힘 및 로봇 관절 동작을 통합된 잠재 신경망 공간에서 결합하여, 엔드-투-엔드 현실-시뮬레이션 환경을 제공합니다. 학습된 가우시안 스플랫을 사용하여 상호 작용을 모델링함으로써, 미리 정의된 물리 모델 없이도 제어 가능하고 안정적인 장기 조작 및 일반화가 가능합니다. SoMA는 재시뮬레이션 정확도와 실제 로봇 조작에서의 일반화 성능을 20% 향상시켜, 장기 천 조작과 같은 복잡한 작업의 안정적인 시뮬레이션을 가능하게 합니다.

Simulating deformable objects under rich interactions remains a fundamental challenge for real-to-sim robot manipulation, with dynamics jointly driven by environmental effects and robot actions. Existing simulators rely on predefined physics or data-driven dynamics without robot-conditioned control, limiting accuracy, stability, and generalization. This paper presents SoMA, a 3D Gaussian Splat simulator for soft-body manipulation. SoMA couples deformable dynamics, environmental forces, and robot joint actions in a unified latent neural space for end-to-end real-to-sim simulation. Modeling interactions over learned Gaussian splats enables controllable, stable long-horizon manipulation and generalization beyond observed trajectories without predefined physical models. SoMA improves resimulation accuracy and generalization on real-world robot manipulation by 20%, enabling stable simulation of complex tasks such as long-horizon cloth folding.