SIM1: 물리학 기반 시뮬레이터를 활용한 제로샷 데이터 증강 기법: 변형 가능한 환경에서의 활용

SIM1: Physics-Aligned Simulator as Zero-Shot Data Scaler in Deformable Worlds

변형 가능한 물체를 이용한 로봇 제어는 임베디드 학습 분야에서 데이터 집약적인 영역으로, 물체의 형태, 접촉, 그리고 위상 등이 고체 물체보다 훨씬 복잡하게 변화합니다. 시뮬레이션은 실제 데이터를 수집하는 데 드는 비용을 줄여줄 수 있는 잠재력을 가지고 있지만, 현재의 시뮬레이션-실제 적용 파이프라인은 여전히 고체 물체 기반의 추상화에 의존하여, 부정확한 기하학적 표현, 불안정한 유연체 동역학, 그리고 천과 같은 변형 가능한 물체와의 상호 작용에 적합하지 않은 동작 패턴을 생성합니다. 본 연구에서는 시뮬레이션이 실패하는 이유는 인공적이기 때문이 아니라, 현실 세계와의 연관성이 부족하기 때문이라고 가정합니다. 이를 해결하기 위해, 실제 세계의 물리적 현상에 기반한 시뮬레이션-실제 적용 데이터 엔진인 SIM1을 제안합니다. SIM1은 제한된 데모 데이터를 기반으로, 장면을 실제와 일관성 있는 디지털 형태로 변환하고, 탄성 모델링을 통해 변형 가능한 물체의 동역학적 특성을 보정하며, 확산 기반의 경로 생성 기술과 품질 필터링을 통해 다양한 동작을 생성합니다. 이 파이프라인은 희소한 관측 데이터를 기반으로, 실제 데모와 유사한 수준의 합성 데이터를 생성하여 학습에 활용할 수 있도록 합니다. 실험 결과, 순수하게 합성 데이터로 학습된 정책이 실제 데이터 기반의 기존 방법과 동등한 성능을 보이며, 실제 환경에서의 적용 시 90%의 제로샷 성공률과 50%의 일반화 성능 향상을 달성했습니다. 이러한 결과는 물리학 기반 시뮬레이션이 변형 가능한 물체 제어를 위한 확장 가능한 지도 학습 방법이며, 데이터 효율적인 정책 학습을 위한 실용적인 방법임을 입증합니다.

Robotic manipulation with deformable objects represents a data-intensive regime in embodied learning, where shape, contact, and topology co-evolve in ways that far exceed the variability of rigids. Although simulation promises relief from the cost of real-world data acquisition, prevailing sim-to-real pipelines remain rooted in rigid-body abstractions, producing mismatched geometry, fragile soft dynamics, and motion primitives poorly suited for cloth interaction. We posit that simulation fails not for being synthetic, but for being ungrounded. To address this, we introduce SIM1, a physics-aligned real-to-sim-to-real data engine that grounds simulation in the physical world. Given limited demonstrations, the system digitizes scenes into metric-consistent twins, calibrates deformable dynamics through elastic modeling, and expands behaviors via diffusion-based trajectory generation with quality filtering. This pipeline transforms sparse observations into scaled synthetic supervision with near-demonstration fidelity. Experiments show that policies trained on purely synthetic data achieve parity with real-data baselines at a 1:15 equivalence ratio, while delivering 90% zero-shot success and 50% generalization gains in real-world deployment. These results validate physics-aligned simulation as scalable supervision for deformable manipulation and a practical pathway for data-efficient policy learning.