MotionPhysics: 텍스트 기반 시뮬레이션을 위한 학습 가능한 운동 추출

MotionPhysics: Learnable Motion Distillation for Text-Guided Simulation

기존 3D 객체와 다양한 재료를 정확하게 시뮬레이션하려면 종종 전문 지식과 시간이 많이 소요되는 물리적 파라미터 조정이 필요합니다. 본 논문에서는 MotionPhysics를 소개합니다. MotionPhysics는 사용자가 제공하는 자연어 프롬프트를 기반으로 선택된 3D 장면의 물리적 파라미터를 추론하는, 엔드투엔드 방식으로 미분 가능한 프레임워크입니다. 이 프레임워크는 실제 경로 데이터나 주석이 달린 비디오의 지침 없이도 작동합니다. 먼저, 멀티모달 대규모 언어 모델을 사용하여 재료 파라미터 값을 추정하며, 추정된 값은 현실적인 범위 내에 있도록 제한됩니다. 또한, 사전 학습된 비디오 확산 모델에서 강력한 운동 선행 정보를 추출하고, 동시에 시뮬레이션을 안내하기 위해 외관 및 기하학적 편향을 최소화하는 학습 가능한 운동 추출 손실 함수를 제안합니다. MotionPhysics는 실제 환경, 인간이 설계한 3D 객체 및 AI가 생성한 3D 객체를 포함하여 30가지 이상의 시나리오에서 평가되었습니다. 여기에는 탄성 고체, 금속, 폼, 모래, 그리고 뉴턴 유체 및 비뉴턴 유체와 같은 다양한 재료가 포함됩니다. 실험 결과, MotionPhysics는 자연어에 의해 안내되는 시각적으로 사실적인 동적 시뮬레이션을 생성하며, 현재 최고 수준을 능가하는 동시에 물리적으로 타당한 파라미터를 자동으로 결정함을 보여줍니다. 코드 및 프로젝트 페이지는 다음 주소에서 확인할 수 있습니다: https://wangmiaowei.github.io/MotionPhysics.github.io/.

Accurately simulating existing 3D objects and a wide variety of materials often demands expert knowledge and time-consuming physical parameter tuning to achieve the desired dynamic behavior. We introduce MotionPhysics, an end-to-end differentiable framework that infers plausible physical parameters from a user-provided natural language prompt for a chosen 3D scene of interest, removing the need for guidance from ground-truth trajectories or annotated videos. Our approach first utilizes a multimodal large language model to estimate material parameter values, which are constrained to lie within plausible ranges. We further propose a learnable motion distillation loss that extracts robust motion priors from pretrained video diffusion models while minimizing appearance and geometry inductive biases to guide the simulation. We evaluate MotionPhysics across more than thirty scenarios, including real-world, human-designed, and AI-generated 3D objects, spanning a wide range of materials such as elastic solids, metals, foams, sand, and both Newtonian and non-Newtonian fluids. We demonstrate that MotionPhysics produces visually realistic dynamic simulations guided by natural language, surpassing the state of the art while automatically determining physically plausible parameters. The code and project page are available at: https://wangmiaowei.github.io/MotionPhysics.github.io/.