PhysInOne: 통합 플랫폼을 통한 시각적 물리 학습 및 추론

PhysInOne: Visual Physics Learning and Reasoning in One Suite

본 논문에서는 AI 시스템을 위한 물리적 기반 학습 데이터의 심각한 부족 문제를 해결하기 위해 대규모 합성 데이터셋인 PhysInOne을 제안합니다. 기존 데이터셋이 수백 또는 수천 개의 예시에 그치는 반면, PhysInOne은 153,810개의 동적 3D 장면을 포함하는 2백만 개의 비디오를 제공하며, 이는 역학, 광학, 유체 역학 및 자기학의 71가지 기본 물리 현상을 다룹니다. PhysInOne의 장면은 복잡한 배경에서 다중 객체 간의 상호 작용을 특징으로 하며, 3D 기하학, 의미론, 동적 움직임, 물리적 속성 및 텍스트 설명 등 포괄적인 정답 정보를 포함합니다. PhysInOne은 물리 기반 비디오 생성, 장/단기 미래 프레임 예측, 물리적 속성 추정 및 모션 전송의 네 가지 주요 응용 분야에서 효과를 입증했습니다. 실험 결과, PhysInOne을 사용하여 사전 학습된 모델을 미세 조정하면 물리적 타당성을 크게 향상시키는 동시에, 복잡한 물리적 역학 모델링 및 내재적 속성 추정의 중요한 한계를 드러냅니다. PhysInOne은 기존 연구보다 훨씬 큰 규모의 데이터셋으로서, 생성, 시뮬레이션 및 자율 AI 분야에서 물리 기반 세계 모델 발전을 위한 새로운 벤치마크를 제시합니다.

We present PhysInOne, a large-scale synthetic dataset addressing the critical scarcity of physically-grounded training data for AI systems. Unlike existing datasets limited to merely hundreds or thousands of examples, PhysInOne provides 2 million videos across 153,810 dynamic 3D scenes, covering 71 basic physical phenomena in mechanics, optics, fluid dynamics, and magnetism. Distinct from previous works, our scenes feature multiobject interactions against complex backgrounds, with comprehensive ground-truth annotations including 3D geometry, semantics, dynamic motion, physical properties, and text descriptions. We demonstrate PhysInOne's efficacy across four emerging applications: physics-aware video generation, long-/short-term future frame prediction, physical property estimation, and motion transfer. Experiments show that fine-tuning foundation models on PhysInOne significantly enhances physical plausibility, while also exposing critical gaps in modeling complex physical dynamics and estimating intrinsic properties. As the largest dataset of its kind, orders of magnitude beyond prior works, PhysInOne establishes a new benchmark for advancing physics-grounded world models in generation, simulation, and embodied AI.