GAUGE: 물리적 정확성을 평가하기 위한 측정 기반 벤치마크 - 시뮬레이션 엔진 및 비디오 월드 모델

GAUGE: A Measurement-Grounded Benchmark for Physical Fidelity in Simulation Engines and Video World Models

물리 엔진은 임베디드 인텔리전스의 대규모 학습 및 평가를 지원하며, 생성형 비디오 월드 모델은 미래 상태 및 상호 작용을 암시적으로 시뮬레이션하는 도구로 부상하고 있습니다. 그러나 기존의 물리적 정확성 평가는 종종 개별적으로 수행되며, 주로 지각적 유사성 또는 인간 판단에 의존하여, 어떤 물리 법칙이나 매개변수가 위반되는지에 대한 제한적인 통찰력을 제공합니다. 본 논문에서는 GAUGE를 소개합니다. GAUGE는 실제 세계 데이터를 기반으로 설계된 진단 벤치마크로, 수치 시뮬레이터와 생성형 비디오 월드 모델이 실제 세계의 물리학을 얼마나 정확하게 재현하거나 벗어나는지를 동시에 평가하는 데 사용됩니다. GAUGE는 강체, 유연한 케이블, 섬유, 그리고 부피 변형 물체를 포함한 22가지 제어된 작업 그룹으로 구성되어 있습니다. 이러한 작업들은 실제 세계의 경로 데이터에 기반하며, 보정된 물리적 메타데이터, 불확실성 주석, 그리고 작업별 관측값을 함께 제공하여 충돌, 마찰, 운동량 전달, 진동, 자기 접촉 및 다양한 재료와 조건에서의 변형과 같은 기본적인 물리 과정을 포괄합니다. 우리는 Isaac Sim, Genesis, Newton을 14가지 작업 그룹에 대해 일반화된 경로 오차를 사용하여 벤치마킹하고, 6개의 이미지-비디오 모델을 5가지 강체 작업에 대해 물리 법칙의 일관성과 추론된 매개변수의 시간적 안정성을 테스트하여 평가했습니다. 우리의 결과는 어떤 시뮬레이션 엔진도 균일하게 정확하지 않으며, 가장 큰 불일치는 충격 접촉, 빠른 섬유 운동 및 부피 변형에서 발생하는 것으로 나타났습니다. 또한, 비디오 월드 모델은 예상되는 방정식 형태의 경로를 생성할 수 있지만, 잘못된 가속도, 운동량 전달 및 진동 시간을 복원하는 것을 확인했습니다. GAUGE는 임베디드 인텔리전스를 위한 더욱 물리적으로 정확한 시뮬레이터와 월드 모델을 개발하기 위한 기반을 제공합니다.

Physics engines facilitate large-scale training and evaluation for embodied intelligence, while generative video world models are emerging as implicit simulators of future states and interactions. However, existing evaluations of physical fidelity are often conducted in isolation and rely heavily on perceptual similarity or human judgments, providing limited insight into which physical principles or parameters are violated. We introduce GAUGE, a real-world-grounded diagnostic benchmark for jointly evaluating how numerical simulators and generative video world models reproduce or deviate from real-world physics. It comprises 22 controlled task families covering rigid bodies, flexible cables, textiles, and volumetric deformable objects. Grounded in real-world trajectories and paired with calibrated physical metadata, uncertainty annotations, and task-specific observables, these tasks cover fundamental physical processes including collision, friction, momentum transfer, oscillation, self-contact, and deformation across diverse materials and conditions. We benchmark Isaac Sim, Genesis, and Newton on 14 task families using generalized trajectory errors, and evaluate 6 image-to-video models on 5 rigid-body tasks by testing physical-law consistency and the temporal stability of inferred parameters. Our results reveal no uniformly faithful physics engine, with the largest discrepancies arising in impulsive contact, rapid textile motion, and volumetric deformation. We further find that video world models can produce trajectories with the expected equation form while recovering incorrect accelerations, momentum transfer, and oscillation timing. GAUGE lays the groundwork for developing more physically faithful simulators and world models for embodied intelligence.