물리적 제약 기반 세계 모델: 생성적 세계 모델링에 대한 해밀턴 관점

Physically Native World Models: A Hamiltonian Perspective on Generative World Modeling

최근 세계 모델은 인공지능, 로봇 공학, 자율 주행 및 모델 기반 강화 학습 분야에서 핵심적인 패러다임으로 다시 부상했습니다. 그러나 현재의 세계 모델 연구는 주로 시각적 미래 예측을 강조하는 2D 비디오 생성 모델, 공간 재구성을 강조하는 3D 장면 중심 모델, 그리고 추상적인 예측 표현을 강조하는 JEPA와 유사한 잠재 모델이라는 세 가지 부분적으로 분리된 경로로 나뉘어져 있습니다. 각 경로는 중요한 발전을 이루었지만, 여전히 신뢰할 수 있는 물리적 예측, 제어 가능한 행동, 그리고 장기적인 안정성을 제공하는 데 어려움을 겪고 있습니다. 본 논문에서는 세계 모델의 주요 과제가 현실적인 미래를 생성하는 것뿐만 아니라, 생성된 미래가 물리적으로 의미 있고 행동에 유용한지를 판단하는 데 있다는 점을 주장합니다. 우리는 '해밀턴 세계 모델'을 제안하며, 이는 세계 모델링에 대한 물리적 기반의 관점을 제공합니다. 핵심 아이디어는 관측 데이터를 구조화된 잠재 위상 공간으로 인코딩하고, 제어, 소산 및 잔류 항을 포함하는 해밀턴 역학에 영감을 받은 방식으로 잠재 상태를 진화시키며, 예측된 궤적을 미래 관측 데이터로 디코딩하고, 생성된 결과를 계획에 활용하는 것입니다. 우리는 해밀턴 구조가 해석 가능성, 데이터 효율성 및 장기적인 안정성을 향상시킬 수 있는 방법을 논의하고, 동시에 마찰, 접촉, 비보존력 및 변형 가능한 물체와 관련된 실제 로봇 환경에서의 실질적인 과제를 지적합니다.

World models have recently re-emerged as a central paradigm for embodied intelligence, robotics, autonomous driving, and model-based reinforcement learning. However, current world model research is often dominated by three partially separated routes: 2D video-generative models that emphasize visual future synthesis, 3D scene-centric models that emphasize spatial reconstruction, and JEPA-like latent models that emphasize abstract predictive representations. While each route has made important progress, they still struggle to provide physically reliable, action-controllable, and long-horizon stable predictions for embodied decision making. In this paper, we argue that the bottleneck of world models is no longer only whether they can generate realistic futures, but whether those futures are physically meaningful and useful for action. We propose \emph{Hamiltonian World Models} as a physically grounded perspective on world modeling. The key idea is to encode observations into a structured latent phase space, evolve the latent state through Hamiltonian-inspired dynamics with control, dissipation, and residual terms, decode the predicted trajectory into future observations, and use the resulting rollouts for planning. We discuss how Hamiltonian structure may improve interpretability, data efficiency, and long-horizon stability, while also noting practical challenges in real-world robotic scenes involving friction, contact, non-conservative forces, and deformable objects.