ODEWorld: 물리 시간 흐름 기반의 연속적 예측 아키텍처

ODEWorld: A Continuous Predictive Architecture via Physical-Time Flow

우리가 존재하는 물리 세계에서 공간과 시간은 근본적으로 연속입니다. 그러나, 기존의 월드 모델링을 위한 머신러닝 패러다임은 대부분 이산 시간 예측에 국한되어 있어, 물리 세계의 역학 관계를 정확하게 반영하는 데 상당한 비효율성을 보입니다. 본 연구에서는 물리 시간에 작동하는 연속적인 잠재 속도장을 학습하는 새로운 접근 방식인 Physical-Time Flow (PT-Flow)를 소개합니다. PT-Flow는 순차 데이터의 기본 동역학을 일반 미분 방정식(ODE)으로 모델링하며, 이는 잘 구조화된 표현 공간에 내재되어 있습니다. 이 프레임워크에서 미래 예측은 압축된 잠재 공간에서 ODE 솔버를 사용한 시간 적분을 통해 재구성할 수 있습니다. PT-Flow를 기반으로, 효율적이고 다용도적인 연속 시간 잠재 월드 모델인 ODEWorld를 구축했습니다. ODEWorld는 시간에 따라 변하는 특징을 추출하고 동역학 표현 공간과 잠재 속도장에 ODE 속성을 적용함으로써, 기존 잠재 월드 모델 연구에서 나타나는 대표적인 문제인 표현 붕괴 현상을 효과적으로 해결합니다. 또한, 이는 장기 예측 이후에도 고품질의 이미지 재구성을 가능하게 합니다. 더욱이, 연속적인 특성 덕분에 임의의 시간 해상도를 지원하며, 대부분의 이산 시간 모델에서는 불가능한 역방향 예측도 수행할 수 있습니다. 마지막으로, ODEWorld는 다운스트림 정책 학습을 용이하게 하는 풍부한 계획 관련 정보를 제공합니다. 종합적인 실험 결과는 ODEWorld가 시각적 현실감과 함께 계획에 적합한 동역학 추상화를 성공적으로 결합하며, 비디오 생성 및 로봇 제어 분야에서 뛰어난 성능을 보임을 입증합니다. [프로젝트 웹사이트](https://dstate.github.io/odeworld_website/)

In the physical world we inhabit, space and time are fundamentally continuous. However, existing machine learning paradigms for world modeling are largely confined to discrete-time prediction, thereby exhibiting significant inefficiency in capturing the dynamics of physical world. We introduce Physical-Time Flow (PT-Flow), a novel approach that learns a continuous latent velocity field operating in physical time. Crucially, the underlying dynamics of sequential data are parameterized by an ordinary differential equation (ODE) embedded in a well-structured representation space. Under this paradigm, the prediction of future can be recast as temporal integration via an ODE solver in the compressed latent space. Building upon PT-Flow, we construct ODEWorld, a continuous-time latent world model that is both efficient and versatile. By extracting time-variant features and enforcing ODE properties on both the dynamical representation space and the latent velocity field, ODEWorld effectively addresses the long-standing representation collapse issue in latent world model literature. This also enables high-quality image reconstruction even after long-horizon prediction. Moreover, its continuous nature allows for arbitrary temporal resolution and even backward prediction, which is impossible for most discrete-time models. Lastly, ODEWorld can provide rich planning-oriented information to facilitate downstream policy learning. Comprehensive experiments demonstrate that ODEWorld successfully reconciles planning-conducive dynamics abstraction with visual realism, excelling in both video generation and robotic control. Project page: https://odeworld.github.io/.