Valdi: 값 기반 확산 세계 모델

Valdi: Value Diffusion World Models

세계 모델은 모델 예측 제어(MPC)를 가능하게 하지만, 이는 온라인 사용에 충분히 빠르면서도 불확실한 미래를 표현할 수 있을 만큼 표현력이 뛰어나야 하는 동역학 예측을 필요로 합니다. 확산 모델은 불확실한 동역학을 모델링하는 자연스러운 메커니즘을 제공하지만, 반복적인 추론 과정으로 인해 낮은 지연 시간의 잠재 계획에 사용하기 어렵습니다. 본 연구에서는 값 기반 확산 세계 모델(Valdi)을 제안합니다. Valdi는 MPC를 위한 엔드 투 엔드 온라인 학습과 잠재 확산 동역학 모델을 결합하여 이러한 간극을 해소합니다. CarRacing 환경에서의 예비 실험에서, Valdi가 학습 및 추론 단계에서 단일 확산 단계를 사용하여 결정적인 MLP(Multi-Layer Perceptron) 기준 성능과 일치하는 것을 확인했습니다. 우리의 실험은 이 설정에서 예측적 다중 모드성과 제어 성능 간의 균형을 보여줍니다. 코드는 https://github.com/Kit115/ValueDiffusionWorldModels 에서 확인할 수 있습니다.

World models can enable Model Predictive Control (MPC), but this requires dynamics prediction that is both fast enough for online use and expressive enough to represent uncertain futures. Diffusion models offer a natural mechanism for modeling uncertain dynamics, yet their iterative inference procedure makes them difficult to use for low-latency latent planning. We bridge this gap with Value Diffusion World Models (Valdi), combining end-to-end online training for MPC with a latent diffusion dynamics model. In preliminary experiments on the CarRacing environment, we show that Valdi, using a single diffusion step at both training and inference, matches a deterministic MLP baseline. Our experiments expose a trade-off between predictive multimodality and control performance in this setup. Code is available at https://github.com/Kit115/ValueDiffusionWorldModels.