EO-WM: 물리적 정보를 활용한 확률 기반 지구 관측 예측을 위한 세계 모델

EO-WM: A Physically Informed World Model for Probabilistic Earth Observation Forecasting

지구 관측(Earth Observation, EO) 예측은 변화하는 기상 조건 하에서 위성 관측 데이터를 이용하여 미래의 지구 표면 역학을 예측하는 것을 목표로 합니다. 본 논문에서는 이 문제를 부분적으로 관찰되는, 기상에 의해 영향을 받는 세계 모델링 문제로 정의합니다. 여기서 기상은 조건 설정 신호 역할을 하며, 희소한 관측 데이터와 관측되지 않는 지표 상태로 인해 예측은 여전히 불확실성을 가집니다. 그러나 기존 방법들은 이러한 상황을 충분히 반영하지 못합니다. 결정론적 모델은 불확실성을 단일 미래 예측으로 축소하는 반면, 확산 기반 방법은 일반적으로 기상 변수를 구별되지 않은 조건 설정 신호로 처리합니다. 또한 기존의 벤치마크는 주로 재구성 정확도에 초점을 맞추고 있으며, 예측이 변화된 기상 요인에 대해 적절하게 반응하는지 여부는 고려하지 않습니다. 본 논문에서는 다중 스펙트럼 지구 관측 예측을 위한 비디오 확산 트랜스포머 모델인 EO-WM을 소개합니다. EO-WM은 물리적 정보를 활용한 조건 설정 프레임워크를 통합하여, 기상학적 기준선, 기상 변동, 그리고 누적된 물리적 스트레스 신호를 통해 기상 요인을 표현합니다. 특히, EO-WM은 기준선과 변동을 구별되는 조건 설정 경로로 분리하고, 시간이 지남에 따라 변동 요인을 누적하여 지속적인 열 및 가뭄 스트레스를 반영합니다. 표준 측정항목 외에도, 기상 반응성을 평가하기 위해 두 가지 진단 벤치마크를 도입했습니다. 첫 번째는 극심한 기후 조건 하에서 식생 악화 예측의 심각도를 고려하는 '극심한 여름 벤치마크'이고, 두 번째는 변화된 기상 요인에 대한 반응 충실성을 테스트하는 '계절별 매칭 쌍 벤치마크'입니다. 실험 결과, EO-WM은 예측된 정규화 차이 식생 지수(NDVI) 감소의 크기 오차를 상대적으로 5.63% 줄이고 방향성 정확도를 상대적으로 7.80% 향상시키는 것을 확인했으며, 표준적인 픽셀 수준 측정 항목에서도 경쟁력 있는 성능을 보였습니다. 제안된 벤치마크와 모델은 https://github.com/Luo-Z13/EO-WM 에서 오픈 소스로 제공됩니다.

Earth Observation (EO) forecasting aims to predict future Earth surface dynamics from satellite observations under changing meteorological conditions. In this paper, we view this task as a partially observed, weather-driven world modeling problem, in which weather acts as a conditioning signal, while forecasting remains uncertain due to sparse observations and unobserved land-surface states. However, existing methods do not fully capture this setting: deterministic models collapse uncertainty into a single future prediction, while diffusion-based methods typically treat weather variables as undifferentiated conditioning signals, and existing benchmarks focus mainly on reconstruction accuracy rather than whether forecasts respond correctly to changed weather forcing.We introduce EO-WM, a video diffusion transformer for multispectral EO forecasting. EO-WM incorporates a physically informed conditioning framework that represents meteorological forcing through a climatological baseline, weather anomalies, and cumulative physical stress signals. Specifically, it separates baseline and anomaly through distinct conditioning pathways, and accumulates anomalous forcing over time to capture sustained heat and drought stress. To evaluate weather-response behavior beyond standard metrics, we introduce two diagnostic benchmarks: an Extreme Summer Benchmark for severity-aware prediction of vegetation degradation under extreme weather, and a Seasonal Matched-Pair Benchmark for testing response fidelity under changed weather forcing. Experiments show that EO-WM reduces the error in predicted Normalized Difference Vegetation Index (NDVI) decline amplitude by a relative 5.63% and improves directional hit rate by a relative 7.80%, while remaining competitive on standard pixel-level metrics. The benchmarks and model will be made open-source at https://github.com/Luo-Z13/EO-WM.