SpatialEpiBench: 공간 정보 및 전염병 사전 지식을 활용한 예측 성능 평가

SpatialEpiBench: Benchmarking Spatial Information and Epidemic Priors in Forecasting

정확한 전염병 예측은 공중 보건 대응, 자원 배분 및 발생 억제를 위해 매우 중요하지만, 희소하고 노이즈가 많으며 비정상적인 데이터로 인해 여전히 어렵습니다. 전염병은 상호 연결된 지역에서 발생하므로, 시공간적 방법은 예측 정확도를 향상시키는 데 적합합니다. 공간 정보에 대한 관심이 높아지고 있지만, 표준화된 벤치마크는 존재하지 않으며, 현재의 평가는 실제 실시간 예측 방식을 반영하지 못하는 단순한 시간 순서 기반의 학습-검증 분할을 사용하는 경우가 많습니다. 우리는 이러한 문제를 해결하기 위해, 실제 공중 보건 환경에서 시공간적 전염병 예측의 성능을 평가할 수 있는 도전적인 벤치마크인 SpatialEpiBench를 개발했습니다. SpatialEpiBench는 표준화된 이동 평균 평가 및 발생 상황별 지표를 포함하는 11개의 전염병 데이터 세트를 제공합니다. 우리는 널리 사용되는 전염병 사전 지식을 활용하여 일반 모델을 역학에 맞게 조정하는 인접 지역 정보를 활용하는 예측 모델을 평가했지만, 대부분의 방법이 1일에서 1개월 후의 예측에서 간단한 이전 값 기준 모델보다 성능이 낮다는 것을 발견했습니다. 우리는 세 가지 주요 실패 요인을 확인했습니다: (1) 발생 상황 예측의 어려움, (2) 데이터 희소성 및 노이즈 처리의 어려움, (3) 일반적인 지리적 인접 정보가 역학적 공간 정보로 활용되는 데 한계가 있다는 점입니다. 우리는 벤치마크 데이터, 코드 및 사용 지침을 https://github.com/Rachel-Lyu/SpatialEpiBench 에서 공개하여 실용적인 전염병 예측 모델 개발을 지원합니다.

Accurate epidemic forecasting is crucial for public health response, resource allocation, and outbreak intervention, but remains difficult with sparse, noisy, and highly non-stationary data. Because epidemics unfold across interacting regions, spatiotemporal methods are natural candidates for improving forecasts. Despite growing interest in spatial information, no standardized benchmark exists, and current evaluations often use simple chronological train-test splits that do not reflect real-time forecasting practice. We address this gap with SpatialEpiBench, a challenging benchmark for spatiotemporal epidemic forecasting in realistic public-health settings. SpatialEpiBench includes 11 epidemic datasets with standardized rolling evaluations and outbreak-specific metrics. We evaluate adjacency-informed forecasting models with widely used epidemic priors that adapt general models to epidemiology, but find that most methods underperform a simple last-value baseline from 1 day to 1 month ahead, even during outbreaks and with these priors. We identify three major failure modes: (1) poor outbreak anticipation, (2) difficulty handling sparsity and noise, and (3) limited utility of common geographic adjacency for epidemiological spatial information. We release benchmark data, code, and instructions at https://github.com/Rachel-Lyu/SpatialEpiBench to support development of operationally useful epidemic forecasting models.