대규모 교통 예측을 위한 로컬 절단 오차 기반 신경 ODE

Local Truncation Error-Guided Neural ODEs for Large Scale Traffic Forecasting

대규모 교통 네트워크와 같은 물리 시스템에서의 시공간 예측은 연속적인 거시적 패턴과 불규칙하고 예측 불가능한 미시적 충격이라는 이중적인 동적 특성을 모델링해야 합니다. 신경 상미분 방정식(ODEs)은 부드러운 변화를 잘 포착하지만, 고유한 리프시츠 연속성 제약 조건으로 인해 급격한 이상 현상에 직면할 때 심각한 과도한 평활화가 발생합니다. 최근의 물리 기반 방법은 수치적 적분 오류를 페널티로 부과하여 다양체(manifold)의 부드러움을 강제함으로써 이러한 문제를 해결하려고 시도합니다. 그러나 우리는 수학적으로 그러한 엄격한 정규화가 본질적으로 기울기 충돌과 "어텐션 붕괴"를 유발하여 모델의 이상 현상에 대한 민감도를 저하시킨다는 것을 밝혀냈습니다. 이러한 연속성-충격 딜레마를 해결하기 위해, 우리는 로컬 절단 오차 기반 신경 ODE(LTE-ODE)를 제안합니다. 우리는 수치적 오류를 제거해야 할 번거로운 요소로 취급하는 대신, 로컬 절단 오차(LTE)를 혁신적으로 비지도(unsupervised) 방식으로 전방 유도 편향(forward inductive bias)으로 활용합니다. 우리의 아키텍처는 LTE를 동적인 공간 어텐션 마스크로 매핑하여 안정적인 영역에서 고정밀 연속적인 ODE 진화를 유지하면서, 충격 지점에서만 이산적인 보정 브랜치를 적응적으로 활성화합니다. LTE-ODE는 다양체 페널티 없이 완전하게 엔드투엔드 방식으로 학습되며, 여러 대규모 벤치마크에서 최첨단 성능을 달성하고, 매우 비선형적인 변동에 대한 뛰어난 강건성을 보여줍니다. 또한, 우리의 적분 단계에 대한 분석은 높은 배포 유연성을 보여주며, 모델이 실제 응용 분야에서 다양한 하드웨어 메모리 제약 조건에 원활하게 적응할 수 있도록 합니다.

Spatiotemporal forecasting in physical systems, such as large-scale traffic networks, requires modeling a dual dynamic: continuous macroscopic rhythms and discrete, unpredictable microscopic shocks. While Neural Ordinary Differential Equations (ODEs) excel at capturing smooth evolution, their inherent Lipschitz continuity constraints inevitably cause severe over-smoothing when confronting abrupt anomalies. Recent physics-informed methods attempt to bypass this by penalizing numerical integration errors to enforce manifold smoothness. However, we mathematically reveal that such rigid regularization inherently triggers gradient conflicts and ``attention collapse,'' stripping the model of its sensitivity to anomalies. To resolve this continuity-shock dilemma, we propose Local Truncation Error-Guided Neural ODEs (LTE-ODE). Rather than treating numerical error as a nuisance to be eliminated, we innovatively repurpose the Local Truncation Error (LTE) as an unsupervised forward inductive bias. By mapping the LTE into a dynamic spatial attention mask, our architecture gracefully preserves high-precision continuous ODE evolution in stable regions, while adaptively triggering a discrete compensation branch exclusively at shock points. Trained purely end-to-end without manifold penalties, LTE-ODE achieves state-of-the-art performance on multiple large-scale benchmarks, exhibiting exceptional robustness against highly non-linear fluctuations. Furthermore, our ablation on integration steps demonstrates high deployment flexibility, allowing the model to seamlessly adapt to varying hardware memory constraints in real-world applications.