일반화 가능한 시공간 예측을 위한 그래프 기반 컨텍스트 연산자 네트워크

Graph In-Context Operator Networks for Generalizable Spatiotemporal Prediction

컨텍스트 기반 연산자 학습은 신경망이 가중치 업데이트 없이 컨텍스트 예제로부터 솔루션 연산자를 추론하도록 합니다. 기존 연구에서는 이 방법이 방대한 데이터 세트를 활용하는 데 효과적이라는 것이 입증되었지만, 동일한 훈련 데이터를 사용하여 컨텍스트 기반 학습과 단일 연산자 학습을 체계적으로 비교한 연구는 부족했습니다. 본 연구에서는 동일한 훈련 단계와 데이터 세트를 사용하여 컨텍스트 기반 연산자 학습과 전통적인 연산자 학습(컨텍스트 예제 없이 훈련된 단일 연산자 모델)을 비교하는 통제된 실험을 통해 이러한 간극을 메우고자 합니다. 실제 시공간 시스템에 대한 이러한 연구를 가능하게 하기 위해, 본 연구에서는 기하학적 일반화를 위한 그래프 메시지 전달과 카디널리티 일반화를 위한 예제 기반 위치 인코딩을 결합한 GICON(Graph In-Context Operator Network)을 제안합니다. 중국의 두 지역의 대기 질 예측 실험 결과, 컨텍스트 기반 연산자 학습은 복잡한 작업에서 전통적인 연산자 학습보다 우수한 성능을 보이며, 공간 영역 전체에 걸쳐 일반화되며, 훈련 예제의 수가 적은 경우에도 100개로 증가함에 따라 안정적으로 확장됩니다.

In-context operator learning enables neural networks to infer solution operators from contextual examples without weight updates. While prior work has demonstrated the effectiveness of this paradigm in leveraging vast datasets, a systematic comparison against single-operator learning using identical training data has been absent. We address this gap through controlled experiments comparing in-context operator learning against classical operator learning (single-operator models trained without contextual examples), under the same training steps and dataset. To enable this investigation on real-world spatiotemporal systems, we propose GICON (Graph In-Context Operator Network), combining graph message passing for geometric generalization with example-aware positional encoding for cardinality generalization. Experiments on air quality prediction across two Chinese regions show that in-context operator learning outperforms classical operator learning on complex tasks, generalizing across spatial domains and scaling robustly from few training examples to 100 at inference.