그래프 기반 모델이 구조에 대해 일반화될 수 있는가?

Can Graph Foundation Models Generalize Over Architecture?

그래프 기반 모델(GFM)은 최근 그래프 신경망(GNN) 아키텍처가 임의의 크기, 특징 차원 및 도메인의 그래프에서 제로샷으로 일반화될 수 있다는 잠재력 때문에 주목받고 있습니다. 기존 연구에서는 다양한 실제 벤치마크에서 이러한 능력이 경험적으로 입증되었지만, 이러한 작업들은 중요한 숨겨진 제한점을 공유합니다. 즉, 효과적인 GNN 아키텍처의 범위가 제한적입니다. 특히, 현재의 도메인에 국한되지 않는 GFM은 고정된 아키텍처를 기반으로 하며, 이는 단일 메시지 전달 방식이 모든 작업에 충분하다는 것을 암묵적으로 가정합니다. 본 논문에서는 아키텍처 적응성이 진정한 GFM의 필수적인 요소라고 주장합니다. 기존 접근 방식이 작업에 따라 달라지는 아키텍처 속성에 대해 얼마나 취약한지 보여주며, 사례 연구로 범위를 최소한의 측정 가능한 축으로 사용하여 이러한 제한점이 명확하게 드러나는 것을 확인합니다. 이론적 분석과 통제된 합성 실험을 통해, 고정된 아키텍처를 가진 GFM은 학습 시에 관찰된 아키텍처 요구 사항과 다른 아키텍처 요구 사항을 가진 작업에서 성능이 부족하다는 것을 입증합니다. 이 문제를 해결하기 위해, 우리는 추론 시에 작업별 선형 그래프 연산자를 발견하고 결합하여 효과적인 GNN 아키텍처를 조정하는 프레임워크를 소개합니다. 이를 통해 재학습 없이 다양한 아키텍처 요구 사항을 가진 작업에 대한 제로샷 일반화를 가능하게 합니다. 우리는 이 접근 방식을 임의 범위의 합성 작업과 다양한 실제 벤치마크에서 검증하여 기존의 도메인에 국한되지 않는 GFM보다 향상된 성능과 안정성을 보여줍니다.

Graph foundation models (GFMs) have recently attracted interest due to the promise of graph neural network (GNN) architectures that generalize zero-shot across graphs of arbitrary scales, feature dimensions, and domains. While existing work has demonstrated this ability empirically across diverse real-world benchmarks, these tasks share a crucial hidden limitation: they admit a narrow set of effective GNN architectures. In particular, current domain-agnostic GFMs rely on fixed architectural backbones, implicitly assuming that a single message-passing regime suffices across tasks. In this paper, we argue that architecture adaptivity is a necessary requirement for true GFMs. We show that existing approaches are non-robust to task-dependent architectural attributes and, as a case study, use range as a minimal and measurable axis along which this limitation becomes explicit. With theoretical analysis and controlled synthetic experiments, we demonstrate that fixed-backbone GFMs provably under-reach on tasks whose architectural requirements differ from those seen at training time. To address this issue, we introduce a framework that adapts effective GNN architecture at inference time by discovering and mixing task-specific linear graph operators, enabling zero-shot generalization across tasks with heterogeneous architectural requirements, without retraining. We validate our approach on arbitrary-range synthetic tasks and a suite of real-world benchmarks, demonstrating improved performance and robustness over existing domain-agnostic GFMs.