KGPFN: 지식 그래프 기반 모델의 잠재력을 맥락 내 학습을 통해 극대화

KGPFN: Unlocking the Potential of Knowledge Graph Foundation Model via In-Context Learning

지식 그래프(KG) 기반 모델은 학습 가능한 관계 구조를 통해 새로운 개체와 관계가 포함된 그래프에서도 일반화하는 것을 목표로 합니다. 그러나 대부분의 기존 방법은 관계 수준의 보편성에 중점을 두는 반면, 또 다른 중요한 요소인 맥락 내 학습(in-context learning)은 KG 추론에 있어 충분히 활용되지 못하고 있습니다. KG에서 맥락은 본질적으로 구조화되어 있고 이질적이며, 효과적인 예측을 위해서는 쿼리 개체 주변의 로컬 맥락뿐만 아니라, 관계가 다양한 경우에 어떻게 동작하는지를 요약하는 글로벌 맥락에 대한 조건부 처리가 필요합니다. 본 논문에서는 Prior-data Fitted Network를 활용하여 전이 가능한 관계 규칙과 구조화된 맥락으로부터의 추론 시 맥락 내 학습을 통합하는 KG 기반 모델인 KGPFN을 제안합니다. KGPFN은 먼저 메시지 전달을 통해 관계 그래프에서 관계 표현을 학습하여 그래프 간의 관계 불변성을 파악합니다. 쿼리별 추론을 위해, 다층 NBFNet을 사용하여 로컬 이웃을 인코딩하여 로컬 맥락을 구성합니다. 글로벌 규모의 맥락 내 학습을 가능하게 하기 위해, KGPFN은 쿼리 관계의 많은 인스턴스와 해당 로컬 이웃을 검색하여 관계별 글로벌 맥락을 구성하고, 이를 Prior-Data Fitted Network 프레임워크 내에서 집계합니다. 이 프레임워크는 특징 수준 및 샘플 수준의 어텐션을 결합합니다. 다양한 KG에서 멀티 그래프 사전 훈련을 통해 KGPFN은 재사용 가능한 패턴을 언제 적용할지, 그리고 언제 문맥적 증거를 사용하여 이를 재정의할지를 학습합니다. 57개의 KG 벤치마크에 대한 실험 결과, KGPFN은 맥락 내 학습만으로도 이전에 보지 못했던 그래프에 대한 강력한 적응력을 보여주며, 기존의 튜닝된 KG 기반 모델보다 우수한 성능을 보입니다. 저희의 코드는 https://github.com/HKUST-KnowComp/KGPFN 에서 확인하실 수 있습니다.

Knowledge graph (KG) foundation models aim to generalize across graphs with unseen entities and relations by learning transferable relational structure. However, most existing methods primarily emphasize relation-level universality, while in-context learning, the other pillar of foundation models remains under-explored for KG reasoning. In KGs, context is inherently structured and heterogeneous: effective prediction requires conditioning on the local context around the query entities as well as the global context that summarizes how a relation behaves across many instances. We propose KGPFN, a KG foundation model using Prior-data Fitted Network that unifies transferable relational regularities with inference-time in-context learning from structured context. KGPFN first learns relation representations via message passing on relation graphs to capture cross-graph relational invariances. For query-specific reasoning, it encodes local neighborhoods using a multi-layer NBFNet as local context. To enable ICL at global scale, it constructs relation-specific global context by retrieving a large set of instances of the query relation together with their local neighborhoods, and aggregates them within a Prior-Data Fitted Network framework that combines feature-level and sample-level attention. Through multi-graph pretraining on diverse KGs, KGPFN learns when to instantiate reusable patterns and when to override them using contextual evidence. Experiments on 57 KG benchmarks demonstrate that KGPFN achieves strong adaptation to previously unseen graphs through in-context learning alone, consistently outperforming competitive fine-tuned KG foundation models. Our code is available at https://github.com/HKUST-KnowComp/KGPFN.