학습 가능한 그래프 패치를 이용한 특징 이질성 처리

Handling Feature Heterogeneity with Learnable Graph Patches

최근 몇 년 동안 기초 모델 및 그래프 사전 학습 기술의 급속한 발전으로 인해 범용 사전 학습 그래프 모델, 즉 Graph Foundation Model (GFM)을 구축하는 데 대한 관심이 높아지고 있습니다. 하지만 기존 모델은 텍스트 정보 없이 그래프 데이터 내의 특징 이질성을 해결할 수 없다는 중요한 문제점을 가지고 있으며, 이는 다양한 데이터 세트 간의 그래프 모델 전이 가능성을 저해합니다. 이러한 격차를 해소하기 위해, 본 논문에서는 모든 그래프 데이터의 가장 기본적인 의미 단위라고 할 수 있는 학습 가능한 그래프 패치라는 개념을 제안합니다. 우리는 노드 특징을 펼치고 이에 상응하는 패치 구조를 별도로 구성하여 그래프를 학습 가능한 그래프 패치로 분해합니다. 그런 다음, 도메인 간에 전이 가능한 정보를 추출할 수 있는 프레임워크를 설계했습니다. 구체적으로, 그래프 패치를 추출한 후, 각 단원에서 지식을 추출하는 패치 인코더와 단위들이 전체 구조로 결합되는 방식을 학습하는 패치 어그리게이터를 제안합니다. 본 모델은 도메인에 독립적인 특성을 가지므로 다양한 도메인의 다운스트림 데이터에 적용할 수 있습니다. 또한, 본 연구 방법과 기존 그래프 모델 간의 연관성 및 생성된 노드 임베딩의 전이 가능성에 대한 분석을 수행했습니다. 실험 결과, 본 방법은 다중 도메인 그래프를 사전 학습하는 데 활용될 뿐만 아니라 다양한 다운스트림 데이터 세트 및 작업에서 향상된 성능을 보여줍니다. 또한, 사전 학습 데이터의 양이 증가함에 따라 다운스트림 성능이 꾸준히 개선되는 것을 관찰했습니다.

In recent years, the rapid development of foundation models and graph pre-training technologies has spurred increasing interest in constructing a universal pre-trained graph model or Graph Foundation Model (GFM). However, a significant challenge is that existing models are unable to address feature heterogeneity in graph data without textual information, which hinders the transferability of graph models across different datasets. To bridge this gap, we propose the concept of learnable graph patches, which we regard as the smallest semantic units of any graph data. We decompose the graph into learnable graph patches by unfolding the node features and constructing corresponding patch structures separately. We then design a framework that mines transferable information from graph data across domains. Specifically, after extracting graph patches, we propose a patch encoder to extract knowledge from each unit and a patch aggregator to learn how the units are combined into a whole. Due to its domain-agnostic nature, the model can be applied to downstream data across different domains. Furthermore, we analyze the connection between our method and existing graph models, as well as the transferability of the node embeddings it generates. Empirically, our method not only achieves the capability to use multi-domain graphs for pre-training, but also shows enhanced performance across various downstream datasets and tasks. Moreover, we observe consistent improvement in downstream performance as the volume of pre-training data increases.