10억 규모의 그래프 기반 모델

Billion-Scale Graph Foundation Models

그래프 구조의 데이터는 많은 중요한 응용 분야의 기반이 됩니다. 기존의 기반 모델은 대규모 사전 학습과 경량화된 적응을 통해 자연어 처리 및 컴퓨터 비전을 혁신했지만, 이러한 패러다임을 일반적인 실제 그래프에 적용하는 것은 어려운 과제입니다. 본 연구에서는 Graph Billion-Foundation-Fusion (GraphBFF)을 소개합니다. GraphBFF는 임의의 이질적이고 10억 규모의 그래프에 대한 10억 파라미터 규모의 그래프 기반 모델(GFM)을 구축하기 위한 최초의 엔드 투 엔드 솔루션입니다. GraphBFF의 핵심은 유연하고 확장 가능한 아키텍처인 GraphBFF Transformer이며, 실질적인 10억 규모의 GFM에 적합하도록 설계되었습니다. GraphBFF를 사용하여 일반적인 그래프에 대한 최초의 신경망 확장 법칙을 제시하고, 모델 용량 또는 학습 데이터 중 어느 것이 병목 현상인지에 따라 손실이 예측 가능하게 감소한다는 것을 보여줍니다. GraphBFF 프레임워크는 대규모 GFM 구축을 위한 데이터 배치, 사전 학습 및 미세 조정에 대한 구체적인 방법론을 제공합니다. 본 연구에서는 10억 개의 샘플로 사전 학습된 14억 파라미터 규모의 GraphBFF Transformer를 평가하여 프레임워크의 효과를 입증했습니다. 학습 중에 사용되지 않은 다양한 실제 그래프 데이터셋의 10가지 하위 작업에서 GraphBFF는 노드 및 링크 수준의 분류 및 회귀 작업에서 뛰어난 제로샷 및 탐색 성능을 보였으며, 특히 소량 데이터 환경에서도 최대 31 PRAUC 포인트의 큰 성능 향상을 달성했습니다. 마지막으로, 산업 규모에서 그래프 학습을 위한 실용적이고 원칙적인 기반을 구축하기 위한 GFM의 주요 과제와 새로운 기회를 논의합니다.

Graph-structured data underpins many critical applications. While foundation models have transformed language and vision via large-scale pretraining and lightweight adaptation, extending this paradigm to general, real-world graphs is challenging. In this work, we present Graph Billion- Foundation-Fusion (GraphBFF): the first end-to-end recipe for building billion-parameter Graph Foundation Models (GFMs) for arbitrary heterogeneous, billion-scale graphs. Central to the recipe is the GraphBFF Transformer, a flexible and scalable architecture designed for practical billion-scale GFMs. Using the GraphBFF, we present the first neural scaling laws for general graphs and show that loss decreases predictably as either model capacity or training data scales, depending on which factor is the bottleneck. The GraphBFF framework provides concrete methodologies for data batching, pretraining, and fine-tuning for building GFMs at scale. We demonstrate the effectiveness of the framework with an evaluation of a 1.4 billion-parameter GraphBFF Transformer pretrained on one billion samples. Across ten diverse, real-world downstream tasks on graphs unseen during training, spanning node- and link-level classification and regression, GraphBFF achieves remarkable zero-shot and probing performance, including in few-shot settings, with large margins of up to 31 PRAUC points. Finally, we discuss key challenges and open opportunities for making GFMs a practical and principled foundation for graph learning at industrial scale.