RAG-GFM: 검색 증강 생성(Retrieval-Augmented Generation)을 활용한 그래프 기반 모델의 메모리 병목 현상 극복

RAG-GFM: Overcoming In-Memory Bottlenecks in Graph Foundation Models via Retrieval-Augmented Generation

그래프 기반 모델(GFM)은 다양한 작업에 걸쳐 전이 가능한 표현을 제공할 것으로 기대되며, 그래프 학습 분야의 중요한 기술로 부상했습니다. 그러나 GFM은 메모리 병목 현상으로 인해 제약을 받습니다. GFM은 지식을 모델 파라미터에 저장하려 하는데, 이는 의미 용량을 제한하고, 충돌을 야기하는 심각한 정보 손실을 발생시키며, 그래프 표현과 지식을 얽히게 만들어 효율적인 적응을 방해하고, 확장성과 해석력을 저해합니다. 본 연구에서는 지식을 파라미터에서 분리하고 파라미터화된 학습을 보완하는 검색 증강 생성 기반 그래프 기반 모델인 RAG-GFM을 제안합니다. 그래프 지식을 외부화하기 위해, 접두사 구조 텍스트 기반의 의미 저장소와 중심성 기반 모티프 기반의 구조 저장소를 결합한 이중 모달 통합 검색 모듈을 구축했습니다. 다양한 정보를 보존하기 위해, 콘텐츠와 관계 패턴을 모두 포착하기 위해 두 모달리티를 비교하는 이중 뷰 정렬 객관 함수를 설계했습니다. 효율적인 하위 작업 적응을 위해, 검색된 텍스트와 모티프를 맥락 증거로 활용하여 지원 인스턴스를 풍부하게 만드는 인-컨텍스트 증강 기법을 사용했습니다. 다섯 가지 벤치마크 그래프 데이터 세트에 대한 광범위한 실험 결과, RAG-GFM은 교차 도메인 노드 및 그래프 분류 작업에서 13개의 최첨단 모델보다 일관되게 우수한 성능을 보이며, 뛰어난 효과와 효율성을 달성했습니다.

Graph Foundation Models (GFMs) have emerged as a frontier in graph learning, which are expected to deliver transferable representations across diverse tasks. However, GFMs remain constrained by in-memory bottlenecks: they attempt to encode knowledge into model parameters, which limits semantic capacity, introduces heavy lossy compression with conflicts, and entangles graph representation with the knowledge in ways that hinder efficient adaptation, undermining scalability and interpretability. In this work,we propose RAG-GFM, a Retrieval-Augmented Generation aided Graph Foundation Model that offloads knowledge from parameters and complements parameterized learning. To externalize graph knowledge, we build a dual-modal unified retrieval module, where a semantic store from prefix-structured text and a structural store from centrality-based motif. To preserve heterogeneous information, we design a dual-view alignment objective that contrasts both modalities to capture both content and relational patterns. To enable efficient downstream adaptation, we perform in-context augmentation to enrich supporting instances with retrieved texts and motifs as contextual evidence. Extensive experiments on five benchmark graph datasets demonstrate that RAG-GFM consistently outperforms 13 state-of-the-art baselines in both cross-domain node and graph classification, achieving superior effectiveness and efficiency.