지식 그래프 기반의 개방형 질문 응답을 위한 LLM-GNN 통합 활용

Leveraging LLM-GNN Integration for Open-World Question Answering over Knowledge Graphs

지식 그래프(KG) 기반의 개방형 질문 응답(OW-QA)은 불완전하거나 변화하는 KG를 대상으로 질문에 답하는 것을 목표로 합니다. 기존의 KGQA는 KG 내에 반드시 답이 존재해야 한다는 폐쇄형 세계를 가정하므로 실제 적용에 한계가 있습니다. 반면, 개방형 QA는 그래프 구조와 맥락을 기반으로 누락된 지식을 추론해야 합니다. 대규모 언어 모델(LLM)은 언어 이해에 뛰어나지만 구조적 추론 능력은 부족하며, 그래프 신경망(GNN)은 그래프 토폴로지를 모델링하지만 의미 해석에는 어려움을 겪습니다. 기존 시스템은 LLM과 GNN 또는 그래프 검색 시스템을 통합하는 방식으로 개발되었습니다. 일부 시스템은 개방형 QA를 지원하지만, 의미론적 기반 없이 구조적 임베딩에 의존하는 경우가 많습니다. 또한, 대부분의 시스템은 관찰 가능한 경로 또는 완전한 그래프를 가정하므로 누락된 연결 또는 다중 홉 추론 상황에서 신뢰성이 떨어집니다. 본 논문에서는 개방형 KGQA를 위한 하이브리드 시스템인 GLOW를 제안합니다. GLOW는 사전 훈련된 GNN과 LLM을 결합하여 작동합니다. GNN은 그래프 구조를 기반으로 상위 k개의 후보 답변을 예측합니다. 이러한 후보 답변과 관련된 KG 사실을 함께 구조화된 프롬프트(예: 트리플과 후보)로 변환하여 LLM의 추론을 돕습니다. 이를 통해 LLM은 기호적 신호와 의미론적 신호에 대한 통합적인 추론을 수행하며, 검색 또는 미세 조정에 의존하지 않습니다. 일반화 성능을 평가하기 위해, GLOW-BENCH라는 1,000개의 질문으로 구성된 벤치마크를 개발했으며, 이는 다양한 도메인의 불완전한 KG를 대상으로 합니다. GLOW는 기존의 LLM-GNN 시스템보다 표준 벤치마크 및 GLOW-BENCH에서 더 우수한 성능을 보이며, 최대 53.3%의 성능 향상, 평균 38%의 성능 향상을 달성했습니다. GitHub에 코드 및 데이터가 공개되어 있습니다.

Open-world Question Answering (OW-QA) over knowledge graphs (KGs) aims to answer questions over incomplete or evolving KGs. Traditional KGQA assumes a closed world where answers must exist in the KG, limiting real-world applicability. In contrast, open-world QA requires inferring missing knowledge based on graph structure and context. Large language models (LLMs) excel at language understanding but lack structured reasoning. Graph neural networks (GNNs) model graph topology but struggle with semantic interpretation. Existing systems integrate LLMs with GNNs or graph retrievers. Some support open-world QA but rely on structural embeddings without semantic grounding. Most assume observed paths or complete graphs, making them unreliable under missing links or multi-hop reasoning. We present GLOW, a hybrid system that combines a pre-trained GNN and an LLM for open-world KGQA. The GNN predicts top-k candidate answers from the graph structure. These, along with relevant KG facts, are serialized into a structured prompt (e.g., triples and candidates) to guide the LLM's reasoning. This enables joint reasoning over symbolic and semantic signals, without relying on retrieval or fine-tuning. To evaluate generalization, we introduce GLOW-BENCH, a 1,000-question benchmark over incomplete KGs across diverse domains. GLOW outperforms existing LLM-GNN systems on standard benchmarks and GLOW-BENCH, achieving up to 53.3% and an average 38% improvement. GitHub code and data are available.