그래프 기반 소프트 프롬프팅을 이용한 불완전 지식 그래프에 대한 토폴로지 기반 추론

Topology-Aware Reasoning over Incomplete Knowledge Graph with Graph-Based Soft Prompting

대규모 언어 모델(LLM)은 다양한 작업에서 뛰어난 능력을 보여주지만, 지식 집약적인 시나리오에서 환각 현상에 취약한 경향이 있습니다. 지식 기반 질의응답(KBQA)은 지식 그래프(KG)를 활용하여 이러한 문제를 완화합니다. 그러나 대부분의 멀티홉 KBQA 방법은 명시적인 엣지 탐색에 의존하여 KG의 불완전성에 취약합니다. 본 논문에서는 노드 수준의 경로 탐색에서 서브그래프 수준의 추론으로 추론 패러다임을 전환하는 새로운 그래프 기반 소프트 프롬프팅 프레임워크를 제안합니다. 구체적으로, 그래프 신경망(GNN)을 사용하여 추출된 구조적 서브그래프를 소프트 프롬프트로 인코딩하여 LLM이 더 풍부한 구조적 맥락에서 추론하고 즉각적인 그래프 이웃을 넘어 관련 엔티티를 식별하도록 합니다. 이를 통해 누락된 엣지에 대한 민감도를 줄입니다. 또한, 계산 비용을 줄이면서도 우수한 성능을 유지하는 두 단계의 패러다임을 도입했습니다. 경량 LLM이 먼저 소프트 프롬프트를 활용하여 질문과 관련된 엔티티 및 관계를 식별하고, 그 다음 더 강력한 LLM이 증거 기반 답변 생성을 수행합니다. 네 가지 멀티홉 KBQA 벤치마크에 대한 실험 결과, 제안하는 방법이 세 가지 벤치마크에서 최첨단 성능을 달성했으며, 그 효과를 입증합니다. 관련 코드는 다음 저장소에서 확인할 수 있습니다: https://github.com/Wangshuaiia/GraSP.

Large Language Models (LLMs) have shown remarkable capabilities across various tasks but remain prone to hallucinations in knowledge-intensive scenarios. Knowledge Base Question Answering (KBQA) mitigates this by grounding generation in Knowledge Graphs (KGs). However, most multi-hop KBQA methods rely on explicit edge traversal, making them fragile to KG incompleteness. In this paper, we proposed a novel graph-based soft prompting framework that shifts the reasoning paradigm from node-level path traversal to subgraph-level reasoning. Specifically, we employ a Graph Neural Network (GNN) to encode extracted structural subgraphs into soft prompts, enabling LLM to reason over richer structural context and identify relevant entities beyond immediate graph neighbors, thereby reducing sensitivity to missing edges. Furthermore, we introduce a two-stage paradigm that reduces computational cost while preserving good performance: a lightweight LLM first leverages the soft prompts to identify question-relevant entities and relations, followed by a more powerful LLM for evidence-aware answer generation. Experiments on four multi-hop KBQA benchmarks show that our approach achieves state-of-the-art performance on three of them, demonstrating its effectiveness. Code is available at the repository: https://github.com/Wangshuaiia/GraSP.