다중 경로 LLM 추론을 이용한 다중 모드 환경에서의 소량 데이터 지식 그래프 완성

Dual-Path LLM Reasoning for Multimodal Few-Shot Knowledge Graph Completion

지식 그래프 완성(KGC)은 지식 그래프 내의 누락된 사실을 추론하여 완전성을 높이고, 다양한 지능형 애플리케이션을 지원하는 것을 목표로 합니다. 그러나 실제 환경에서 새롭게 등장하는 개체 및 관계는 유도적 KGC를 어렵게 만들며, 특히 소량 데이터 또는 제로-샷 환경에서는 더욱 그렇습니다. 다중 모드 정보와 대규모 언어 모델(LLM)로부터 얻은 사전 지식은 희소한 관계 맥락을 풍부하게 할 수 있지만, 동시에 노이즈가 있거나 환각된 증거를 포함할 수도 있습니다. 이러한 문제점을 해결하기 위해, 본 연구에서는 다중 모드 환경에서 소량 데이터 KGC를 위한 이중 경로 LLM 추론 프레임워크인 DuPLeR을 제안합니다. DuPLeR은 사실 기반의 구조와 함께 LLM으로부터 얻은 타입 사전 정보를 결합하여 신뢰성 있는 관계 그래프를 구축하고, 정제된 관계 토폴로지 상에서 이중 수준의 구조적 추론을 수행합니다. 또한, 이중 경로 다중 모드 강화 모듈은 쿼리와 관련된 다중 모드 신호를 활용하여 메시지 전달을 조절하고, 그래프 전파 후 개체 표현을 보완합니다. 두 개의 다중 모드 지식 그래프(MMKG) 벤치마크의 여덟 가지 유도적 변형에 대한 실험 결과, DuPLeR은 데이터가 부족한 KGC 시나리오에서 뛰어난 성능을 보이는 것으로 나타났습니다.

Knowledge graph completion (KGC) aims to infer missing facts in knowledge graphs (KGs), thereby improving their completeness and supporting downstream intelligent applications. However, emerging entities and relations in real-world deployments make inductive KGC difficult, especially under few-shot and zero-shot settings. Multimodal information and Large Language Model (LLM)-derived priors can enrich sparse relational contexts, but they may also introduce noisy or hallucinated evidence. To address these issues, we propose DuPLeR, a \textbf{Du}al-\textbf{P}ath \textbf{L}LM \textbf{R}easoning framework for multimodal few-shot KGC. DuPLeR builds a calibrated relation graph by combining multimodal LLM-derived type priors with factual support structures, and performs dual-level structural reasoning over the refined relation topology. Moreover, a dual-pathway multimodal enhancement module regulates message passing with query-relevant multimodal signals and supplements entity representations after graph propagation. Experiments on eight inductive variants of two multimodal KG (MMKG) benchmarks show that DuPLeR achieves robust performance in data-scarce KGC scenarios.