RADD: 검색 증강 이산 확산 모델을 이용한 다중 모드 지식 그래프 완성

RADD: Retrieval-Augmented Discrete Diffusion for Multi-Modal Knowledge Graph Completion

대부분의 다중 모드 지식 그래프 완성(MMKGC) 모델은 전체 엔티티 집합에서 검색을 수행하고 최종 결정을 내리는 데 하나의 임베딩 점수를 사용합니다. 우리는 이러한 결합이 핵심적인 병목 현상이라고 주장합니다. 왜냐하면 높은 검색률을 가진 전역 검색과 미세한 수준의 의미 구별은 서로 다른 유도 편향을 필요로 하기 때문입니다. 따라서 우리는 검색 증강 이산 확산(RADD) 프레임워크를 제안하여 MMKGC에서 검색과 재순위를 분리합니다. 관계 인식 다중 모드 지식 그래프 임베딩 검색기는 전역 검색기이자 지식 전달 교사 역할을 수행하며, 조건부 이산 디노이징 모델은 재순위를 위한 후보 엔티티 목록 수준의 엔티티-아이덴티티 생성을 수행합니다. 학습 과정은 지식 그래프 임베딩 감독, 디노이징 교차 엔트로피, 그리고 검색기에서 디노이징 모델로의 온도 스케일링된 지식 전달을 결합합니다. 추론 시, 설계된 Diff-Rerank는 먼저 검색기를 사용하여 상위 $K$개 후보 목록을 생성하고, 그런 다음 디노이징 모델을 사용하여 이를 재순위합니다. 이를 통해 정확도는 항상 높은 검색률을 전제로 합니다. 세 개의 MMKGC 벤치마크에서 수행한 실험 결과, RADD는 강력한 단일 모드, 다중 모드 및 LLM 기반 모델보다 우수한 성능을 보였으며, 다양한 구성 요소의 기여도를 확인하기 위한 추가 실험을 통해 각 구성 요소의 효과를 검증했습니다.

Most multi-modal knowledge graph completion (MMKGC) models use one embedding scorer to do both retrieval over the full entity set and final decision making. We argue that this coupling is a core bottleneck: global high-recall search and local fine-grained disambiguation require different inductive biases. Therefore, we propose a Retrieval-Augmented Discrete Diffusion (RADD) framework to decouple retrieve and reranking for MMKGC. A relation-aware multimodal KGE retriever serves as both global retriever and distillation teacher, while a conditional discrete denoiser performs shortlist-level entity-identity generation for reranking. Training combines KGE supervision, denoising cross-entropy, and temperature-scaled distillation from the retriever to the denoiser. At inference, the designed Diff-Rerank first forms a top-$K$ shortlist with the retriever and then reranks it with the denoiser, ensuring that recall is a strict prerequisite for precision. Experiments on three MMKGC benchmarks show that RADD achieves the best performance and consistent gains over strong unimodal, multimodal, and LLM-based baselines, while ablations further verify the contribution of each component.