토큰화, 융합 및 분리: 대규모 언어 모델과 지식 그래프 간의 세분화 불일치 해소

Tokenization, Fusion and Decoupling: Bridging the Granularity Mismatch Between Large Language Models and Knowledge Graphs

대규모 언어 모델(LLM)을 활용하여 지식 그래프 완성(KGC)을 수행하는 것은 유망하지만, 근본적인 세분화 불일치로 인해 어려움이 있습니다. LLM은 단편적인 토큰 시퀀스를 처리하는 반면, 엔티티는 지식 그래프(KG) 시나리오에서 기본적인 단위입니다. 기존 접근 방식은 일반적으로 예측을 제한된 후보 집합으로 제한하거나, 여러 토큰을 결합하거나 엔티티를 고정 길이 토큰 시퀀스로 분해하여 LLM의 어휘에 엔티티를 일치시키는 방식으로 작동하며, 이는 텍스트의 의미적 의미와 그래프의 구조적 완전성을 모두 포착하는 데 실패합니다. 이러한 문제를 해결하기 위해, 우리는 전용 엔티티 토큰을 사용하여 효율적인 전체 공간 예측을 가능하게 하는 새로운 프레임워크인 KGT를 제안합니다. 구체적으로, 먼저 특수 토큰화를 도입하여 전용 엔티티 토큰 수준에서 특징 표현을 구성합니다. 그런 다음, 미리 학습된 구조적 및 텍스트 특징을 관계 기반 게이팅 메커니즘을 통해 이러한 통합 임베딩으로 융합하여 처음부터 학습하는 것을 방지합니다. 마지막으로, 독립적인 헤드를 활용하여 의미론적 및 구조적 추론을 분리하고 결합하는 분리된 예측을 구현합니다. 실험 결과는 KGT가 여러 벤치마크에서 최첨단 방법보다 일관되게 우수한 성능을 발휘한다는 것을 보여줍니다.

Leveraging Large Language Models (LLMs) for Knowledge Graph Completion (KGC) is promising but hindered by a fundamental granularity mismatch. LLMs operate on fragmented token sequences, whereas entities are the fundamental units in knowledge graphs (KGs) scenarios. Existing approaches typically constrain predictions to limited candidate sets or align entities with the LLM's vocabulary by pooling multiple tokens or decomposing entities into fixed-length token sequences, which fail to capture both the semantic meaning of the text and the structural integrity of the graph. To address this, we propose KGT, a novel framework that uses dedicated entity tokens to enable efficient, full-space prediction. Specifically, we first introduce specialized tokenization to construct feature representations at the level of dedicated entity tokens. We then fuse pre-trained structural and textual features into these unified embeddings via a relation-guided gating mechanism, avoiding training from scratch. Finally, we implement decoupled prediction by leveraging independent heads to separate and combine semantic and structural reasoning. Experimental results show that KGT consistently outperforms state-of-the-art methods across multiple benchmarks.