GS-Quant: 지식 그래프 완성(Knowledge Graph Completion)을 위한 세분화된 의미론적 및 생성적 구조적 양자화

GS-Quant: Granular Semantic and Generative Structural Quantization for Knowledge Graph Completion

대규모 언어 모델(LLM)은 지식 그래프 완성(KGC) 분야에서 엄청난 잠재력을 보여주었지만, 연속적인 그래프 임베딩과 이산적인 LLM 토큰 간의 modality gap을 해소하는 것은 여전히 중요한 과제입니다. 최근의 양자화 기반 접근 방식은 이러한 modality gap을 해소하려고 시도하지만, 일반적으로 양자화를 단순한 수치 압축으로 처리하여, 의미적으로 얽혀 있고 인간의 추론의 계층적 특성을 반영하지 못하는 코드를 생성합니다. 본 논문에서는 지식 그래프 엔티티에 대한 의미적으로 일관되고 구조적으로 계층화된 이산 코드를 생성하는 새로운 프레임워크인 GS-Quant를 제안합니다. 기존 방법과는 달리, GS-Quant는 엔티티 표현이 언어적 거시-미시 논리를 따라야 한다는 통찰력에 기반합니다. 우리는 계층적 지식을 코드북에 주입하여 초기 코드가 전반적인 의미 범주를 포착하고 후기 코드가 특정 속성을 구체화하도록 하는 Granular Semantic Enhancement 모듈을 도입합니다. 또한, Generative Structural Reconstruction 모듈은 코드 시퀀스에 인과적 의존성을 부여하여 독립적인 이산 단위를 구조화된 의미 기술자로 변환합니다. 이러한 학습된 코드를 LLM의 어휘를 확장함으로써, 모델은 그래프 구조를 자연어 생성과 동일하게 추론할 수 있습니다. 실험 결과는 GS-Quant가 기존의 텍스트 기반 및 임베딩 기반 모델보다 훨씬 우수한 성능을 보임을 보여줍니다. 저희의 코드는 https://github.com/mikumifa/GS-Quant 에서 공개적으로 이용할 수 있습니다.

Large Language Models (LLMs) have shown immense potential in Knowledge Graph Completion (KGC), yet bridging the modality gap between continuous graph embeddings and discrete LLM tokens remains a critical challenge. While recent quantization-based approaches attempt to align these modalities, they typically treat quantization as flat numerical compression, resulting in semantically entangled codes that fail to mirror the hierarchical nature of human reasoning. In this paper, we propose GS-Quant, a novel framework that generates semantically coherent and structurally stratified discrete codes for KG entities. Unlike prior methods, GS-Quant is grounded in the insight that entity representations should follow a linguistic coarse-to-fine logic. We introduce a Granular Semantic Enhancement module that injects hierarchical knowledge into the codebook, ensuring that earlier codes capture global semantic categories while later codes refine specific attributes. Furthermore, a Generative Structural Reconstruction module imposes causal dependencies on the code sequence, transforming independent discrete units into structured semantic descriptors. By expanding the LLM vocabulary with these learned codes, we enable the model to reason over graph structures isomorphically to natural language generation. Experimental results demonstrate that GS-Quant significantly outperforms existing text-based and embedding-based baselines. Our code is publicly available at https://github.com/mikumifa/GS-Quant.