대규모 언어 모델과 소규모 언어 모델 결합을 통한 지식 베이스 완성 및 질의 응답

Joint Knowledge Base Completion and Question Answering by Combining Large Language Models and Small Language Models

지식 베이스(KB)는 다양한 응용 분야에서 중요한 역할을 합니다. 지식 베이스 완성(KBC)과 지식 베이스 질의 응답(KBQA)은 대표적인 KB 관련 작업이며, 서로 밀접하게 관련되어 있고 상호 보완적인 관계를 가지고 있습니다. 따라서, KBC와 KBQA를 함께 해결하여 서로 강화하는 것은 매우 유용할 것입니다. 그러나 기존 연구에서는 일반적으로 소규모 언어 모델(SLM)을 사용하여 이들을 함께 개선하지만, 대규모 언어 모델(LLM)의 강력한 추론 능력은 간과되는 경우가 많습니다. 본 논문에서는 LLM의 강점과 SLM의 강점을 결합하여 JCQL이라는 새로운 프레임워크를 제안합니다. 이 프레임워크는 두 가지 작업을 반복적으로 상호 강화할 수 있도록 설계되었습니다. KBC가 KBQA를 개선하도록 하기 위해, LLM 기반의 KBQA 모델의 추론 경로를 SLM으로 학습된 KBC 모델을 에이전트의 행동으로 통합하여 강화함으로써, LLM의 환각 현상 및 높은 계산 비용 문제를 완화합니다. 또한, KBQA가 KBC를 개선하도록 하기 위해, KBQA의 추론 경로를 보충 학습 데이터로 활용하여 KBC 모델을 점진적으로 미세 조정함으로써, KBC에서 SLM의 능력을 향상시킵니다. 두 개의 공개 벤치마크 데이터 세트를 사용한 광범위한 실험 결과, JCQL은 KBC 및 KBQA 작업 모두에서 기존 방법보다 우수한 성능을 보였습니다.

Knowledge Bases (KBs) play a key role in various applications. As two representative KB-related tasks, knowledge base completion (KBC) and knowledge base question answering (KBQA) are closely related and inherently complementary with each other. Thus, it will be beneficial to solve the task of joint KBC and KBQA to make them reinforce each other. However, existing studies usually rely on the small language model (SLM) to enhance them jointly, and the large language model (LLM)'s strong reasoning ability is ignored. In this paper, by combining the strengths of the LLM with the SLM, we propose a novel framework JCQL, which can make these two tasks enhance each other in an iterative manner. To make KBC enhance KBQA, we augment the LLM agent-based KBQA model's reasoning paths by incorporating an SLM-trained KBC model as an action of the agent, alleviating the LLM's hallucination and high computational costs issue in KBQA. To make KBQA enhance KBC, we incrementally fine-tune the KBC model by leveraging KBQA's reasoning paths as its supplementary training data, improving the ability of the SLM in KBC. Extensive experiments over two public benchmark data sets demonstrate that JCQL surpasses all baselines for both KBC and KBQA tasks.