RPO-RAG: 관계 인식 선호도 최적화를 통한 지식 그래프 질의응답을 위한 소형 LLM 정렬

RPO-RAG: Aligning Small LLMs with Relation-aware Preference Optimization for Knowledge Graph Question Answering

최근 대규모 언어 모델(LLM)은 놀라운 추론 능력을 보여주었지만, 지식 집약적인 작업에서 환각 현상을 일으키는 경향이 있습니다. 검색 증강 생성(RAG)은 외부 소스, 예를 들어 지식 그래프(KG)에 답변을 기반하여 이 문제를 완화합니다. 그러나 기존의 KG 기반 RAG 접근 방식은 의미를 고려하지 않는 경로 샘플링에 의존하며, KG 추론 목표와 일관성이 떨어져 추가적인 정확도 향상을 제한합니다. 또한, 검색된 경로를 정렬 없이 바로 추론기에 입력하여 소형 LLM이 검색된 지식을 활용하는 능력을 저해합니다. 더욱이, 기존 연구들은 주로 대규모 LLM(예: ChatGPT/GPT-4)에 의존하거나 70억 개 이상의 파라미터를 가진 모델을 대상으로 하며, 70억 개 미만의 모델은 상대적으로 덜 연구되었습니다. 우리는 이러한 격차를 해소하기 위해, 현재까지 알려진 바로는 소형 LLM을 위해 특별히 설계된 최초의 KG 기반 RAG 프레임워크인 RPO-RAG를 제안합니다. RPO-RAG는 세 가지 주요 혁신을 도입합니다. (1) 정보적인 지도 신호를 제공하는 질의-경로 의미 샘플링 전략, (2) 중간 KG 추론 신호(예: 관계)와 일치하도록 학습을 조정하는 관계 인식 선호도 최적화, 그리고 (3) 개체와 추론 경로를 해석 가능한 형식으로 구성하는 답변 중심 프롬프트 설계입니다. WebQSP와 CWQ라는 두 개의 표준 지식 그래프 질의응답(KGQA) 데이터 세트에 대한 광범위한 실험 결과, RPO-RAG는 소형 및 대형 언어 모델 간의 성능 격차를 효과적으로 해소한다는 것을 보여줍니다. WebQSP 데이터 세트에서 RPO-RAG는 F1 점수를 최대 8.8% 향상시켜 답변 정확도를 높였으며, CWQ 데이터 세트에서는 80억 개 미만의 파라미터를 가진 모델 중에서 새로운 최고 성능을 달성했습니다(Hit 및 F1 모두). 전반적으로, RPO-RAG는 30억 개 미만의 파라미터를 가진 소형 LLM의 추론 능력을 크게 향상시키며, 이는 리소스 효율적이고 실용적인 온디바이스 KGQA 애플리케이션에 대한 잠재력을 보여줍니다.

Large Language Models (LLMs) have recently demonstrated remarkable reasoning abilities, yet hallucinate on knowledge-intensive tasks. Retrieval-augmented generation (RAG) mitigates this issue by grounding answers in external sources, e.g., knowledge graphs (KGs). However, existing KG-based RAG approaches rely on semantics-unaware path sampling and are weakly aligned with KG reasoning objectives, which limits further accuracy gains. They also feed retrieved paths directly into the reasoner without organizing them into answer-centered reasoning paths, hindering small LLMs' ability to leverage the retrieved knowledge. Furthermore, prior works predominantly rely on large LLMs (e.g., ChatGPT/GPT-4) or assume backbones above 7B parameters, leaving sub-7B models underexplored. We address this gap with RPO-RAG, the first KG-based RAG framework specifically designed for small LLMs, to the best of our knowledge. RPO-RAG introduces three key innovations: (1) a query-path semantic sampling strategy that provides informative supervisory signals; (2) a relation-aware preference optimization that aligns training with intermediate KG reasoning signals (e.g., relation); and (3) an answer-centered prompt design that organizes entities and reasoning paths in an interpretable format. Extensive experiments on two benchmark Knowledge Graph Question Answering (KGQA) datasets, WebQSP and CWQ, demonstrate that RPO-RAG effectively bridges the performance gap between small and large language models. On WebQSP, it improves F1 by up to 8.8%, reflecting enhanced answer precision, while on CWQ it achieves new state-of-the-art results among models under 8B parameters in both Hit and F1. Overall, RPO-RAG substantially improves the reasoning capability of small LLMs, even under 3B parameters-highlighting their potential for resource-efficient and practical on-device KGQA applications.