동적 지식 그래프와 설명 가능한 검색 증강 생성을 활용한 통신 분야 대형 언어 모델(LLM) 성능 향상

Enhancing Large Language Models (LLMs) for Telecom using Dynamic Knowledge Graphs and Explainable Retrieval-Augmented Generation

대형 언어 모델(LLM)은 다양한 작업에서 강력한 잠재력을 보여주었지만, 도메인의 복잡성, 지속적으로 발전하는 표준 및 전문 용어로 인해 통신 분야에 적용하는 데는 여전히 어려움이 있다. 따라서 일반 도메인의 LLM은 이러한 환경에서 정확하고 신뢰할 수 있는 결과를 제공하는 데 어려움을 겪을 수 있으며, 이는 환각 현상(hallucination)을 증가시키고 통신 운영에서의 효용성을 떨어뜨린다. 이러한 한계를 해결하기 위해, 본 연구는 지식 그래프(KG)와 검색 증강 생성(RAG)을 통합하여 통신 특화 작업을 위한 LLM을 향상시키는 새로운 프레임워크인 KG-RAG를 소개한다. 특히, KG는 통신 표준 및 기술 문서에서 도출된 도메인 지식의 구조화된 표현을 제공하며, RAG는 모델의 출력에 근거를 마련하기 위해 관련 사실의 동적 검색을 가능하게 한다. 이러한 조합은 사실적 정확성을 높이고, 환각을 줄이며, 통신 사양 준수를 보장한다. 벤치마크 데이터셋에 대한 실험 결과는 KG-RAG가 LLM 단독 모델 및 표준 RAG 베이스라인 모두를 능가함을 보여준다. 예를 들어, KG-RAG는 RAG 대비 평균 14.3%, LLM 단독 모델 대비 21.6%의 정확도 향상을 달성했다. 이러한 결과는 복잡한 통신 시나리오에서 정확하고 신뢰할 수 있으며 설명 가능한 출력을 생성하는 데 있어 KG-RAG의 효과를 강조한다.

Large language models (LLMs) have shown strong potential across a variety of tasks, but their application in the telecom field remains challenging due to domain complexity, evolving standards, and specialized terminology. Therefore, general-domain LLMs may struggle to provide accurate and reliable outputs in this context, leading to increased hallucinations and reduced utility in telecom operations.To address these limitations, this work introduces KG-RAG-a novel framework that integrates knowledge graphs (KGs) with retrieval-augmented generation (RAG) to enhance LLMs for telecom-specific tasks. In particular, the KG provides a structured representation of domain knowledge derived from telecom standards and technical documents, while RAG enables dynamic retrieval of relevant facts to ground the model's outputs. Such a combination improves factual accuracy, reduces hallucination, and ensures compliance with telecom specifications.Experimental results across benchmark datasets demonstrate that KG-RAG outperforms both LLM-only and standard RAG baselines, e.g., KG-RAG achieves an average accuracy improvement of 14.3% over RAG and 21.6% over LLM-only models. These results highlight KG-RAG's effectiveness in producing accurate, reliable, and explainable outputs in complex telecom scenarios.