검색 증강 생성 (Retrieval-augmented Generation)을 위한 신경-기호 검색 시스템

Neurosymbolic Retrievers for Retrieval-augmented Generation

검색 증강 생성 (RAG)은 대규모 언어 모델의 주요 한계, 즉 환각 현상, 문맥적 기반 부족, 그리고 투명성 문제 등을 해결하는 데 상당한 진전을 이루었습니다. 그러나 기존의 RAG 시스템은 검색기, 재순위화기, 그리고 생성기로 구성된 세 가지 상호 연결된 신경망 구성 요소로 이루어져 있으며, 이러한 구성 요소들의 내부 추론 과정은 여전히 불투명합니다. 이러한 투명성 부족은 해석 가능성을 복잡하게 만들고, 디버깅 노력을 방해하며, 특히 명확한 의사 결정이 필수적인 고위험 영역에서 신뢰를 저하시킵니다. 이러한 문제점을 해결하기 위해, 우리는 지식 그래프를 활용한 기호 추론과 신경망 검색 기술을 통합한 신경-기호 RAG (Neurosymbolic RAG)이라는 새로운 개념을 소개합니다. 이 새로운 프레임워크는 다음과 같은 두 가지 주요 질문에 대한 답을 찾고자 합니다. (a) 검색 시스템이 문서 선택을 위한 명확하고 해석 가능한 근거를 제공할 수 있는가? (b) 기호 지식이 검색 과정의 명확성을 향상시킬 수 있는가? 우리는 이러한 통합을 개선하기 위한 세 가지 방법을 제안합니다. 첫 번째 방법은 해석 가능한 기호 특징을 사용하여 쿼리 임베딩을 개선하는 모듈레이션 네트워크를 사용하는 MAR (Knowledge Modulation Aligned Retrieval)입니다. 두 번째 방법은 지식 그래프를 탐색하여 전반적인 검색 품질과 해석 가능성을 향상시키는 KG-Path RAG입니다. 마지막으로, Process Knowledge-infused RAG은 검증된 워크플로우를 기반으로 검색된 콘텐츠를 재정렬하기 위해 도메인별 도구를 활용합니다. 정신 건강 위험 평가 작업에 대한 초기 결과는 이 신경-기호 접근 방식이 투명성과 전체 성능을 모두 향상시킨다는 것을 보여줍니다.

Retrieval Augmented Generation (RAG) has made significant strides in overcoming key limitations of large language models, such as hallucination, lack of contextual grounding, and issues with transparency. However, traditional RAG systems consist of three interconnected neural components - the retriever, re-ranker, and generator - whose internal reasoning processes remain opaque. This lack of transparency complicates interpretability, hinders debugging efforts, and erodes trust, especially in high-stakes domains where clear decision-making is essential. To address these challenges, we introduce the concept of Neurosymbolic RAG, which integrates symbolic reasoning using a knowledge graph with neural retrieval techniques. This new framework aims to answer two primary questions: (a) Can retrievers provide a clear and interpretable basis for document selection? (b) Can symbolic knowledge enhance the clarity of the retrieval process? We propose three methods to improve this integration. First is MAR (Knowledge Modulation Aligned Retrieval) that employs modulation networks to refine query embeddings using interpretable symbolic features, thereby making document matching more explicit. Second, KG-Path RAG enhances queries by traversing knowledge graphs to improve overall retrieval quality and interpretability. Lastly, Process Knowledge-infused RAG utilizes domain-specific tools to reorder retrieved content based on validated workflows. Preliminary results from mental health risk assessment tasks indicate that this neurosymbolic approach enhances both transparency and overall performance