세밀한 지식 검증을 통한 금융 검색 증강 생성에서의 환각 완화

Mitigating Hallucination in Financial Retrieval-Augmented Generation via Fine-Grained Knowledge Verification

금융 검색 증강 생성(RAG) 시스템에서 모델은 금융 도메인의 시의성으로 인해 정확한 응답을 생성하기 위해 검색된 문서에 빈번하게 의존합니다. 검색된 문서는 지식의 공백을 해결하는 데 도움이 되지만, 모델이 생성한 응답은 여전히 검색된 정보와 모순되는 환각 문제를 겪고 있습니다. 이러한 불일치를 완화하기 위해, 우리는 세밀한 지식 검증(RLFKV)으로 강화된 강화 학습 프레임워크를 제안합니다. 우리의 방법은 금융 응답을 원자적 지식 단위로 분해하고 각 단위의 정확성을 평가하여 세밀하고 충실한 보상을 계산합니다. 이 보상은 더 정밀한 최적화 신호를 제공하여 검색된 문서와의 정렬을 향상시킵니다. 또한, 보상 해킹(예: 지나치게 간결한 답변)을 방지하기 위해, 정책 모델이 기본 모델만큼의 지식 단위를 유지하도록 장려하는 정보성 보상을 통합합니다. 공개된 금융 데이터 설명(FDD) 작업과 새롭게 제안된 FDD-ANT 데이터셋에서 수행된 실험은 일관된 성능 향상을 보여주며, 우리 접근 방식의 유효성을 확인해 줍니다.

In financial Retrieval-Augmented Generation (RAG) systems, models frequently rely on retrieved documents to generate accurate responses due to the time-sensitive nature of the financial domain. While retrieved documents help address knowledge gaps, model-generated responses still suffer from hallucinations that contradict the retrieved information. To mitigate this inconsistency, we propose a Reinforcement Learning framework enhanced with Fine-grained Knowledge Verification (RLFKV). Our method decomposes financial responses into atomic knowledge units and assesses the correctness of each unit to compute the fine-grained faithful reward. This reward offers more precise optimization signals, thereby improving alignment with the retrieved documents. Additionally, to prevent reward hacking (e.g., overly concise replies), we incorporate an informativeness reward that encourages the policy model to retain at least as many knowledge units as the base model. Experiments conducted on the public Financial Data Description (FDD) task and our newly proposed FDD-ANT dataset demonstrate consistent improvements, confirming the effectiveness of our approach.