RAL2M: 검색 기반 학습을 통한 일치 학습 - 규정 준수를 보장하는 서비스 시스템에서의 환각 현상 방지

RAL2M: Retrieval Augmented Learning-To-Match Against Hallucination in Compliance-Guaranteed Service Systems

LLM 기반 서비스 시스템에서 환각 현상은 주요 문제이며, 규정 준수를 보장하는 응답을 위해서는 명시적인 지식 기반이 필수적입니다. 본 논문에서는 검색 증강 학습을 통한 일치 학습(RAL2M)이라는 새로운 프레임워크를 제안합니다. RAL2M은 LLM을 순수 생성 방식의 대안으로, 검색 기반 시스템 내에서 LLM을 질의-응답 매칭 심판으로 재배치하여 생성 과정에서 발생하는 환각 현상을 제거합니다. 또한, 판단 과정에서의 환각 현상을 완화하기 위해, LLM 간의 다양한 능력과 상호 의존성을 명시적으로 모델링하는 질의-적응적 잠재 앙상블 전략을 제안합니다. 이를 통해 교정된 합의 결정을 얻을 수 있습니다. 대규모 벤치마크를 사용한 광범위한 실험 결과, 제안된 방법은 '다수의 지혜'를 효과적으로 활용하여 기존의 강력한 방법들을 크게 능가하는 성능을 보였습니다. 마지막으로, 향후 연구에서 잠재 표현을 더욱 효과적으로 활용하기 위한 최적의 방법과 유망한 연구 방향에 대해 논의합니다.

Hallucination is a major concern in LLM-driven service systems, necessitating explicit knowledge grounding for compliance-guaranteed responses. In this paper, we introduce Retrieval-Augmented Learning-to-Match (RAL2M), a novel framework that eliminates generation hallucination by repositioning LLMs as query-response matching judges within a retrieval-based system, providing a robust alternative to purely generative approaches. To further mitigate judgment hallucination, we propose a query-adaptive latent ensemble strategy that explicitly models heterogeneous model competence and interdependencies among LLMs, deriving a calibrated consensus decision. Extensive experiments on large-scale benchmarks demonstrate that the proposed method effectively leverages the "wisdom of the crowd" and significantly outperforms strong baselines. Finally, we discuss best practices and promising directions for further exploiting latent representations in future work.