RAG 시스템에서 발생하는 잡음 필터링의 근본적인 어려움에 대한 연구

Tackling the Inherent Difficulty of Noise Filtering in RAG

검색 증강 생성(RAG)은 외부 지식을 통합하고 환각 현상을 줄여 대규모 언어 모델(LLM)을 향상시키는 널리 사용되는 방법입니다. 그러나 RAG 과정에서 종종 불필요하거나 관련 없는 문서가 포함되어 성능 저하를 초래하고 심지어 환각된 결과를 발생시킬 수 있습니다. 이러한 잡음을 제거하기 위한 다양한 방법이 제안되었지만, 우리는 검색된 콘텐츠에서 관련 없는 정보를 식별하는 것이 근본적으로 어렵고 제한된 수의 트랜스포머 레이어로는 이러한 문제를 해결하기 어렵다고 주장합니다. 그 결과, 검색 시스템은 관련 없는 문서를 완전히 필터링하지 못합니다. 따라서 LLM은 이러한 잡음에 강건해야 하지만, 표준 파인튜닝 방식은 어텐션 패턴의 구조적 제약으로 인해 모델이 관련 정보는 선택적으로 활용하면서 관련 없는 콘텐츠는 무시하도록 하는 데 효과적이지 않은 경우가 많습니다. 이러한 문제를 해결하기 위해, 우리는 모델이 검색된 문서 내에서 관련 정보와 관련 없는 정보를 구별하는 능력을 향상시키는 새로운 파인튜닝 방법을 제안합니다. 여러 벤치마크에서 실시한 광범위한 실험 결과, 우리의 접근 방식이 LLM의 강건성과 성능을 크게 향상시키는 것으로 나타났습니다.

Retrieval-Augmented Generation (RAG) has become a widely adopted approach to enhance Large Language Models (LLMs) by incorporating external knowledge and reducing hallucinations. However, noisy or irrelevant documents are often introduced during RAG, potentially degrading performance and even causing hallucinated outputs. While various methods have been proposed to filter out such noise, we argue that identifying irrelevant information from retrieved content is inherently difficult and limited number of transformer layers can hardly solve this. Consequently, retrievers fail to filter out irrelevant documents entirely. Therefore, LLMs must be robust against such noise, but we demonstrate that standard fine-tuning approaches are often ineffective in enabling the model to selectively utilize relevant information while ignoring irrelevant content due to the structural constraints of attention patterns. To address this, we propose a novel fine-tuning method designed to enhance the model's ability to distinguish between relevant and irrelevant information within retrieved documents. Extensive experiments across multiple benchmarks show that our approach significantly improves the robustness and performance of LLMs.