아르고스 눈: 불확실성 점수를 활용하여 검색 오류를 평가하고, 검색 사각지대를 감지하고 개선

With Argus Eyes: Assessing Retrieval Gaps via Uncertainty Scoring to Detect and Remedy Retrieval Blind Spots

신뢰할 수 있는 검색 기반 생성(RAG) 시스템은 검색기의 관련 정보 검색 능력에 근본적으로 의존합니다. 본 연구에서는 RAG 시스템에 사용되는 신경망 검색기가 '사각지대'라는 문제를 가지고 있음을 보여줍니다. 여기서 사각지대는 쿼리에 관련되지만 쿼리 임베딩과 유사성이 낮은 엔티티를 검색하지 못하는 현상을 의미합니다. 우리는 훈련 과정에서 발생하는 편향으로 인해 이러한 사각지대 엔티티들이 검색하기 어려운 임베딩 공간 영역에 매핑되어 검색 가능성이 낮아지는 것을 확인했습니다. Wikidata 관계와 Wikipedia의 첫 번째 단락으로 구성된 대규모 데이터셋과, 본 연구에서 제안하는 검색 확률 점수(RPS)를 활용하여, 기존 검색기(예: CONTRIEVER, REASONIR)의 사각지대 위험을 색인 전에 엔티티 임베딩 구조를 통해 예측할 수 있음을 보여줍니다. 이렇게 예측함으로써 비용이 많이 드는 검색 평가를 피할 수 있습니다. 이러한 사각지대를 해결하기 위해, 본 연구에서는 지식 베이스(KB) 또는 Wikipedia의 첫 번째 단락에서 가져온 문서를 활용하여 위험도가 높은(낮은 RPS) 엔티티의 검색 가능성을 높이는 파이프라인인 ARGUS를 제안합니다. BRIGHT, IMPLIRET, RAR-B 데이터셋에 대한 광범위한 실험 결과, ARGUS는 평가된 모든 검색기에 대해 일관된 성능 향상(평균 +3.4 nDCG@5 및 +4.5 nDCG@10)을 달성했으며, 특히 어려운 부분 집합에서 더 큰 성능 향상을 보였습니다. 이러한 결과는 RAG 시스템의 견고성과 신뢰성을 확보하기 위해서는 사전에 사각지대를 해결하는 것이 매우 중요하다는 것을 입증합니다. (코드 및 데이터 제공)

Reliable retrieval-augmented generation (RAG) systems depend fundamentally on the retriever's ability to find relevant information. We show that neural retrievers used in RAG systems have blind spots, which we define as the failure to retrieve entities that are relevant to the query, but have low similarity to the query embedding. We investigate the training-induced biases that cause such blind spot entities to be mapped to inaccessible parts of the embedding space, resulting in low retrievability. Using a large-scale dataset constructed from Wikidata relations and first paragraphs of Wikipedia, and our proposed Retrieval Probability Score (RPS), we show that blind spot risk in standard retrievers (e.g., CONTRIEVER, REASONIR) can be predicted pre-index from entity embedding geometry, avoiding expensive retrieval evaluations. To address these blind spots, we introduce ARGUS, a pipeline that enables the retrievability of high-risk (low-RPS) entities through targeted document augmentation from a knowledge base (KB), first paragraphs of Wikipedia, in our case. Extensive experiments on BRIGHT, IMPLIRET, and RAR-B show that ARGUS achieves consistent improvements across all evaluated retrievers (averaging +3.4 nDCG@5 and +4.5 nDCG@10 absolute points), with substantially larger gains in challenging subsets. These results establish that preemptively remedying blind spots is critical for building robust and trustworthy RAG systems (Code and Data).