강화 학습을 통한 LLM 피드백을 활용한 RAG 리랭커 최적화

Optimizing RAG Rerankers with LLM Feedback via Reinforcement Learning

리트리버벌-증강 생성(Retrieval-Augmented Generation, RAG) 시스템에서 리랭커는 검색 결과를 개선하는 데 중요한 역할을 합니다. 그러나 현재 리랭킹 모델은 일반적으로 독립적으로 작동하며, 인간이 주석을 달아 생성한 정적 관련성 레이블을 기반으로 최적화됩니다. 이러한 독립적인 방식은 근본적인 불일치를 초래합니다. 즉, 정보 검색 지표에 의해 주제적으로 관련성이 높다고 판단되는 문서들이 실제로 LLM이 정확한 답변을 생성하는 데 필요한 유용성을 제공하지 못하는 경우가 많습니다. 이러한 격차를 해소하기 위해, 본 연구에서는 리랭킹을 LLM의 생성 품질과 직접적으로 연계하는 강화 학습 프레임워크인 ReRanking Preference Optimization (RRPO)을 제안합니다. RRPO는 리랭킹을 순차적 의사 결정 과정으로 정의하고, LLM 피드백을 활용하여 컨텍스트 유용성을 최적화함으로써, 값비싼 인간 주석의 필요성을 없앱니다. 또한, 학습 안정성을 확보하기 위해, 참조 기반의 결정적 기준선을 추가로 도입했습니다. 지식 집약적인 벤치마크에 대한 광범위한 실험 결과, RRPO는 강력한 기준 모델들을 크게 능가하며, 특히 강력한 리스트 기반 리랭커인 RankZephyr보다 우수한 성능을 보였습니다. 추가적인 분석을 통해, 본 프레임워크의 다양성과 유연성을 확인했습니다. 즉, 다양한 LLM (예: GPT-4o)에 적용 가능하며, Query2Doc과 같은 질의 확장 모듈과 직교적으로 통합될 수 있으며, 심지어 노이즈가 있는 지도 학습 환경에서도 안정적인 성능을 유지합니다.

Rerankers play a pivotal role in refining retrieval results for Retrieval-Augmented Generation. However, current reranking models are typically optimized on static human annotated relevance labels in isolation, decoupled from the downstream generation process. This isolation leads to a fundamental misalignment: documents identified as topically relevant by information retrieval metrics often fail to provide the actual utility required by the LLM for precise answer generation. To bridge this gap, we introduce ReRanking Preference Optimization (RRPO), a reinforcement learning framework that directly aligns reranking with the LLM's generation quality. By formulating reranking as a sequential decision-making process, RRPO optimizes for context utility using LLM feedback, thereby eliminating the need for expensive human annotations. To ensure training stability, we further introduce a reference-anchored deterministic baseline. Extensive experiments on knowledge-intensive benchmarks demonstrate that RRPO significantly outperforms strong baselines, including the powerful list-wise reranker RankZephyr. Further analysis highlights the versatility of our framework: it generalizes seamlessly to diverse readers (e.g., GPT-4o), integrates orthogonally with query expansion modules like Query2Doc, and remains robust even when trained with noisy supervisors.