RL-Index: 검색 인덱스 추론을 위한 강화 학습

RL-Index: Reinforcement Learning for Retrieval Index Reasoning

실제 문제 해결에는 외부 지식 검색이 필수적이지만, 쿼리와 관련된 지식 간의 관계가 표면적인 의미 또는 어휘 일치 이상의 복잡하고 암묵적인 추론을 포함하는 경우 여전히 어려운 과제로 남아 있습니다 (예: 동일한 정리를 사용하는 수학 문제 또는 깊은 추론이 필요한 코딩). 기존 접근 방식은 주로 쿼리 측의 추론(예: 쿼리 재작성)에 의존하며, 이는 상당한 온라인 지연 시간을 유발하고 지식 저장소 자체에 대한 추론(즉, 인덱스 측 추론)을 수행할 기회를 충분히 활용하지 못합니다. 본 논문에서는 검색 인덱스 추론을 강화 학습 문제로 공식화하는 에이전트 기반 인덱싱 프레임워크인 RL-Index를 제안합니다. RL-Index는 쿼리 시에 추론을 수행하는 대신, LLM(대규모 언어 모델)에서 생성한 설명(rationales)을 문서에 추가하여 잠재적인 쿼리와 지식 간의 관계를 명시적으로 인코딩함으로써 추론을 인덱싱 단계로 옮깁니다. 이러한 설명의 품질을 최적화하기 위해 Group Relative Policy Optimization (GRPO)을 사용하고, 검색 유사성을 검증 가능한 보상 신호로 활용하여 검색 효율성을 직접 최적화하는 인덱싱 결정을 내립니다. BRIGHT 벤치마크에서 수행한 광범위한 실험 결과, RL-Index는 검색 성능과 후속 질의 응답 성능 모두를 지속적으로 향상시키면서 온라인 추론 지연 시간을 크게 줄이는 것으로 나타났습니다. 또한, 학습된 설명 증강은 다양한 검색 도구 및 생성기 간에 일반화되어, 다양한 검색 시스템에서 사용할 수 있는 강력하고 유연한 인덱싱 전략임을 보여줍니다.

Retrieving external knowledge is essential for solving real-world tasks, yet it remains challenging when the relationship between a query and its relevant knowledge involves implicit and complex reasoning beyond surface-level semantic or lexical matching (e.g., mathematical problems relying on the same theorem or coding requiring deep reasoning). Existing approaches primarily rely on query-side reasoning (e.g., query rewriting), which introduces significant online latency and underutilizes the opportunity to perform reasoning over the knowledge corpus itself (i.e., index-side reasoning). In this paper, we propose RL-Index, an agentic indexing framework that formulates retrieval index reasoning as a reinforcement learning problem. Instead of performing reasoning at query time, RL-Index shifts reasoning to the indexing stage by augmenting documents with LLM-generated rationales that explicitly encode the latent query-knowledge relationship. To optimize the quality of these rationales, we employ Group Relative Policy Optimization (GRPO) and use retrieval similarity as a verifiable reward signal, enabling direct optimization of indexing decisions for retrieval effectiveness. Extensive experiments on the BRIGHT benchmark demonstrate that RL-Index consistently improves both retrieval and downstream question-answering performance, while significantly reducing online inference latency. Moreover, the learned rationale augmentation generalizes across diverse retrievers and generators, highlighting its robustness as a plug-and-play indexing strategy across different retrieval systems.