검색 증강 생성을 협력적 의사결정 문제로 재고하기

Rethinking Retrieval-Augmented Generation as a Cooperative Decision-Making Problem

검색 증강 생성(RAG)은 언어 생성을 외부 증거에 기반하게 함으로써 지식 집약적 작업에서 강력한 효과를 입증해 왔다. 이러한 성공에도 불구하고, 기존의 많은 RAG 시스템들은 순위 지정 중심의 비대칭적 의존성 패러다임을 기반으로 구축되어, 생성기(generator)의 생성 품질이 재순위화기(reranker)의 재순위화 결과에 크게 의존한다. 이러한 한계를 극복하기 위해, 우리는 RAG를 협력적 다중 에이전트 의사결정 문제로 재구성하고, 재순위화기와 생성기가 비대칭적 의존성 파이프라인으로 연결되는 대신 동등한 의사결정자로 작용하는 프레임워크인 협력적 검색 증강 생성(CoRAG)을 제안한다. 공유된 작업 목표를 향해 이들의 행동을 공동으로 최적화함으로써 재순위화기와 생성기의 협력을 유도하며, 최종 응답을 향상시키기 위해 문서 재순위화와 생성이 조화롭게 작동하도록 보장한다. 실험 결과는 모델이 약 1만 개의 PopQA 샘플만으로 학습된 경우에도 CoRAG의 우수한 일반화 성능 및 향상된 생성 안정성을 보여준다. 우리 모델은 https://anonymous.4open.science/r/CoRAG-D63F 에 공개되어 있다.

Retrieval-Augmented Generation (RAG) has demonstrated strong effectiveness in knowledge-intensive tasks by grounding language generation in external evidence. Despite its success, many existing RAG systems are built based on a ranking-centric, asymmetric dependency paradigm, where the generation quality of the generator is highly dependent on reranking results of the reranker. To overcome this limitation, we reformulate RAG as a cooperative multi-agent decision-making problem and propose Cooperative Retrieval-Augmented Generation (CoRAG), a framework in which the reranker and the generator act as peer decision-makers rather than being connected through an asymmetric dependency pipeline. By jointly optimizing their behaviors toward a shared task objective, the reranker and generator are encouraged to cooperate, ensuring that document reranking and generation work in concert to improve the final response. Experimental results demonstrate good generalization and improved generation stability of CoRAG, even when the model is trained on only around 10K PopQA samples. Our model released in https://anonymous.4open.science/r/CoRAG-D63F