적응적 리트리벌-증강 생성의 필요성에 대한 재고: 적응적 리스트 기반 순위 정렬 관점에서

Rethinking the Necessity of Adaptive Retrieval-Augmented Generation through the Lens of Adaptive Listwise Ranking

적응적 리트리벌-증강 생성(Adaptive Retrieval-Augmented Generation)은 추가적인 맥락 정보를 동적으로 선택하여 불필요한 잡음의 영향을 줄이는 것을 목표로 합니다. 그러나 대규모 언어 모델(Large Language Models)이 잡음에 대한 내성을 점점 더 갖추게 되면서, 적응적 리트리벌의 필요성을 재평가해야 합니다. 본 논문에서는 이러한 필요성에 대해 다시 생각해보고, 새로운 적응적 리트리벌 프레임워크인 AdaRankLLM을 제안합니다. 적응적 리스트 기반 재순위 정렬의 필요성을 효과적으로 검증하기 위해, 우리는 먼저 제로샷 프롬프트와 패시지 드롭아웃 메커니즘을 활용한 적응적 순위 정렬기를 개발하고, 이 순위 정렬기의 생성 결과를 정적이고 고정된 깊이의 리트리벌 전략과 비교합니다. 또한, 더 작은 오픈 소스 LLM에 이러한 정밀한 리스트 기반 순위 정렬 및 적응적 필터링 기능을 부여하기 위해, 데이터 샘플링 및 증강 기법을 활용한 2단계 점진적 증류(distillation) 패러다임을 도입합니다. 세 개의 데이터셋과 여덟 개의 LLM에 대한 광범위한 실험 결과, AdaRankLLM은 대부분의 시나리오에서 최적의 성능을 지속적으로 달성하며, 상당한 컨텍스트 오버헤드를 줄이는 것을 보여줍니다. 중요한 점은, 본 연구의 분석을 통해 적응적 리트리벌의 역할 변화를 발견했습니다. 즉, 약한 모델은 적응적 리트리벌을 중요한 잡음 필터로 활용하여 한계를 극복하는 반면, 강력한 추론 모델은 이를 비용 효율적인 효율성 최적화 도구로 활용할 수 있습니다.

Adaptive Retrieval-Augmented Generation aims to mitigate the interference of extraneous noise by dynamically determining the necessity of retrieving supplementary passages. However, as Large Language Models evolve with increasing robustness to noise, the necessity of adaptive retrieval warrants re-evaluation. In this paper, we rethink this necessity and propose AdaRankLLM, a novel adaptive retrieval framework. To effectively verify the necessity of adaptive listwise reranking, we first develop an adaptive ranker employing a zero-shot prompt with a passage dropout mechanism, and compare its generation outcomes against static fixed-depth retrieval strategies. Furthermore, to endow smaller open-source LLMs with this precise listwise ranking and adaptive filtering capability, we introduce a two-stage progressive distillation paradigm enhanced by data sampling and augmentation techniques. Extensive experiments across three datasets and eight LLMs demonstrate that AdaRankLLM consistently achieves optimal performance in most scenarios with significantly reduced context overhead. Crucially, our analysis reveals a role shift in adaptive retrieval: it functions as a critical noise filter for weaker models to overcome their limitations, while serving as a cost-effective efficiency optimizer for stronger reasoning models.