ResRank: 잔차 패시지 압축을 통한 통합 검색 및 리스트 기반 재순위화 모델 - 종단 간 공동 학습

ResRank: Unifying Retrieval and Listwise Reranking via End-to-End Joint Training with Residual Passage Compression

대규모 언어 모델(LLM) 기반의 리스트 기반 재순위화는 정보 검색 분야에서 최첨단 성능을 달성하는 주류 패러다임으로 자리 잡았습니다. 그러나 LLM에 전체 패시지 텍스트를 입력하는 방식은 두 가지 중요한 병목 현상을 야기합니다. 첫째, 입력 길이가 증가함에 따라 '중간 정보 손실' 현상이 발생하여 순위 품질이 저하됩니다. 둘째, 추론 지연 시간이 시퀀스 길이에 대해 초선형적으로 증가하여 산업적 배포에 어려움을 겪게 됩니다. 본 논문에서는 이러한 두 가지 문제점을 근본적으로 해결하는 통합 검색-재순위화 프레임워크인 ResRank를 제안합니다. ResRank는 다중 모달 LLM에서 영감을 받아, 시각적 입력을 압축된 토큰 표현으로 변환하는 방식을 활용합니다. 구체적으로, ResRank는 인코더-LLM을 사용하여 각 후보 패시지를 단일 임베딩으로 압축하고, 이 임베딩과 함께 쿼리 텍스트를 리랭커-LLM에 입력하여 리스트 기반 순위를 매깁니다. 압축된 표현 공간과 순위 공간 간의 불일치를 완화하기 위해, 인코더 임베딩과 리랭커에서 생성된 문맥화된 은닉 상태를 결합하는 잔차 연결 구조를 도입했습니다. 또한, 기존의 자동 회귀 디코딩 방식을 대신하여 단일 단계의 코사인 유사성 기반 점수 계산 방식을 사용하여 생성 병목 현상을 완전히 제거했습니다. ResRank는 인코더와 리랭커를 동시에 학습하는 신중하게 설계된 듀얼 스테이지, 멀티 태스크, 종단 간 공동 최적화 전략을 통해 학습 목표를 정렬하고, 검색 및 재순위화 간의 학습 목표를 일치시키면서도 학습 복잡성을 크게 줄입니다. TREC Deep Learning 및 8개의 BEIR 벤치마크 데이터 세트에 대한 광범위한 실험 결과, ResRank는 기존 접근 방식과 비교하여 경쟁력 있는 또는 우수한 순위 성능을 달성하며, 생성된 토큰 수가 0개이고 패시지당 단 하나의 토큰만 처리하여 효율성과 효과성 사이의 균형을 근본적으로 향상시킵니다.

Large language model (LLM) based listwise reranking has emerged as the dominant paradigm for achieving state-of-the-art ranking effectiveness in information retrieval. However, its reliance on feeding full passage texts into the LLM introduces two critical bottlenecks: the "lost in the middle" phenomenon degrades ranking quality as input length grows, and the inference latency scales super-linearly with sequence length, rendering it impractical for industrial deployment. In this paper, we present ResRank, a unified retrieval-reranking framework that fundamentally addresses both challenges. Inspired by multimodal LLMs that project visual inputs into compact token representations, ResRank employs an Encoder-LLM to compress each candidate passage into a single embedding, which is then fed alongside the query text into a Reranker-LLM for listwise ranking. To alleviate the misalignment between the compressed representation space and the ranking space, we introduce a residual connection structure that combines encoder embeddings with contextualized hidden states from the reranker. Furthermore, we replace the conventional autoregressive decoding with a one-step cosine-similarity-based scoring mechanism, eliminating the generation bottleneck entirely. ResRank is trained through a carefully designed dual-stage, multi-task, end-to-end joint optimization strategy that simultaneously trains the encoder and reranker, achieving learning objective alignment between retrieval and reranking while substantially reducing training complexity. Extensive experiments on TREC Deep Learning and eight BEIR benchmark datasets demonstrate that ResRank achieves competitive or superior ranking effectiveness compared to existing approaches while requiring zero generated tokens and processing only one token per passage, yielding a fundamentally better balance between effectiveness and efficiency.