ReAttn: 어텐션 재가중치를 통한 어텐션 기반 재랭킹 개선

ReAttn: Improving Attention-based Re-ranking via Attention Re-weighting

최근 대규모 언어 모델(LLM)의 뛰어난 성능은 제로샷 재랭킹(zero-shot re-ranking) 작업에서 이들을 매우 효과적으로 활용할 수 있게 해 주었다. 어텐션 가중치로부터 관련성 점수를 직접 도출하는 어텐션 기반 재랭킹 기법은 생성 기반 재랭킹 기법을 대체할 수 있는 효율적이고 해석 가능한 대안을 제공한다. 그러나 이 방법들은 여전히 두 가지 주요 한계에 직면해 있다. 첫째, 어텐션 신호가 소수 문서 내의 작은 토큰 부분집합에 고도로 집중되어 다른 문서나 토큰들을 구별할 수 없게 만든다. 둘째, 어텐션은 종종 질의(query)와 어휘적으로 유사한 구절을 과도하게 강조하여, 단순히 어휘적 유사성만 지닌 무관한 문서들이 관련성 있는 문서로 간주되는 편향된 랭킹 순위를 초래한다. 본 논문에서는 어텐션 기반 재랭킹 기법을 위한 사후(post-hoc) 재가중치 부여 전략인 \textbf{ReAttn}을 제안한다. 이 전략은 먼저 문서 간(cross-document) IDF 가중치를 계산하여, 후보 문서들 전체에서 빈번하게 등장하며 질의와 겹치는 토큰에 대한 어텐션 가중치를 낮춤으로써 어휘적 편향을 줄이고 변별력 있는 용어를 강조한다. 그런 다음 엔트로피 기반 정규화를 도입하여 과도하게 집중된 어텐션을 완화하고, 유용한 정보 토큰들 전반에 걸쳐 보다 균형 있는 분포를 유도한다. 이 두 가지 조정 과정은 모두 추가적인 훈련이나 지도학습(supervision) 없이 기존 어텐션 가중치에 직접 적용된다. 광범위한 실험을 통해 본 논문에서 제안한 방법의 효과성을 입증한다.

The strong capabilities of recent Large Language Models (LLMs) have made them highly effective for zero-shot re-ranking task. Attention-based re-ranking methods, which derive relevance scores directly from attention weights, offer an efficient and interpretable alternative to generation-based re-ranking methods. However, they still face two major limitations. First, attention signals are highly concentrated a small subset of tokens within a few documents, making others indistinguishable. Second, attention often overemphasizes phrases lexically similar to the query, yielding biased rankings that irrelevant documents with mere lexical resemblance are regarded as relevant. In this paper, we propose \textbf{ReAttn}, a post-hoc re-weighting strategy for attention-based re-ranking methods. It first compute the cross-document IDF weighting to down-weight attention on query-overlapping tokens that frequently appear across the candidate documents, reducing lexical bias and emphasizing distinctive terms. It then employs entropy-based regularization to mitigate over-concentrated attention, encouraging a more balanced distribution across informative tokens. Both adjustments operate directly on existing attention weights without additional training or supervision. Extensive experiments demonstrate the effectiveness of our method.