SHIFT: 색인 측면 특징 변환을 통한 의미 조화 - 다국어 정보 검색

SHIFT: Semantic Harmonization via Index-side Feature Transformation for Multilingual Information Retrieval

급속하게 증가하는 방대한 다국어 데이터셋의 등장으로, 다국어 정보 검색(MLIR)은 글로벌 정보 접근을 위한 중요한 기술로 부상했습니다. MLIR은 사용자가 단일 언어 쿼리를 사용하여 다양한 언어로 구성된 문서 컬렉션에서 의미적으로 관련된 문서를 검색할 수 있도록 합니다. 그러나 최근의 다국어 밀집 검색 모델들은 종종 쿼리 언어와 동일한 언어로 된 문서에 강한 선호도를 보이는 경향이 있습니다. 이는 심각한 언어 편향을 야기하며, 결과적으로 특정 언어의 문서들이 높은 순위를 차지하는 경우가 발생하고, 다른 언어로 작성된 문서를 포함하더라도 더 의미적으로 관련성이 높은 정보를 담고 있는 문서들은 검색되지 않을 수 있습니다. 이러한 문제를 해결하기 위해, 우리는 색인 단계에서 적용 가능한 훈련이 필요 없는 방법인 SHIFT를 제안합니다. 구체적으로, SHIFT는 병렬 번역 쌍을 사용하여 소스 언어에 대한 각 대상 언어의 상대적인 언어 벡터를 추정합니다. 이후, SHIFT는 색인 과정에서 문서 임베딩으로부터 이 상대적인 언어 벡터를 빼서 언어별 편향을 보정합니다. 우리는 네 가지 MLIR 벤치마크 및 다양한 밀집 검색 모델에 대한 종합적인 평가를 통해 SHIFT가 언어 편향을 효과적으로 완화하고 MLIR 성능을 향상시킬 수 있음을 확인했습니다.

With the rapid expansion of massive multilingual corpora, Multilingual Information Retrieval (MLIR) has emerged as a critical technology for global information access. MLIR enables users to retrieve semantically relevant documents from multilingual text collections using a single-language query. However, recent multilingual dense retrieval models often exhibit a strong preference for documents in the same language as the query. This leads to severe language bias, where top-ranked results are dominated by documents of specific languages, even when documents in other languages contain more semantically relevant information. To address this issue, we propose SHIFT, a training-free method applicable in the indexing stage. Specifically, SHIFT utilizes parallel translation pairs to estimate a relative language vector for each target language with respect to a source language. Subsequently, SHIFT corrects the language-specific offset by subtracting this relative language vector from document embeddings during indexing. Our comprehensive evaluation across four MLIR benchmarks and diverse dense retrieval models confirms that SHIFT can effectively mitigate language bias and enhance MLIR performance.