후기 상호작용 모델의 동적 특성에 대한 연구: 후기 상호작용 모델의 목표 지향적 행동 분석

Working Notes on Late Interaction Dynamics: Analyzing Targeted Behaviors of Late Interaction Models

후기 상호작용 모델은 뛰어난 검색 성능을 보이지만, 그 근본적인 작동 방식에 대한 연구는 아직 부족하며, 이는 잠재적인 성능 저하 요인을 숨길 수 있습니다. 본 연구에서는 후기 상호작용 검색에서 발생하는 두 가지 현상에 주목합니다. 첫째는 다중 벡터 스코링을 사용할 때 발생하는 길이 편향(length bias)이며, 둘째는 MaxSim 연산자가 선택한 최고 점수 외의 유사성 분포입니다. 우리는 최첨단 모델을 사용하여 NanoBEIR 벤치마크에서 이러한 현상을 분석했습니다. 결과적으로, 인과 관계 기반 후기 상호작용 모델의 이론적인 길이 편향이 실제로 존재하며, 양방향 모델에서도 극단적인 경우에 이러한 문제가 발생할 수 있다는 것을 확인했습니다. 또한, 최고 순위 문서를 넘어서는 뚜렷한 유사성 경향이 없다는 점을 확인하여, MaxSim 연산자가 토큰 수준의 유사성 점수를 효율적으로 활용한다는 것을 입증했습니다.

While Late Interaction models exhibit strong retrieval performance, many of their underlying dynamics remain understudied, potentially hiding performance bottlenecks. In this work, we focus on two topics in Late Interaction retrieval: a length bias that arises when using multi-vector scoring, and the similarity distribution beyond the best scores pooled by the MaxSim operator. We analyze these behaviors for state-of-the-art models on the NanoBEIR benchmark. Results show that while the theoretical length bias of causal Late Interaction models holds in practice, bi-directional models can also suffer from it in extreme cases. We also note that no significant similarity trend lies beyond the top-1 document token, validating that the MaxSim operator efficiently exploits the token-level similarity scores.