OBLIQ-Bench: 잠재적 및 암묵적 쿼리를 활용하여 최신 검색 시스템의 간과된 병목 현상을 드러내는 연구

OBLIQ-Bench: Exposing Overlooked Bottlenecks in Modern Retrievers with Latent and Implicit Queries

검색 벤치마크는 점점 포화 상태에 이르렀지만, 효율적인 검색은 아직 해결되지 않은 문제입니다. 본 연구에서는 'oblique'라고 명명된 쿼리 유형을 정의하는데, 이는 잠재적인 패턴을 나타내는 문서를 찾는 쿼리입니다. 예를 들어, 특정 입장을 표현하는 모든 트윗, 특정 오류 모드를 보여주는 채팅 로그, 또는 특정 추상적 시나리오와 일치하는 기록 등을 찾는 쿼리에 해당합니다. 우리는 obliqueness가 발생할 수 있는 세 가지 메커니즘을 연구하고, 실제 장기 꼬리(long-tail) 코퍼스를 기반으로 한 다섯 가지 oblique 검색 문제 모음인 OBLIQ-Bench를 소개합니다. OBLIQ-Bench는 검색과 검증 간의 간과된 비대칭성을 보여줍니다. 즉, 관련 문서가 검색되면 추론 LLM은 잠재적인 관련성을 안정적으로 인식하지만, 심지어는 정교한 검색 파이프라인조차도 대부분의 관련 문서를 처음부터 검색하지 못합니다. 본 연구에서 제시하는 OBLIQ-Bench가 대규모 코퍼스에서 잠재적인 패턴과 암묵적인 신호를 효율적으로 포착하는 검색 아키텍처에 대한 연구를 촉진할 수 있기를 바랍니다.

Retrieval benchmarks are increasingly saturating, but we argue that efficient search is far from a solved problem. We identify a class of queries we call oblique, which seek documents that instantiate a latent pattern, like finding all tweets that express an implicit stance, chat logs that demonstrate a particular failure mode, or transcripts that match an abstract scenario. We study three mechanisms through which obliqueness may arise and introduce OBLIQ-Bench, a suite of five oblique search problems over real long-tail corpora. OBLIQ-Bench exposes an overlooked asymmetry between retrieval and verification, where reasoning LLMs reliably recognize latent relevance whenever relevant documents are surfaced, but even sophisticated retrieval pipelines fail to surface most relevant documents in the first place. We hope that OBLIQ-Bench will drive research into retrieval architectures that efficiently capture latent patterns and implicit signals in large corpora.