초지능 검색 에이전트: 정보 검색의 새로운 지평

Superintelligent Retrieval Agent: The Next Frontier of Information Retrieval

검색 증강 에이전트는 점점 더 많은 조직의 지식 기반에 대한 인터페이스 역할을 하지만, 대부분의 에이전트는 여전히 검색을 블랙박스로 취급합니다. 즉, 탐색적 쿼리를 실행하고, 반환된 스니펫을 검토하며, 유용한 증거가 나올 때까지 반복적으로 쿼리를 재구성합니다. 이러한 접근 방식은 초보자가 익숙하지 않은 데이터베이스를 검색하는 방식과 유사하며, 전문가가 용어 및 가능한 증거에 대한 사전 지식을 바탕으로 데이터베이스를 탐색하는 방식과는 거리가 멀기 때문에 불필요한 검색 횟수, 증가된 지연 시간, 그리고 낮은 재현율을 초래합니다. 본 논문에서는 *초지능 검색 에이전트 (SuperIntelligent Retrieval Agent, SIRA)*를 소개합니다. SIRA는 검색에서의 *초지능*을 다중 라운드 탐색을 단일의 코퍼스-차별화된 검색 액션으로 압축하는 능력으로 정의합니다. SIRA는 단순히 쿼리에 관련된 용어가 무엇인지 묻는 것이 아니라, 원하는 증거를 코퍼스 수준의 간섭 요소와 구별할 가능성이 높은 용어가 무엇인지 묻습니다. 코퍼스 측면에서 LLM은 각 문서를 오프라인으로 분석하여 누락된 검색 용어를 추가하고, 쿼리 측면에서 LLM은 쿼리에 의해 누락된 증거 용어를 예측합니다. 또한, 문서 빈도 통계는 제안된 용어를 필터링하는 도구로 사용되어, 누락되었거나, 지나치게 흔하거나, 검색 성능에 도움이 되지 않을 가능성이 있는 용어를 제거합니다. 최종 검색 단계는 원래 쿼리와 검증된 확장 용어를 결합한 단일 가중 BM25 호출을 통해 수행됩니다. SIRA는 10개의 BEIR 벤치마크 및 다양한 질의응답 작업에서 기존의 밀집 검색 방식 및 최첨단 다중 라운드 에이전트 모델을 능가하는 우수한 성능을 보여주었습니다. 이는 LLM의 인지 능력과 경량 코퍼스 통계를 기반으로 구성된 단일의 잘 설계된 어휘 쿼리가, 훨씬 더 많은 비용이 드는 다중 라운드 검색보다 훨씬 뛰어난 성능을 제공할 수 있으며, 동시에 해석 가능하고, 학습 없이도 사용 가능하며, 효율적이라는 것을 입증합니다.

Retrieval-augmented agents are increasingly the interface to large organizational knowledge bases, yet most still treat retrieval as a black box: they issue exploratory queries, inspect returned snippets, and iteratively reformulate until useful evidence emerges. This approach resembles how a newcomer searches an unfamiliar database rather than how an expert navigates it with strong priors about terminology and likely evidence, and results in unnecessary retrieval rounds, increased latency, and poor recall. We introduce \textit{SuperIntelligent Retrieval Agent} (SIRA), which defines \emph{superintelligence} in retrieval as the ability to compress multi-round exploratory search into a single corpus-discriminative retrieval action. SIRA does not merely ask what terms are relevant to the query; it asks which terms are likely to separate the desired evidence from corpus-level confusers. On the corpus side, an LLM enriches each document offline with missing search vocabulary; on the query side, it predicts evidence vocabulary omitted by the query; and document-frequency statistics as a tool call to filter proposed terms that are absent, overly common, or unlikely to create retrieval margin. The final retrieval step is a single weighted BM25 call combining the original query with the validated expansion. Across ten BEIR benchmarks and downstream question-answering tasks, SIRA achieves the significantly superior performance outperforming dense retrievers and state-of-the-art multi-round agentic baselines, demonstrating that one well-formed lexical query, guided by LLM cognition and lightweight corpus statistics, can exceed substantially more expensive multi-round search while remaining interpretable, training-free, and efficient.