관련성을 넘어: LLM 시대의 유틸리티 중심 정보 검색

Beyond Relevance: Utility-Centric Retrieval in the LLM Era

전통적인 정보 검색 시스템은 검색된 문서가 쿼리와 얼마나 일치하는지, 즉 주제적 관련성을 최적화하는 데 중점을 두었습니다. 그러나 관련성은 사용자의 근본적인 목표인 '유용성', 즉 검색된 정보가 사용자의 특정 작업을 수행하는 데 얼마나 도움이 되는지를 제대로 반영하지 못합니다. 검색 증강 생성(RAG)의 등장은 이러한 패러다임을 근본적으로 변화시켰습니다. 검색된 문서는 더 이상 사용자가 직접 소비하는 것이 아니라, 답변을 생성하는 데 사용되는 대규모 언어 모델(LLM)에 대한 증거로 활용됩니다. 따라서 검색의 효과는 관련성 기반 순위 지표만으로 평가할 수 없으며, 생성 품질에 기여하는 정도를 기준으로 평가되어야 합니다. 본 튜토리얼에서는 검색 목표가 관련성 중심의 최적화에서 LLM 중심의 유용성으로 진화하고 있음을 주장합니다. 본 튜토리얼은 LLM에 독립적인 유용성 대 LLM에 특화된 유용성, 문맥에 독립적인 유용성 대 문맥에 의존적인 유용성, 그리고 LLM의 정보 요구 사항 및 에이전트 기반 RAG와의 연관성을 포괄하는 통합 프레임워크를 제시합니다. 최신 연구 결과를 종합하여, 본 튜토리얼은 LLM 기반 정보 접근의 요구 사항에 부합하는 검색 시스템 설계에 필요한 개념적 기반과 실질적인 지침을 제공합니다.

Information retrieval systems have traditionally optimized for topical relevance-the degree to which retrieved documents match a query. However, relevance only approximates a deeper goal: utility, namely, whether retrieved information helps accomplish a user's underlying task. The emergence of retrieval-augmented generation (RAG) fundamentally changes this paradigm. Retrieved documents are no longer consumed directly by users but instead serve as evidence for large language models (LLMs) that produce answers. As a result, retrieval effectiveness must be evaluated by its contribution to generation quality rather than by relevance-based ranking metrics alone. This tutorial argues that retrieval objectives are evolving from relevance-centric optimization toward LLM-centric utility. We present a unified framework covering LLM-agnostic versus LLM-specific utility, context-independent versus context-dependent utility, and the connection with LLM information needs and agentic RAG. By synthesizing recent advances, the tutorial provides conceptual foundations and practical guidance for designing retrieval systems aligned with the requirements of LLM-based information access.