BM25가 대규모 환경에서 우위를 점하다: 검색 증강 생성 모델의 확장성 연구

BM25 Wins at Scale: A Scaling Study of Retrieval-Augmented Generation Paradigms

검색 증강 생성(RAG)은 어휘 기반 및 밀도 기반 검색, 그래프 기반 인덱싱, 에이전트 기반 검색 등 다양한 패러다임을 포괄하지만, 이러한 패러다임들은 일반적으로 하나의 코퍼스 크기에서 서로 다른 벤치마크를 사용하여 평가되기 때문에 정확도-비용의 확장성에 대한 명확한 이해가 부족합니다. 이러한 격차를 해소하기 위해, 우리는 질문과 관련 문서 및 적대적 문서를 고정하고, 대략 450배에 이르는 28개의 엄격하게 중첩된 단계로 코퍼스 크기를 변화시키는 통제된 연구를 수행했습니다. 하나의 리더 모델과 판단 프로토콜을 사용하여 공식적인 정확도, 구성 및 검색 토큰 수, 지연 시간을 측정했습니다. 결과는 절대적인 승자가 있는 것이 아니라 규모에 따라 달라지는 교차점을 보여줍니다. 파일 시스템 에이전트는 가장 작은 단계에서 우위를 점하지만, 순차적 탐색으로 인해 최대 규모에서는 39배 더 많은 검색 토큰을 사용하며 검색 공간이 커짐에 따라 효율성이 떨어집니다. 약 1천만 개의 코퍼스 토큰에 도달하면 BM25가 이를 능가하고 모든 더 큰 단계에서 우위를 점하며, 전체 규모에서 거의 20 포인트의 차이를 보입니다. 또한, BM25는 LLM 기반 구성 없이도 저렴한 비용으로 효율적인 성능을 제공합니다. 밀도 기반 검색은 효율적이지만 정확도가 낮으며, 그래프 기반 RAG는 배포 전에 구성상의 한계에 부딪히고 확장 가능한 변형은 공유 단계에서 BM25보다 성능이 떨어집니다. 전반적으로 코퍼스 크기가 증가함에 따라 글로벌 후보 순위가 점점 더 유리하며, 어휘 기반 검색은 가장 강력한 기본 설정이며, 에이전트 기반 추론은 순위 기반 검색 이후에 활용하는 것이 가장 효과적입니다.

Retrieval-augmented generation (RAG) spans lexical and dense retrieval, graph-based indexing, and agentic search, but these paradigms are usually evaluated on different benchmarks at one corpus size, leaving their accuracy-cost scaling unclear. To bridge this gap, we present a controlled study that varies corpus size along 28 strictly nested tiers spanning roughly 450-fold, while holding questions and a fixed bedrock of relevant and adversarial documents unchanged. Under one reader model and one judging protocol, we measure official accuracy, construction and query tokens, and latency. The results reveal a scale-dependent crossover rather than an unconditional winner. File-System Agent leads at the smallest shared tiers, but its sequential exploration costs 39 times more query tokens at the bedrock and becomes less effective as the search space grows. Around 10 million corpus tokens, BM25 overtakes it and leads at every larger shared tier, with a margin approaching 20 points at full scale. BM25 also anchors the low-cost end of the Pareto frontier without LLM-based construction. Dense retrieval remains efficient but less accurate, whereas graph-based RAG encounters construction walls before deployment scale and its scalable variants remain below BM25 at shared tiers. Overall, corpus growth increasingly favors global candidate ranking: lexical retrieval is the strongest scalable default, while agentic reasoning works best after ranked discovery rather than in place of it.