RAISE: 검색 아키텍처 문제로서의 RAG 설계

RAISE: RAG Design as an Architecture Search Problem

검색 기반 생성(RAG) 시스템은 질의 재작성, 청킹, 검색 깊이, 재순위화 및 컨텍스트 압축 등 다양한 설계 선택지를 포함합니다. 실제로 이러한 선택 사항은 종종 휴리스틱을 통해 구성되므로 체계적인 평가와 다양한 환경에서의 재현성을 저해합니다. 우리는 이 문제를 RAG 아키텍처 검색으로 가장 잘 정의할 수 있다고 주장합니다. 이 문제를 통제되고 재현 가능한 방식으로 연구하기 위해, RAG 하이퍼파라미터 최적화를 위한 포괄적인 프레임워크 및 벤치마크인 RAG Intelligence Search Engine (RAISE)를 소개합니다. RAISE는 표준화된 검색 공간과 예산 하에서 RAG 파이프라인의 최적화 방법을 평가합니다. RAISE는 13개의 검색 알고리즘을 구현하고 세 개의 랜덤 시드를 사용하여 일곱 가지 공개적인 텍스트 및 멀티모달 데이터셋에 대해 이를 평가했습니다. 우리의 실험 결과, 최적화 성능은 작업 의존성이 매우 높다는 것을 보여줍니다. 즉, 특정 데이터셋에서 우수한 성능을 보이는 방법이 다른 데이터셋에서도 일관되게 잘 작동하지 않을 수 있으며, 이는 집계 순위를 보편적으로 우수한 전략의 증거로 해석하는 데 주의가 필요함을 시사합니다. RAISE는 RAG 하이퍼파라미터 최적화에 대한 공정하고 재현 가능하며 체계적인 연구를 위한 공통 실험 기반을 제공합니다.

Retrieval-augmented generation (RAG) systems expose numerous design choices spanning query rewriting, chunking, retrieval depth, reranking, and context compression. In practice, these choices are often configured through heuristics, hindering systematic evaluation and reproducibility across settings. We argue that this challenge is best formulated as RAG architecture search. To support controlled and reproducible study of this problem, we introduce the RAG Intelligence Search Engine (RAISE), a comprehensive framework and benchmark for RAG hyperparameter optimization, which evaluates optimization methods for RAG pipelines under standardized search spaces and budgets. RAISE implements 13 search algorithms and evaluates them across seven public text and multimodal datasets using three random seeds. Our experiments show that optimization performance is highly task-dependent: methods that perform strongly on one dataset may not generalize consistently across others, cautioning against interpreting aggregate rankings as evidence of universally superior strategies. RAISE provides a common experimental substrate for fair, reproducible, and systematic research on RAG hyperparameter optimization.