AutoRAGTuner: RAG 파이프라인 자동 최적화를 위한 선언적 프레임워크

AutoRAGTuner: A Declarative Framework for Automatic Optimization of RAG Pipelines

Retrieval-Augmented Generation (RAG)은 LLM의 성능을 향상시키지만, 복잡한 아키텍처 설계 및 하이퍼파라미터 구성에 따라 성능이 크게 달라지며, 현재는 비효율적인 수동 튜닝에 의존하고 있습니다. 본 논문에서는 RAG의 전체 수명 주기(구축, 실행, 평가 및 최적화)를 자동화하는 선언적이고 구성 기반의 프레임워크인 AutoRAGTuner를 소개합니다. AutoRAGTuner는 모듈식 아키텍처를 사용하여 구성 요소 등록 메커니즘을 통해 파이프라인 단계를 분리합니다. 이질적인 데이터를 통합하기 위해, 객체를 원자적 요소로 표현하고 노드, 엣지 및 하이퍼엣지를 지원하기 위한 양방향 포인터를 사용하는 도메인-요소 모델(DEM)을 도입합니다. 또한, AutoRAGTuner는 엔드투엔드 하이퍼파라미터 튜닝을 위한 적응형 베이지안 최적화 엔진을 통합합니다. 실험 결과는 AutoRAGTuner의 아키텍처 일반성을 보여줍니다. 기본적인 RAG 파이프라인부터 그래프 기반 파이프라인까지 다양한 RAG 파이프라인에서 AutoRAGTuner는 기본 성능을 꾸준히 능가합니다. 특히, AutoRAGTuner는 엔지니어링 오버헤드를 크게 줄입니다. 선언적인 구성 언어를 통해 아키텍처 조정에 필요한 코드 변경량을 최대 95%까지 줄일 수 있습니다. 종합적으로, AutoRAGTuner는 진화 가능하고 재사용 가능한 RAG 시스템을 구축하기 위한 체계적으로 최적화할 수 있는 기반을 제공합니다.

Retrieval-Augmented Generation (RAG) enhances LLMs, but performance is highly sensitive to complex architecture designs and hyper-parameter configurations, which currently rely on inefficient manual tuning. We present AutoRAGTuner, a declarative, configuration-driven framework that automates the RAG life cycle: construction, execution,evaluation, and optimization. AutoRAGTuner employs a modular architecture to decouple pipeline stages through a component registration mechanism. To unify heterogeneous data, we introduce the Domain-Element Model (DEM), representing objects as atomic elements with bidirectional pointers to support nodes, edges, and hyperedges. Furthermore, AutoRAGTuner integrates an adaptive Bayesian optimization engine for end-to-end hyper-parameter tuning. Experimental results demonstrate AutoRAGTuner's architectural generality: across diverse RAG pipelines, ranging from vanilla to graph-based, the framework consistently outperforms default baselines. Notably, AutoRAGTuner significantly mitigates engineering overhead, where its declarative configuration language enables a up to 95\% reduction in code churn for architectural adjustments. Overall, AutoRAGTuner provides a systematically optimizable foundation for building evolvable and reusable RAG systems.