검색 에이전트를 위한 자연어 질의 기반 설정 최적화

Natural Language Query to Configuration for Retrieval Agents

최신 검색 에이전트는 LLM, 검색 모델, 문서 수, 연관성 탐색 깊이, 그리고 합성 전략 등 다양한 설정 옵션을 제공하며, 이러한 각 옵션은 답변 품질과 서비스 비용에 영향을 미칩니다. 현재 이러한 파이프라인은 일반적으로 워크로드별로 일회성으로 조정되지만, 쿼리 단위의 최적화 잠재력이 충분히 활용되지 못하고 있습니다. 본 논문에서는 자연어 질의와 함께 정확도 또는 예산 목표가 주어졌을 때, 미리 정의된 파이프라인 목록에서 추론 시 비용을 최소화하거나 정확도를 극대화하는 설정을 선택하는 문제를 다룹니다. 우리는 **BRANE**이라는 모델을 제안합니다. **BRANE**은 LLM을 사용하여 각 질의를 워크로드별 특징으로 변환하고, 각 설정에 대한 가벼운 예측기를 학습시켜 해당 파이프라인이 질의에 대해 정확하게 답변할 가능성을 추정합니다. 추론 시, **BRANE**은 예상되는 정확도를 비용으로 penalize하여, 재학습 없이 조정 가능한 비용-품질 균형을 제공하는 설정을 선택합니다. MuSiQue, BrowseComp-Plus 및 FinanceBench 데이터셋에서 **BRANE**은 일관되게 비용-품질 파레토 최적점을 개선하며, 최고 성능의 고정 설정과 동일한 정확도를 최대 89% 낮은 비용으로 달성하고, LLM 라우팅, 규칙 기반 모델 및 fine-tuned Qwen3-4B 기준 모델보다 우수한 성능을 보였습니다. 이러한 결과는 전체 검색 파이프라인의 쿼리 단위 설정을 워크로드 수준의 정적 조정에 대한 실용적인 대안으로 제시합니다.

Modern retrieval agents expose many configuration choices -- LLM, retriever, number of documents, number of hops, and synthesis strategy -- each shaping both answer quality and serving cost. Today, these pipelines are typically hand-tuned once per workload, leaving substantial per-query optimization untapped. We formulate the problem: given a natural-language query and either an accuracy or a budget target, select from a predefined pipeline catalog the configuration that minimizes cost or maximizes accuracy at inference time. We propose **BRANE**, which uses an LLM to convert each query into workload-specific characteristics, then trains a lightweight per-configuration predictor that estimates whether the pipeline will answer the query correctly. At inference time, **BRANE** selects the configuration that maximizes predicted correctness penalized by cost, exposing a tunable cost-quality tradeoff without retraining. Across MuSiQue, BrowseComp-Plus, and FinanceBench, **BRANE** consistently pushes the cost-quality Pareto frontier, matches the best fixed configuration's accuracy at up to 89% lower cost, and outperforms LLM-routing, rule-based, and fine-tuned Qwen3-4B baselines. These results show that per-query configuration of the full retrieval pipeline is a practical alternative to static workload-level tuning.