언제 액티브 RAG이 외부 지식을 검색해야 하는가? 유용성, 정확도 및 비용을 고려한 평가

When Should Active RAG Retrieve? A Budget-Aware Evaluation of Utility, Calibration, and Cost

액티브 RAG 시스템은 생성 과정에서 외부 지식을 언제 검색할지 결정하며, 이는 예산(budget)에 민감하게 영향을 받는 자율적인 RAG 방식이자 자체적으로 적응하는 검색 방법입니다. 그러나 기존의 평가는 종종 작동 방식을 명확하게 제시하지 못합니다. 두 시스템이 모두 50%의 증거 사용 비율을 주장할 수 있지만, 실제 적용되는 비율은 다를 수 있으며, 높은 정확도는 더 나은 검색 정책보다는 느슨한 예산을 반영할 수도 있습니다. 본 연구에서는 액티브 RAG에 대한 예산(budget) 기반 평가 방법을 제시하며, 이를 위해 능동적인 검색을 유틸리티(utility) 추정 문제로 재구성합니다. 여기서 검색의 가치는 외부 지식을 가져오지 않을 때 얻을 수 있는 답변의 주변적인 정확도 변화를 통해서만 결정됩니다. 이러한 관점은 단일 지표 평가에서 혼합되는 세 가지 질문으로 문제를 분리합니다: 트리거 점수가 유용한 검색 결정을 제대로 순위화하는가, 과거 데이터를 기반으로 설정된 임계값이 미래의 예산에 부합하는가, 그리고 트리거 측면에서의 계산이 배포 비용에 어떤 영향을 미치는가. 우리는 이러한 질문들을 정확한 상위 k 유틸리티 프론티어, 적용 가능한 임계값 프론티어, 보수적인 예산 프론티어, 잠재적 위험(harm) 감사 및 비용 분해를 통해 구체화합니다. 지식 집약적인 다중 단계 질의응답 데이터셋과 개방형 명령어 모델을 사용하여 실험한 결과, 검색으로 인한 부정적인 영향은 무시할 수 없으며, 라우터 순위는 데이터셋과 예산에 따라 달라지며, 명목상 임계값은 목표 사용량을 충족하지 못하는 경우가 많고, 간단한 불확실성 또는 검색 점수 기반 모델이 종종 학습된 유틸리티 라우터를 능가합니다. 따라서 액티브 RAG의 예산 기반 평가는 정확도와 함께 프론티어, 실제 사용량, 임계값 전송 오류, 위험률 및 비용 분해를 보고해야 합니다.

Active RAG systems decide when to retrieve external knowledge during generation, making them a budget-sensitive case of agentic RAG and self-adaptive retrieval. Yet evaluations often leave the operating point underspecified: two systems may both claim a 50% evidence-usage budget while realizing different held-out usage rates, so higher accuracy can reflect a looser budget rather than a better retrieval policy. We study budget-aware evaluation for Active RAG by recasting active retrieval as utility estimation, where retrieval is valuable only through its marginal correctness change over a no-retrieval answer. This view separates three questions that single-point evaluations conflate: whether trigger scores rank useful retrieval decisions, whether thresholds calibrated on past data meet future budgets, and how trigger-side computation changes deployment cost. We operationalize these questions with exact top-k utility frontiers, deployable threshold frontiers, conservative budget frontiers, harm audits, and cost decompositions. Across knowledge-intensive multi-hop QA datasets and open instruction models, retrieval harm is non-negligible, router rankings change across datasets and budgets, nominal thresholds can miss target usage, and simple uncertainty or retrieval-score baselines often rival learned utility routers. Budget-aware Active RAG evaluations should therefore report frontiers, realized usage, threshold-transfer error, harm rates, and cost decompositions alongside accuracy.