검색 증강 대규모 언어 모델에서의 과도한 검색

Over-Searching in Search-Augmented Large Language Models

검색 증강 대규모 언어 모델(LLM)은 외부 검색 기능을 통합하여 지식 집약적인 작업에서 뛰어난 성능을 보입니다. 그러나 이러한 모델들은 종종 과도한 검색을 수행하는데, 이는 답변 품질을 향상시키지 못함에도 불구하고 검색 도구를 불필요하게 호출하는 것을 의미하며, 이는 계산 효율성을 저해하고 관련 없는 정보를 포함시켜 환각 현상을 유발할 수 있습니다. 본 연구에서는 다양한 차원(쿼리 유형, 모델 범주, 검색 조건, 다중 턴 대화)에서 과도한 검색을 체계적으로 평가했습니다. 그 결과, (i) 검색은 일반적으로 답변 가능한 쿼리에 대한 답변 정확도를 향상시키지만, 답변 불가능한 쿼리에 대한 회피 성능을 저하시키는 것으로 나타났습니다. (ii) 과도한 검색은 복잡한 추론 모델 및 심층 연구 시스템에서 더욱 두드러지며, 노이즈가 많은 검색으로 인해 악화되고, 다중 턴 대화에서 누적되는 경향이 있습니다. (iii) 검색된 증거의 구성이 매우 중요하며, 부정적인 증거의 존재는 회피 성능을 향상시킵니다. 과도한 검색을 정량화하기 위해, 우리는 검색 증강 LLM의 성능-비용 균형을 측정하는 평가 지표인 Tokens Per Correctness (TPC)를 도입했습니다. 마지막으로, 우리는 쿼리 및 검색 수준에서 완화 방법을 조사하고, 효율적인 검색 증강 LLM에 대한 지속적인 연구를 장려하기 위해 OverSearchQA 데이터셋을 공개합니다.

Search-augmented large language models (LLMs) excel at knowledge-intensive tasks by integrating external retrieval. However, they often over-search -- unnecessarily invoking search tool even when it does not improve response quality, which leads to computational inefficiency and hallucinations by incorporating irrelevant context. In this work, we conduct a systematic evaluation of over-searching across multiple dimensions, including query types, model categories, retrieval conditions, and multi-turn conversations. Our finding shows: (i) search generally improves answer accuracy on answerable queries but harms abstention on unanswerable ones; (ii) over-searching is more pronounced in complex reasoning models and deep research systems, is exacerbated by noisy retrieval, and compounds across turns in multi-turn conversations; and (iii) the composition of retrieved evidence is crucial, as the presence of negative evidence improves abstention. To quantify over-searching, we introduce Tokens Per Correctness (TPC), an evaluation metric that captures the performance-cost trade-off for search-augmented LLMs. Lastly, we investigate mitigation approaches at both the query and retrieval levels and release the OverSearchQA to foster continued research into efficient search-augmented LLMs.