SAAS: 에이전트 기반 검색에서의 과도한 검색 완화를 위한 자기 인식 강화 학습

SAAS: Self-Aware Reinforcement Learning for Over-Search Mitigation in Agentic Search

에이전트 기반 검색은 LLM(대규모 언어 모델)이 반복적인 추론과 외부 검색을 통해 복잡한 다단계 질문을 해결할 수 있도록 합니다. 그러나 이러한 시스템은 실제로 중요한 한계를 가지고 있습니다. 에이전트는 자신의 지식 범위를 인식하지 못하고, 내부 지식으로 충분한 경우에도 무분별하게 검색을 트리거하거나, 충분한 증거가 수집되었음에도 검색을 종료하지 못합니다. 이러한 자기 인식 부족은 심각한 과도한 검색(over-search) 문제를 야기하며, 상당한 추론 지연과 엄청난 계산 비용을 초래합니다. 이를 해결하기 위해, 우리는 정확도를 손상시키지 않으면서 동적인 자기 인식을 함양하여 검색 행동을 정밀하게 제어하는 새로운 강화 학습 프레임워크인 SAAS를 제안합니다. SAAS는 세 가지 주요 구성 요소를 도입합니다: (i) 검색 경계 모델링 메커니즘으로, 검색 비활성화 및 활성화 시나리오를 비교하여 정책의 변화에 따라 검색 경계를 식별합니다; (ii) 경계 인식 보상 모듈로, 이러한 경계 인식을 경로 수준의 페널티로 변환하여 불필요하고 중복되는 검색을 억제합니다; 그리고 (iii) 단계별 최적화 전략으로, 순차적인 교육 과정을 활용하여 검색 규제보다 추론을 우선시함으로써 보상 해킹을 방지합니다. 광범위한 실험 결과는 SAAS가 과도한 검색을 크게 줄이면서 정확도를 유지한다는 것을 보여줍니다. 저희 코드는 익명으로 https://github.com/XMUDeepLIT/SAAS 에서 공개되어 있습니다.

Agentic search enables LLMs to solve complex multi-hop questions through iterative reasoning and external search. Despite the effectiveness, these systems often suffer from a critical limitation in practice: agents fail to recognize their own knowledge boundaries, blindly triggering searches when internal knowledge suffices and failing to terminate search even when adequate evidence has been collected. The lack of self-awareness leads to severe \textbf{over-search}, incurring substantial inference latency and prohibitive computational cost. To this end, we propose SAAS, a novel RL framework designed to cultivate dynamic self-awareness that precisely regulates search behavior without compromising accuracy. SAAS introduces three key components: (i) a search boundary modeling mechanism, which identifies the search boundary under the evolving policy by contrasting search-disabled and search-enabled rollouts; (ii) a boundary-aware reward module, which translates this boundary awareness into trajectory-level penalties, suppressing unnecessary and redundant searches; and (iii) a stage-wise optimization strategy, which leverages a sequential curriculum to prioritize reasoning over search regularization, thereby avoiding reward hacking. Extensive experiments demonstrate that SAAS substantially reduces over-search, while maintaining accuracy. Our code is anonymously released at https://github.com/XMUDeepLIT/SAAS.