SearchMaster: 검색 에이전트를 위한 기반 지식 및 규제된 자기 학습 프레임워크

SearchMaster: Grounded and Regulated Self-Play for Search Agents

LLM 기반 검색 에이전트 훈련에는 고품질의 검색 데이터가 필수적입니다. 이는 진정한 다중 단계 정보 검색을 요구하는 작업과 검색 도구를 효과적으로 사용하는 경로를 포함합니다. 기존 파이프라인은 종종 인간이 작성한 작업, 전문가 시범 또는 더 강력한 교수 모델에 의존합니다. 본 논문에서는 SearchMaster라는 자기 학습 프레임워크를 소개합니다. 이 프레임워크는 단일 LLM을 훈련하며, 이는 로컬 검색 환경에서 생성하고 해결하며 검증하는 검색 작업을 사용합니다. 핵심적인 과제는 스스로 생성된 작업과 경로가 잘못된 신호를 제공할 수 있다는 점입니다. 예를 들어, 가짜 다중 단계 질문, 검색 깊이를 무시한 성공률 기반 난이도 추정, 그리고 과도한 문서 탐색이지만 표적 증거 확보가 부족한 경로 등이 있습니다. SearchMaster는 세 가지 제어를 통해 이러한 문제점을 해결합니다. 첫째, Evidence-Chain Generator (ECG)는 명시적인 문서 간 증거 연결을 활용하여 작업 생성의 기반을 마련하고 가짜 다중 단계 질문을 줄입니다. 둘째, Search-Depth Reward (SDR)는 성공적인 경로의 검색 깊이를 기준으로 작업 난이도를 평가하며, 성공률만 고려하는 것을 방지하여 유지되는 작업을 지속적으로 심층 검색 위주로 만듭니다. 셋째, Over-Opening Penalty (OOP)는 과도한 문서 탐색을 억제하여 장황하지만 피상적인 탐색을 방지함으로써 도구 사용을 규제합니다. 검증된 제안 및 해결 경로의 결과를 GRPO를 사용하여 공동으로 최적화합니다. 여섯 가지 심층 검색 벤치마크에서 SearchMaster는 Qwen3.5-9B 모델의 평균 정확도를 38.19%에서 51.52%로 향상시켰으며, BrowseComp-Plus 데이터셋에서는 30.1 포인트의 성능 향상을 보였습니다. 이러한 결과는 기반 지식과 규제된 자기 학습이 인간이 라벨링한 질의응답 쌍이나 전문가 시범 없이도 효과적인 검색 에이전트 훈련 데이터를 제공할 수 있음을 보여줍니다. 코드 및 관련 정보는 다음 GitHub 주소에서 확인할 수 있습니다: https://github.com/WentaoTan/SearchMaster.

Training LLM-based search agents requires high-quality search data: tasks that demand genuine multi-hop retrieval and trajectories that use search tools effectively. Existing pipelines often depend on human-written tasks, expert demonstrations, or stronger teacher models. We present SearchMaster, a self-play framework that trains a single LLM from search tasks it generates, solves, and verifies in a local search environment. The key challenge is that self-generated tasks and rollouts can yield misleading signals: pseudo multi-hop questions, success-rate difficulty estimates that ignore search depth, and rollouts with excessive opening but little targeted evidence acquisition. SearchMaster addresses these failure modes with three controls. An Evidence-Chain Generator (ECG) grounds task generation in explicit cross-document evidence chains to reduce pseudo multi-hop questions. A Search-Depth Reward (SDR) scores task difficulty by the search depth of successful rollouts rather than success rate alone, keeping retained tasks search-intensive. An Over-Opening Penalty (OOP) regulates tool use by discouraging excessive document opening, avoiding long but shallow browsing. Verified Proposer and Solver rollouts are then jointly optimized with GRPO. Across six deep-search benchmarks, SearchMaster improves a Qwen3.5-9B backbone from 38.19% to 51.52% average accuracy, with a 30.1-point gain on BrowseComp-Plus. These results show that grounded and regulated self-play can provide effective search-agent training data without human-labeled QA pairs or expert demonstrations. The code is available at https://github.com/WentaoTan/SearchMaster.