검색 전에 계획: 검색 에이전트는 계획이 필요합니다

Plan Before Search: Search Agents Need Plan

대규모 언어 모델을 정보 검색 기반 추론 에이전트로 학습시키는 것은 일반적으로 강화 학습과 더 강력한 모델에서 추출된 SFT(Supervised Fine-Tuning) 초기 단계를 결합하는 방식을 사용합니다. 그러나 이러한 방식은 다음과 같은 두 가지 중요한 요소를 간과합니다. 즉, 하위 기술 간의 의존성 구조와 능력을 습득하는 데 증류만이 유일한 방법이 아닐 수 있다는 점입니다. 우리는 'Plan'이라는 체계적인 에이전트 행동 방식을 통해 이를 연구했습니다. Plan은 다중 단계 정보 검색을 위해 질문을 순서대로 나눈 하위 질문으로 분해하여, 검색 과정에서 각 단계를 미리 정의된 하위 질문에 연결하도록 설계함으로써, 이전에 검색된 부분적으로 관련 있는 문서의 영향으로 인해 발생하는 오류를 방지합니다. 그러나 30억에서 140억 개의 파라미터를 가진 세 가지 모델 패밀리에 대해 동일한 보상 신호가 질적으로 다른 강화 학습 실패 방식으로 이어지는 것을 확인했습니다. 이러한 현상은 성공적인 학습이 단순히 보상 설계뿐만 아니라 모델별 실행 가능 조건(충분한 초기 엔트로피, 안정적인 학습, 필수 하위 기술)에 달려 있음을 시사합니다. 이에 착안하여, 작고 간결한 시드 모델이 필터링된 트레이커리를 생성하여 모든 대상 모델에서 'Plan'을 활성화하는 자체 부트스트래핑 방식을 제안했습니다. 이 파이프라인은 테스트된 모든 모델에서 'Plan'을 활성화하고 다중 단계 질문-응답 벤치마크에서 경쟁적인 기본 성능보다 지속적으로 우수한 결과를 보였습니다.

Training large language models as retrieval-augmented reasoning agents typically combines reinforcement learning with an SFT cold start distilled from a stronger model. However, this paradigm overlooks two fundamental factors: the dependency structure among sub-skills, and the possibility that distillation is not the only route to capability acquisition. We study this through Plan, a structured agentic behavior for multi-hop retrieval that decomposes a question into ordered sub-questions before any retrieval is performed, so that each search step can be anchored to a pre-designed sub-question instead of drifting under the influence of partially relevant documents retrieved earlier. However, across three model families spanning 3B to 14B parameters, we find that an identical reward signal induces qualitatively different RL failure modes. This phenomenon indicates that successful training hinges not only on reward design but also on model-specific feasibility conditions: sufficient initial entropy, training stability, and prerequisite sub-skills. Motivated by this, we propose a self-bootstrapping paradigm in which a small-scale seed model generates filtered trajectories that activate Plan in any target model, eliminating the need for distillation from an external stronger model. Our pipeline activates Plan across every tested model and consistently outperforms competitive baselines on multi-hop QA benchmarks.