훈련 중 제로 베리언스 쿼리를 재활용하여 에이전트 검색의 효율적인 강화 학습

Effective Reinforcement Learning for Agentic Search by Recycling Zero-Variance Queries During Training

결과만을 기반으로 LLM 검색 에이전트를 훈련하는 데 있어, GRPO 스타일 알고리즘은 표준 전략으로 자리 잡았습니다. 이러한 알고리즘에서 하나의 쿼리는 성공과 실패가 혼합된 그룹을 생성할 때만 파라미터 업데이트에 기여합니다. 모든 것이 올바르거나 (너무 쉬움) 모든 것이 잘못된 (너무 어려움) 그룹은 제로 베리언스를 가지며, 롤아웃 비용을 낭비합니다. 기존 접근 방식에서는 제로 베리언스를 정적인 속성으로 취급하여 이러한 그룹을 제거하거나 미리 필터링합니다. 본 연구는 정책이 훈련 중에 발전함에 따라 쿼리가 제로 베리언스와 유의미한 정보를 제공하는 상태 사이를 전환한다는 가설을 제시하고 이를 실증적으로 검증합니다. 이 직관을 바탕으로, 본 연구에서는 '쿼리 재활용' 기법을 제안합니다. 이는 제로 베리언스 그룹을 변경 가능한 풀에 다시 저장하여 향후 리샘플링하도록 하는 방식으로, 효과적인 훈련 분포가 정책과 함께 진화하도록 합니다. 제안된 기술을 사용하면, 합성 데이터를 사용하여 훈련된 17억 개의 파라미터를 가진 모델이 7개의 멀티홉 질의응답 벤치마크에서 평균 Pass@1 정확도 66.0%를 달성할 수 있으며, 이는 벤치마크 기반의 감독 학습으로 훈련된 최대 70억 개의 파라미터를 가진 시스템과 동등하거나 그 이상의 성능을 보입니다. 재활용 패턴 분석 결과, 훈련 종료 시점까지 재활용된 쿼리가 전체 효과적인 배치 중 약 3/4를 차지하며, 정책 개선으로부터의 회복 및 정책 드리프트에 기여하는 것으로 나타났습니다.

The use of GRPO-style algorithms has become the standard strategy for training LLM search agents under outcome-only rewards. With these algorithms, a query contributes to parameter updates only when its rollout group mixes successes and failures; all-correct (too-easy) and all-incorrect (too-hard) groups are zero-variance and waste rollout cost. Existing approaches treat zero-variance as a static property and either discard or pre-filter such groups. We hypothesize and empirically validate that queries flip between zero-variance and signal-bearing states as the policy evolves during training. Building on this intuition, we propose query recycling, which returns zero-variance groups to a mutable pool for future resampling, so that the effective training distribution co-evolves with the policy. With the proposed technique, a 1.7B parameter model trained on synthetic data can reach 66.0 average Pass@1 accross seven multi-hop QA benchmarks, matching or surpassing systems with up to 7B parameters trained on benchmark-derived supervision. Analysis of recycling patterns shows that recycled queries supply roughly three quarters of the effective batch by the end of training, with contributions split between recovery from policy improvement and policy drift.