결과 보상을 넘어: 심층 탐색 에이전트를 위한 단계별 자기 지도 정책 최적화

Beyond Outcome Rewards: Step-Level Self-Distilled Policy Optimization for Deep Search Agents

심층 탐색 에이전트는 수십 단계에 걸친 경로를 처리하지만, 일반적인 강화 학습은 각 경로당 단 하나의 결과 보상만을 제공하며, 이는 효과적인 신용 할당을 위해 너무 희소합니다. 온-정책 자기 증류(OPSD)는 모델 자체의 로짓을 밀집된 토큰 수준의 가이드로 사용하여 이 문제를 해결하지만, 이를 탐색 에이전트로 확장하면 근본적인 긴장이 발생합니다. 가이드(교사)는 정답과 같은 특권 정보를 가지고 있기 때문에 학생의 탐색 기반 추론과는 체계적으로 다른 분포를 생성하며, 단순한 증류는 학생이 이러한 정보 비대칭성을 학습하는 대신 더 나은 검색 전략을 배우도록 하는 것이 아니라 이를 상속하게 만듭니다. 우리는 두 가지 방법을 통해 이 긴장을 해결합니다. 첫째, 웹에서 추출한 간결하고 단계별 증거 조각인 '증거 앵커(Evidence Anchors)'를 구축하여 전체 답변 경로를 드러내지 않고 핵심적인 추론 단계를 포착하는 특권 정보를 제공합니다. 둘째, 우리는 단계별 자기 증류 정책 최적화(SSPO)라는 방법을 제안하며, 이는 교사와 학생 간의 불일치를 GRPO 내에서 단계별 이점 가중치로 변환하며, 이는 오직 잘못된 경로에만 적용됩니다. 이러한 설계는 무엇을 업데이트할 것인지와 얼마나 업데이트할 것인지를 분리합니다. 결과 보상은 정책 변경 방향을 결정하고, 가이드는 각 단계에서 그 크기를 조절합니다. 올바른 경로는 그대로 유지되어 다양성을 보존합니다. Qwen3-8B 모델에서 SSPO는 BrowseComp, GAIA 및 FRAMES 데이터셋에서 GRPO보다 지속적으로 우수한 성능을 보이며, 동일한 기울기 업데이트 횟수로 학습된 GRPO와 동등하거나 더 나은 성능을 보이면서도 단일 추가 순전파 연산으로 인해 발생하는 오버헤드가 약 5%에 불과합니다.

Deep search agents operate over trajectories spanning dozens of steps, yet standard reinforcement learning provides only a single outcome reward per trajectory, which is far too sparse for effective credit assignment. On-policy self-distillation (OPSD) addresses this by using the model's own logits as dense token-level teachers, but extending it to search agents introduces a fundamental tension: the teacher, having access to privileged information such as the correct answer, produces a distribution that differs systematically from the student's exploration-based reasoning, and naive distillation causes the student to inherit this information asymmetry rather than learn better search strategies. We resolve this tension through two contributions. First, we construct Evidence Anchors, which are concise, step-level evidence snippets extracted from the web, as privileged information that captures key reasoning steps without revealing the entire answer path. Second, we propose Step-Level Self-Distilled Policy Optimization (SSPO), which converts teacher-student disagreement into step-level advantage weights within GRPO, applied exclusively to incorrect trajectories. This design decouples what to update from how much to update: the outcome reward determines the direction of policy change, while the teacher modulates its magnitude at each step. Correct trajectories are left untouched, preserving their diversity. On Qwen3-8B, SSPO consistently outperforms GRPO across BrowseComp, GAIA, and FRAMES, surpassing or matching GRPO trained with twice as many gradient steps while adding only about 5 percent overhead per step from a single additional forward pass.