AgentOPSD: 에이전트 강화 학습을 위한 재귀적 자기 증류

AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning

검증 가능한 보상을 사용하는 강화 학습(RL)은 경로 수준의 이점 추정치를 생성하지만, 장기적인 다단계 에이전트 작업에서 결과를 결정하는 몇 가지 중요한 결정에 대한 적절한 기여도를 부여하는 데 어려움을 겪는 경우가 많습니다. 최근 연구에서는 신뢰 할당을 위한 특권적 자기 증류 방법을 제시하여 더 자세한 감독 신호를 제공하지만, 이러한 지역 신호가 순차적인 기여도를 어떻게 나타내야 하는지는 불분명합니다. 본 논문에서는 에이전트 강화 학습에서 턴 수준의 신뢰 할당을 위한 비-비평가(critic-free) 방식의 재귀적 방법인 AgentOPSD를 제안합니다. AgentOPSD는 토큰 수준의 교사-학생 로그 확률 차이를 턴 수준의 증거로 통합하고, 로짓 공간에서 베이지안 믿음 상태를 재귀적으로 업데이트합니다. 이를 통해 희소한 결과 감독 신호를 턴 수준의 기여도 신호로 변환하는 체계적인 가중치 부여 방식을 얻을 수 있으며, 연속된 상태 간의 주변 믿음 수정 과정을 통해 중요한 턴을 식별할 수 있습니다. 이 방법은 표준 정책 최적화와 완전히 호환되며 추가적인 비평가나 여분의 시뮬레이션이 필요하지 않습니다. 본 논문에서는 Qwen2.5 모델(3B 및 7B)을 사용하여 ALFWorld, WebShop 및 Search-QA에서 AgentOPSD를 평가했습니다. AgentOPSD는 GRPO 및 강력한 자기 증류 기반 방법보다 우수한 성능을 보였으며, Qwen2.5-7B 모델을 사용했을 때 ALFWorld에서 89.1%의 성공률을 달성했습니다. 추가 분석 결과, 성능 향상은 턴 수준의 통합과 과거에 의존하는 재귀적 믿음 업데이트 덕분임을 확인했습니다.

Reinforcement learning (RL) with verifiable rewards constructs trajectory-level advantage estimates, yet it often fails to credit the few pivotal decisions that determine outcomes in long-horizon, multi-turn agentic tasks. Recent work introduces privileged self-distillation for credit assignment, providing denser supervision, but it remains unclear how such local signals should represent sequential credit. We propose AgentOPSD, a critic-free, recursive method for turn-level credit assignment in agentic reinforcement learning. AgentOPSD aggregates token-level teacher-student log-probability gaps into turn-level evidence and recursively updates a Bayesian belief state in log-odds space. This yields a principled reweighting scheme that converts sparse outcome supervision into turn-level credit signals and identifies pivotal turns through the marginal belief revision between consecutive states. The method is fully compatible with standard policy optimization and requires neither an additional critic nor extra rollouts. We evaluate AgentOPSD on ALFWorld, WebShop, and Search-QA using Qwen2.5 models at two scales (3B and 7B). AgentOPSD outperforms GRPO and strong self-distillation baselines, achieving 89.1% success on ALFWorld with Qwen2.5-7B. Ablation studies attribute the gains to turn-level aggregation and history-dependent recursive belief updates.