자기 주도 강화 학습: 자기 지도 보상 형상을 이용한 방법

Agentic Reinforcement Learning with Self-Distilled Reward Shaping

자기 주도 강화 학습은 LLM 에이전트가 상호 작용을 통해 학습하도록 하지만, 희소한 경로 수준의 보상은 성공 여부는 알려주지만 어떤 중간 결정이 칭찬받아야 하는지는 식별하지 못합니다. 훈련 과정에서만 활용되는 특권 기술은 동일한 고정 정책 스냅샷을 사용하여 기술 없이 생성된 경로의 고정 토큰을 재평가하도록 함으로써 더 밀집된 감독 신호를 제공할 수 있습니다. 기존 방법은 상호 작용 단계에 걸쳐 교사 점수를 동시에 조정하지 못하고, 교사의 확신도를 실제 수익과 관련짓지 않으며, 결과 신호를 기본 보상-장점 구성에 통합하지 않습니다. 본 논문에서는 다중 턴 언어 에이전트에 대한 수익 연관 토큰 수준의 기여도를 구축하는 프레임워크인 자기 주도 강화 학습: 자기 지도 보상 형상을 이용한 방법 (Agentic Reinforcement Learning with Self-Distilled Reward Shaping, ADRS)을 소개합니다. ADRS는 각 단계 내에서 특권 토큰 점수를 중심으로 정규화하고, 그룹 내 확신도-수익 연관성을 기반으로 수익과 관련된 교사 가치 장점 (Teacher Value Advantage, TVA) 게이트를 사용하여 이를 조절하며, 게이팅된 토큰 신호를 기본 강화 학습 기여도 구축에 통합합니다. 이러한 구성 요소들은 교사가 무엇을 선호하는지, 그 선호도가 수익과 관련될 때, 그리고 그것이 기본 강화 학습 기여 경로에 어떻게 들어가는지를 결정합니다. 동시에, 실행 및 추론 과정에서는 기술이 사용되지 않습니다. 세 가지 상호 작용 벤치마크에서의 실험 결과, ADRS는 장기적인 작업에서 일관되게 성능을 향상시키며, 이러한 개선 효과는 다양한 강화 학습 모델, 제한된 데이터 환경, 새로운 작업 및 확장된 훈련에서도 유지됩니다. 익명 검토를 위해 코드는 다음 링크에서 제공됩니다: https://github.com/gitrxh/ADRS-arxiv

Agentic reinforcement learning enables LLM agents to learn through interaction, but sparse trajectory-level rewards reveal success without identifying which intermediate decisions deserve credit. Training-only privileged skills can provide denser supervision by allowing the same frozen policy snapshot to rescore fixed tokens from skill-free trajectories while conditioned on task-matched procedural skills. Existing methods, however, do not jointly calibrate teacher scores across interaction steps, relate teacher confidence to realized returns, and integrate the resulting signal into native reward-to-advantage construction. We introduce Agentic Reinforcement Learning with Self-Distilled Reward Shaping (ADRS), a framework for constructing return-associated token-level credit for multi-turn language agents. ADRS centers and normalizes privileged token scores within each step, modulates them with a return-associated Teacher Value Advantage (TVA) gate based on within-group confidence--return association, and incorporates the gated token signal into native RL credit construction. Together, these components determine what the teacher prefers, when that preference is return-relevant, and how it enters the native reinforcement-learning credit path, while keeping rollouts and inference skill-free. Finally, experiments across three interactive benchmarks show that ADRS consistently improves performance on long-horizon tasks, with gains persisting across RL backbones, reduced-data settings, unseen tasks, and extended training. For anonymous review, our code is available at the following the link: https://github.com/gitrxh/ADRS-arxiv