관찰 기반 교정된 자기 증류를 이용한 강화 학습 에이전트

Agentic Reinforcement Learning with Observation-Calibrated Self-Distillation

대규모 언어 모델 에이전트는 일반적으로 희소한 경로 수준의 보상을 통해 강화 학습으로 훈련되는데, 이는 개별 토큰을 얼마나 강력하게 업데이트해야 하는지에 대한 제한적인 지침을 제공합니다. 온-폴리시 자기 증류(OPSD)는 특권 재생 뷰를 사용하여 생성된 토큰을 재평가하여 밀집된 토큰 수준의 감독 신호를 얻음으로써 이 문제를 해결합니다. 그러나 우리는 다음과 같은 혼란스러운 문제가 있음을 확인했습니다. 결과적으로 생성된 지원은 재생 뷰에 포함된 특권 정보와 재생 구조로 인해 발생하는 점수 변화를 모두 반영할 수 있으므로, 지원이 특정 정보에 의해 유발되었는지 파악하기 어렵습니다. 특히 미래 환경 관찰을 특권 정보로 사용할 때 이 문제는 더욱 두드러집니다. 왜냐하면 이를 재생하려면 토큰 점수를 자체적으로 교란하는 확장된 구조를 재구성해야 하기 때문입니다. 이러한 혼란을 해결하기 위해, 우리는 관찰 기반 교정된 자기 증류(OCSD)를 제안합니다. OCSD는 실제 미래 관찰의 존재 여부에 따라 달라지는 두 개의 구조적으로 일치된 재생 뷰, 즉 전체 뷰와 관찰 제거 뷰를 비교하여 재생 구조에 의해 공유되는 점수 변화를 할인하는 관찰 잔차를 도출합니다. OCSD는 이 잔차를 사용하여 불확실성이 높은 단계에서 토큰 수준의 GRPO 업데이트를 조절하면서 경로 수준의 업데이트 방향을 유지합니다. ALFWorld, WebShop 및 Search-QA 데이터셋에서 세 가지 Qwen3 모델 크기를 사용하여 수행한 실험 결과, OCSD가 강력한 기준 모델보다 일관되게 우수한 성능을 보였습니다. 추가적인 분석 결과, 교정된 잔차가 지역 환경 피드백과 더 잘 일치하는 것으로 확인되었습니다. 저희 코드는 다음 URL에서 공개적으로 이용할 수 있습니다: https://github.com/yiy1x/OCSD.

Large language model agents are commonly trained through reinforcement learning with sparse trajectory-level rewards, which offer limited guidance on how strongly individual tokens should be updated. On-Policy Self-Distillation (OPSD) addresses this by re-scoring generated tokens under a privileged replay view to obtain dense, token-level supervision. However, we identify a confounding issue: the resulting support may reflect both the privileged information contained in the replay view and score shifts induced by the replay scaffold, making it difficult to attribute the support specifically to that information. This issue is especially pronounced when future environment observations serve as privileged information, since replaying them requires reconstructing an extended scaffold that itself perturbs token scores. To resolve this confounding, we propose Observation-Calibrated Self-Distillation (OCSD), which contrasts two structurally matched replay views, Full and Observation-Ablated, differing only in whether the actual future observation is present, to derive an observation residual that discounts score changes shared by the replay scaffold. OCSD then applies this residual to modulate token-level GRPO updates at high-uncertainty steps, while preserving the trajectory-level update direction. Experiments on ALFWorld, WebShop, and Search-QA across three Qwen3 model scales show that OCSD consistently outperforms strong baselines. Diagnostic analyses further confirm that the calibrated residual aligns better with local environment feedback. Our code is publicly available at https://github.com/yiy1x/OCSD.