TurnOPD: 온폴리시 증류를 상황 인식적으로 만들어 효율적인 장기 학습 에이전트 훈련을 위한 방법

TurnOPD: Making On-Policy Distillation Turn-Aware for Efficient Long-Horizon Agent Training

온폴리시 증류(OPD)는 학생 정책을 학습하는 방법으로, 더 강력한 교사의 정보를 학생의 자체 경로에 맞춰 제공하여 언어 에이전트 훈련에 유망한 프레임워크를 제시합니다. 그러나 장기적인 에이전트 작업을 위한 OPD 적용은 아직 충분히 연구되지 않았습니다. 기존의 에이전트 OPD에서 우리는 두 가지 주요 비효율성을 발견했습니다: (1) 전체 시퀀스 기반 학습은 종종 약하고 노이즈가 많은 KL(Kullback-Leibler divergence) 지도 신호를 제공하는 후반부 구간에 불필요한 계산 자원을 소모하며, (2) 경로 수준의 KL 목표는 대부분 손실을 초기 토큰에 집중시켜, 초기 행동이 정렬된 이후에는 더 깊은 의사 결정 과정이 충분히 학습되지 않습니다. 이러한 문제점을 해결하기 위해, 우리는 장기 에이전트의 효율적인 온폴리시 증류를 위한 턴(turn) 수준 예산 관리 전략인 TurnOPD를 제안합니다. TurnOPD는 두 가지 예산 관리자를 포함합니다: 탐지 기반 턴 통계치를 사용하여 롤아웃 길이를 결정하는 적응적 롤아웃 깊이 예산 관리, 그리고 점진적으로 KL 가중치를 토큰 수준에서 턴 균형 지도 방식으로 전환시키는 진행적인 턴 정규화 손실 예산 관리입니다. ALFWorld, WebShop 및 Multi-Hop Search에서 작업별로 특화된 교사 모델을 사용하여 실험한 결과, TurnOPD는 동일한 계산 자원 하에서 우수한 검증 정확도를 달성하며, 기존 OPD보다 더 나은 정확도-시간 균형을 제공합니다.

On-policy distillation (OPD) trains a student policy by matching a stronger teacher on the student's own trajectories, offering a promising framework for language agent training. However, its application to long-horizon agentic tasks remains insufficiently explored. We identify two key inefficiencies in vanilla agent OPD: (1) full-horizon rollouts often waste wall-clock resources on tail turns that provide weak and noisy KL supervision, and (2) trajectory-level KL objectives concentrate most of the loss on shallow tokens, leaving deeper decision turns under-trained once initial behaviors are aligned. To address these challenges, we propose TurnOPD, a turn-level budgeting strategy for efficient on-policy distillation of long-horizon agents. TurnOPD consists of two budget controllers: adaptive rollout-depth budgeting, which uses probe-based turn statistics to determine rollout length, and progressive turn-normalized loss budgeting, which gradually shifts KL weighting from token-level to turn-balanced supervision. Experiments on ALFWorld, WebShop, and Multi-Hop Search with task-specialized teacher models show that TurnOPD achieves superior validation accuracy under equal wall-clock training budgets and advances the accuracy--time frontier beyond vanilla OPD.