점수 부여에서 행동으로: LLM 에이전트를 위한 결과 검증 기반 비교 자기 증류

From Scoring to Acting: Outcome-Verified Comparative Self-Distillation for LLM Agents

최근 LLM 에이전트에 대한 연구는 외부 능력 추출에서 내부화된 능력으로 전환되고 있으며, 이를 통해 에이전트는 추론 시 검색 없이 유용한 기술을 유지할 수 있게 됩니다. 온-정책 자기 증류(OPSD)는 유망한 접근 방식이지만, 기존 방법은 주로 학생이 생성한 경로에 따라 행동을 평가하여 학생을 지도합니다. 이러한 지도는 두 가지 한계점을 가지고 있습니다. 첫째, 교사의 선호도가 환경 결과로 검증되지 않으며, 둘째, 학생의 실행 결과, 교사의 실행 결과 및 그들의 행동 관계에서 얻을 수 있는 정보가 행동 수준의 점수에 충분히 활용되지 않습니다. 따라서 우리는 결과 검증 기반의 교사 지도와 교사-학생 경로를 이용한 비교 학습을 옹호합니다. 이러한 관점을 바탕으로, 본 논문에서는 결과 검증 기반 비교 자기 증류(OVCSD) 방법을 제안합니다. OVCSD는 실패한 학생 실행 결과를 트리 구조로 구성하고, 학생이 도달한 상태에서 관련 기술에 특화된 교사를 동적으로 호출하며, 결과가 검증된 성공적인 연결 경로만 유지합니다. 이후, 첫 번째 상태 정렬 지점에서 국소적인 비교 학습을 적용하여, 분기 이후의 교사 부분을 증류하여 완료 행동을 전송합니다. ALFWorld 및 WebShop 환경에서 세 가지 모델 크기로 수행한 실험 결과, OVCSD는 기술 제약 없이 강화 학습하는 방법과 기존 자기 증류 기준 성능보다 일관되게 우수한 성능을 보였습니다. 특히, ALFWorld와 WebShop 환경에서 각각 29.7% 및 5.4%의 절대적인 성공률 향상을 달성했으며, 이는 훈련 과정에서 추가되는 특권 정보가 3% 미만인 수준입니다.

Recent work on LLM agents is shifting from external capability elicitation to capability internalization, enabling agents to retain useful skills without retrieval at inference time. On-policy self-distillation (OPSD) offers a promising direction, but many existing methods typically supervise students by scoring actions along student-generated trajectories. Such supervision has two limitations: teacher preferences are not validated by environment outcomes, and action-level scores underuse information from student rollouts, teacher rollouts, and their behavioral relationship. We therefore advocate outcome-verified teacher supervision and comparative learning over teacher-student trajectories. Based on this view, we propose Outcome-Verified Comparative Self-Distillation (OVCSD). OVCSD organizes failed student rollouts into a prefix tree, adaptively invokes a skill-conditioned teacher from student-reached states, and retains only outcome-verified successful continuations. It then applies localized comparative learning at the first state-aligned divergence and distills the post-divergence teacher suffix to transfer completion behavior. Experiments on ALFWorld and WebShop across three model scales show that OVCSD consistently outperforms skill-free RL and existing self-distillation baselines, achieving up to 29.7 and 5.4 absolute success-rate gains over the strongest baselines on ALFWorld and WebShop, respectively, while adding less than 3% privileged interaction during training.