잠재 온정책 자기 증류(Latent On-Policy Self-Distillation)

Latent On-Policy Self-Distillation

에이전트가 경험으로부터 학습하고 이를 정책에 내재화하는 것은 자체 진화형 인공지능의 핵심적인 과제입니다. 온정책 자기 증류 (OPSD)는 특권적 자기 교사(privileged self-teacher)를 활용하여 학생 에이전트의 자신의 경로에 대한 밀집적인 감독을 제공함으로써 효과적인 해결책을 제시합니다. 그러나 기존 방법들은 여전히 설계자가 미리 정의한 특권 정보(예: 정답, 피드백, 기술 또는 경로)에 크게 의존하며, 이는 지속적인 자체 개선에 필요한 엔드투엔드 학습 가능성과 확장성을 제한합니다. 본 연구에서는 잠재 온정책 자기 증류 (LOPD)를 제안합니다. LOPD는 기존의 수동으로 설계된 OPSD 방법과 달리, 새로운 형태의 특권 맥락을 제시하는 대신, 특권적 맥락 자체를 경험으로부터 엔드투엔드로 학습 가능하게 만듭니다. 기술적으로, LOPD는 관련 경험을 검색하여 연속적인 잠재 토큰으로 구성하고 이를 자기 교사를 조건화하는 데 사용하며, 학생 에이전트는 과제 및 상호 작용 기록에서 경로를 생성하고 방문한 모든 부분에 대해 밀집적인 토큰 수준의 감독을 받습니다. 또한, 잠재 맥락 학습의 안정성과 규제를 위해 특권 마진 객관 함수를 도입했습니다. 실험적으로, LOPD는 (I) 강력한 성능을 보여주며, 에이전트 도구 사용 및 코드 생성 모두에서 RLVR 및 대표적인 OPSD 방법(OPSD, SDPO, Skill-SD)보다 우수한 성능을 나타냅니다. 또한 (II) GRPO 및 Skill-SD보다 30% 미만의 시뮬레이션 예산으로 더 높은 학습 효율성을 달성합니다. 추가적으로 실시한 분석 실험 결과는 특권 맥락을 학습 가능하게 만드는 것이 이러한 성능 향상을 실현하는 데 필수적임을 직접적으로 보여줍니다. 종합적으로, 이러한 결과는 LOPD를 에이전트 진화를 위한 더욱 확장 가능하고 자율적인 패러다임으로 나아가는 한 단계로 자리매김합니다.

Enabling agents to learn from experience and internalize it into their policy has become a central problem in self-evolving AI. On-policy self-distillation (OPSD) offers an effective pathway by using a privileged self-teacher to provide dense supervision on the student's own trajectories; however, existing methods still rely heavily on designer-specified privileged artifacts (e.g., answers, feedback, skills, or trajectories), limiting the end-to-end learnability and scalability required for continual self-improvement. In this work, we introduce Latent On-Policy Self-Distillation (LOPD), which, rather than proposing another hand-crafted OPSD variant with a newly prescribed form of privileged context, makes the teacher's privileged context itself learnable end-to-end from experience. Technically, LOPD retrieves relevant experiences and composes them into continuous latent tokens that condition a self-teacher, while the student generates trajectories from the task and interaction history and receives dense token-level supervision at every visited prefix. We further introduce a privileged-margin objective to stabilize and regulate the learning of latent context. Empirically, LOPD demonstrates (I) strong performance, outperforming RLVR and representative OPSD methods including OPSD, SDPO, and Skill-SD across both agentic tool use and code generation; and (II) high learning efficiency, surpassing GRPO and Skill-SD with less than 30% of their rollout budget. Ablation studies further provide direct evidence that making privileged context learnable is necessary for realizing these gains. Together, these results position LOPD as a step toward a more scalable and self-directed paradigm for agent evolution.