DemoPSD: 불일치 모듈화 정책 자기 증류

DemoPSD: Disagreement-Modulated Policy Self-Distillation

온라인 자기 증류(OPSD)는 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 실용적인 방법으로, 단일 모델이 서로 다른 정보 접근 수준을 가진 교사와 학생 역할을 동시에 수행합니다. 그러나 최근 연구에 따르면, 특권 정보를 기반으로 한 교사의 밀집된 토큰 레벨 감독 신호는 특정 영역 패턴에 과적합을 일으키고 탐색 능력을 저해하며 교차 영역 일반화 성능을 떨어뜨릴 수 있습니다. 또한, *특권 정보 유출*이라는 근본적인 문제가 발생하는데, 이는 학생 모델이 테스트 시점에 사용할 수 없는 정답 의존적인 단축 경로를 학습하게 되는 현상입니다. 저희는 이러한 문제들을 해결하기 위해 *선택적 교사 지침 채택*이라는 개념을 도입한 새로운 프레임워크인 **DemoPSD**를 제안합니다. DemoPSD는 교사의 전체 분포에 맞춰 학습하는 대신, *역방향 KL 중심 목표(reverse-KL barycenter target)*를 사용하여 학생 모델을 훈련합니다. 역방향 KL 중심 목표는 교사와 학생 모델의 분포를 가중 평균하여, 교사로부터의 학습과 학생 모델 자체의 추론 능력을 균형 있게 유지합니다. 저희는 두 분포 간의 차이를 측정하고, 이러한 불일치를 활용하여 각 토큰 위치에서 블렌딩 비율을 적응적으로 제어합니다. 저희는 이론적으로 **(1)** *유출 감소*, 즉 특권 정보 유출을 효과적으로 완화하며, **(2)** *탐색 능력 보존*, 즉 밀집된 토큰 레벨 증류 환경에서도 탐색 능력을 유지함을 입증했습니다. SciKnowEval 데이터셋을 사용하여 수행한 광범위한 실험 결과, DemoPSD는 GRPO 및 SDPO보다 뛰어난 성능을 보였으며, 더 높은 훈련 엔트로피를 유지하고 GPQA 벤치마크와 같은 외부 분포 데이터에 대해 안정적인 일반화 성능을 나타냈습니다.

On-policy self-distillation (OPSD) has emerged as a practical method for training large language models (LLMs) to reason, where a single model acts as both the teacher and the student with different levels of information access. However, recent studies have found that the teacher's dense token-level supervision, conditioned on privileged information, can lead to overfitting to in-domain patterns, suppress exploration, and hurt cross-domain generalization, while also introducing a more fundamental issue: *privileged information leakage*, where the student encodes answer-dependent shortcuts that are unavailable at test time. We introduce **DemoPSD**, a novel framework that resolves such problems through the idea of *selective adoption of teacher guidance*. Instead of fitting the full teacher distribution, DemoPSD steers the student toward a *reverse-KL barycenter target*, a weighted geometric combination of the teacher and student distributions, that naturally balances learning from the teacher with preserving the student's own reasoning capacity. We measure the difference between their distributions and use such a discrepancy to adaptively control the blending at each token position. We provably show that DemoPSD achieves **(1)** *leakage attenuation*, i.e., effective mitigation of privileged information leakage; and **(2)** *exploration preservation*, i.e., preservation of exploration capacity under dense token-level distillation. Extensive experiments on SciKnowEval across four scientific fields show that DemoPSD outperforms both GRPO and SDPO while maintaining higher training entropy and robustly generalizing to out-of-distribution GPQA benchmarks.