LLM 추론을 위한 기술 기반 게이티드 자기 증류

Skill-Conditioned Gated Self-Distillation for LLM Reasoning

온라인 자기 증류(SD)는 교사 측의 특권 정보(PI)를 활용하여 희소한 검증 결과를 밀집된 토큰 수준의 지도 신호로 변환함으로써 LLM 추론 능력을 향상시킵니다. 기존 방법들은 일반적으로 참조 답변이나 성공적인 실행 경로와 같은 신뢰할 수 있는 PI를 가정합니다. 본 연구에서는 PI가 경험에서 파생된 기술 저장소에서 얻어질 수 있는지, 즉 검색된 기술이 간결하고 재사용 가능하지만 관련성이 없거나 오해의 소지가 있을 수도 있다는 점을 탐구합니다. 우리는 기술 기반 SD를 조건 없는 모방이 아닌 교사 가설 검증으로 구성하는 Skill-Conditioned Gated Self-Distillation (SGSD)를 제안합니다. SGSD는 기술-오류 쌍을 검색하고, 다중 교사 풀을 구성하며, 모든 기술 기반 교사가 동일한 기본 프롬프트 학생의 결과를 평가하도록 합니다. 검증기는 각 교사의 극성을 확인합니다. 성공을 지지하거나 실패를 억제하면 양의 지도 신호가 제공되고, 반대되는 경우 극성이 반전됩니다. 강력한 게이티드 목적 함수는 유용한 교사-학생 간 불일치를 증류하고 불확실하거나 극단적인 신호를 억제합니다. 다양한 수학적 추론 벤치마크에서의 실험 결과, SGSD는 GRPO보다 일관되게 성능이 향상되며, 약한 PI 가정 하에서 답변 기반 OPSD와 경쟁력 있는 성능을 보입니다. 예를 들어, Qwen3-1.7B 모델에서 SGSD는 AIME24, AIME25 및 HMMT25 데이터셋에서 평균적으로 GRPO보다 6.2% 높고, OPSD보다 1.7% 높은 성능을 보였습니다. 본 연구의 코드는 https://github.com/walawalagoose/SGSD 에서 확인할 수 있습니다.

On-policy self-distillation (SD) improves LLM reasoning by using teacher-side privileged information (PI) to turn sparse verifier outcomes into dense token-level supervision. Existing methods usually assume trusted PI, such as reference answers or successful traces. We ask whether PI can instead come from an experience-derived skill bank, where retrieved skills are compact and reusable but may also be irrelevant or misleading. We propose Skill-Conditioned Gated Self-Distillation (SGSD), which formulates skill-based SD as teacher hypothesis validation rather than unconditional imitation. SGSD retrieves skill-mistake pairs, constructs a multi-teacher pool, and lets all skill-conditioned teachers score the same plain-prompt student rollout. The verifier validates each teacher's polarity: supporting a success or suppressing a failure gives positive supervision, while the opposite stance is reversed. A robust gated objective then distills informative teacher-student disagreements while suppressing uncertain or extreme signals. Experiments on multiple mathematical reasoning benchmarks show that SGSD consistently improves over GRPO and remains competitive with answer-conditioned OPSD under a weaker PI assumption. For example, on Qwen3-1.7B, SGSD outperforms GRPO by 6.2% and OPSD by 1.7% on average on AIME24, AIME25, and HMMT25. Our code is available at https://github.com/walawalagoose/SGSD.