UniSD: 대규모 언어 모델을 위한 통합 자기 증류 프레임워크

UniSD: Towards a Unified Self-Distillation Framework for Large Language Models

자기 증류(SD)는 더 강력한 외부 지도 모델에 의존하지 않고 대규모 언어 모델(LLM)을 조정하는 유망한 방법입니다. 그러나 자기 생성된 텍스트가 자유 형식이고, 정확성이 작업에 따라 달라지며, 합리적인 근거가 불안정하거나 신뢰할 수 없는 지도를 제공할 수 있기 때문에, 오토리그래시브 LLM에서의 자기 증류는 여전히 어려운 문제입니다. 기존 방법들은 주로 개별적인 설계 선택 사항을 다루기 때문에, 그 효과, 역할 및 상호 작용이 명확하지 않습니다. 본 논문에서는 자기 증류를 체계적으로 연구하기 위한 통합 프레임워크인 UniSD를 제안합니다. UniSD는 지도 신뢰성, 표현 정렬 및 학습 안정성을 해결하는 상호 보완적인 메커니즘을 통합하며, 여기에는 다중 지도자 합의, EMA(Exponential Moving Average) 지도자 안정화, 토큰 수준의 대조 학습, 특징 매칭 및 발산 클리핑이 포함됩니다. UniSD는 6개의 벤치마크와 3개의 모델 패밀리에서 6개의 모델을 사용하여 자기 증류가 정적 모방보다 성능이 향상되는 경우, 성능 향상을 이끄는 구성 요소, 그리고 이러한 구성 요소들이 작업 전반에 걸쳐 어떻게 상호 작용하는지를 분석합니다. 이러한 통찰력을 바탕으로, 상호 보완적인 구성 요소를 결합한 통합 파이프라인인 UniSDfull을 구축했으며, 이는 기준 모델보다 +5.4점, 가장 강력한 기준 모델보다 +2.8점의 성능 향상을 달성했습니다. 광범위한 평가 결과, 자기 증류는 더 강력한 외부 지도 모델 없이 효율적인 LLM 적응을 위한 실용적이고 제어 가능한 접근 방식임을 보여줍니다.

Self-distillation (SD) offers a promising path for adapting large language models (LLMs) without relying on stronger external teachers. However, SD in autoregressive LLMs remains challenging because self-generated trajectories are free-form, correctness is task-dependent, and plausible rationales can still provide unstable or unreliable supervision. Existing methods mainly examine isolated design choices, leaving their effectiveness, roles, and interactions unclear. In this paper, we propose UniSD, a unified framework to systematically study self-distillation. UniSD integrates complementary mechanisms that address supervision reliability, representation alignment, and training stability, including multi-teacher agreement, EMA teacher stabilization, token-level contrastive learning, feature matching, and divergence clipping. Across six benchmarks and six models from three model families, UniSD reveals when self-distillation improves over static imitation, which components drive the gains, and how these components interact across tasks. Guided by these insights, we construct UniSDfull, an integrated pipeline that combines complementary components and achieves the strongest overall performance, improving over the base model by +5.4 points and the strongest baseline by +2.8 points. Extensive evaluation highlights self-distillation as a practical and steerable approach for efficient LLM adaptation without stronger external teachers.