LLM의 성능 복구 메커니즘으로서의 자기 증류: 압축 및 파국적 망각 현상에 대한 대응

Self-Distillation as a Performance Recovery Mechanism for LLMs: Counteracting Compression and Catastrophic Forgetting

대규모 언어 모델(LLM)은 다양한 AI 응용 분야에서 놀라운 성공을 거두었지만, 지도 학습(SFT) 과정에서의 파국적 망각, 양자화, 가지치기 등으로 인해 성능 저하를 겪는 경우가 많습니다. 본 연구에서는 자기 증류 미세 조정(SDFT)을 기반으로 모델의 능력을 효과적으로 복원하는 성능 복구 프레임워크를 제시합니다. 실질적인 기여와 더불어, 복구 메커니즘에 대한 엄밀한 이론적 설명을 제공합니다. LLM의 생성 능력은 기본적으로 은닉 계층에 의해 구성되는 고차원 매니폴드에 크게 의존한다고 가정합니다. 이를 조사하기 위해, 학생 모델과 교사 모델의 활성화 경로 간의 정렬을 정량화하는 Centered Kernel Alignment (CKA)를 활용합니다. CKA는 직교 변환 및 스케일링에 대한 불변성을 가지고 있습니다. 실험 결과, 성능 복구와 매니폴드 정렬 사이에 강력한 상관관계가 있음을 보여주며, 자기 증류가 학생 모델의 고차원 매니폴드를 교사 모델이 나타내는 최적의 구조와 일치시키는 효과가 있음을 입증합니다. 본 연구는 실질적인 복구 프레임워크와 기하학적 표현 이론 간의 간극을 해소하고, 자기 증류의 내부 메커니즘에 대한 새로운 통찰력을 제공합니다.

Large Language Models (LLMs) have achieved remarkable success, underpinning diverse AI applications. However, they often suffer from performance degradation due to factors such as catastrophic forgetting during Supervised Fine-Tuning (SFT), quantization, and pruning. In this work, we introduce a performance recovery framework based on Self-Distillation Fine-Tuning (SDFT) that effectively restores model capabilities. Complementing this practical contribution, we provide a rigorous theoretical explanation for the underlying recovery mechanism. We posit that an LLM's generative capability fundamentally relies on the high-dimensional manifold constructed by its hidden layers. To investigate this, we employ Centered Kernel Alignment (CKA) to quantify the alignment between student and teacher activation trajectories, leveraging its invariance to orthogonal transformations and scaling. Our experiments demonstrate a strong correlation between performance recovery and manifold alignment, substantiating the claim that self-distillation effectively aligns the student's high-dimensional manifold with the optimal structure represented by the teacher. This study bridges the gap between practical recovery frameworks and geometric representation theory, offering new insights into the internal mechanisms of self-distillation.