구조 인식 마스킹 및 GRPO를 활용한 효율적인 체인-오브-토 딕스틸레이션을 위한 교육 과정 학습

Curriculum Learning for Efficient Chain-of-Thought Distillation via Structure-Aware Masking and GRPO

대규모 언어 모델에서 체인-오브-토(CoT) 추론을 소형 학생 모델로 전달하는 것은 근본적인 과제입니다. 왜냐하면, 교사의 설명이 종종 작은 모델이 충실하게 재현하기에 너무 장황하기 때문입니다. 기존 방법들은 추론을 단일 단계로 압축하여 CoT의 가치를 제공하는 해석력을 잃게 만듭니다. 우리는 점진적인 기술 습득을 통해 이러한 능력 차이를 해결하는 세 단계의 교육 과정 학습 프레임워크를 제시합니다. 첫째, 마스킹된 셔플 재구성을 통해 구조적 이해를 확립합니다. 둘째, 마스킹된 완성 작업에 그룹 상대 정책 최적화(GRPO)를 적용하여 모델이 정확성과 간결성 사이의 균형을 스스로 찾도록 합니다. 셋째, 지속적인 실패 사례를 식별하고, GRPO를 통해 최적화된 타겟 재작성을 통해 학생 모델이 교사의 지식을 내재화하도록 안내합니다. GSM8K 데이터셋에 대한 실험 결과, 우리의 접근 방식은 Qwen2.5-3B-Base 모델이 11.29%의 정확도 향상을 달성하면서 출력 길이를 27.4% 줄였으며, 이는 명령어 튜닝된 변종 및 기존 딕스틸레이션 방법보다 우수한 성능입니다.

Distilling Chain-of-Thought (CoT) reasoning from large language models into compact student models presents a fundamental challenge: teacher rationales are often too verbose for smaller models to faithfully reproduce. Existing approaches either compress reasoning into single-step, losing the interpretability that makes CoT valuable. We present a three-stage curriculum learning framework that addresses this capacity mismatch through progressive skill acquisition. First, we establish structural understanding via masked shuffled reconstruction. Second, we apply Group Relative Policy Optimization (GRPO) on masked completion tasks, enabling the model to discover its own balance between accuracy and brevity. Third, we identify persistent failure cases and guide the student to internalize teacher knowledge through targeted rewriting, again optimized with GRPO. Experiments on GSM8K demonstrate that our approach enables Qwen2.5-3B-Base to achieve an 11.29 percent accuracy improvement while reducing output length by 27.4 percent, surpassing both instruction-tuned variants and prior distillation methods.