인지적 불확실성을 활용한 지식 증류: 학생들의 오개념 정확 분류를 위한 방법

Cognitive-Uncertainty Guided Knowledge Distillation for Accurate Classification of Student Misconceptions

학생들의 오개념을 정확하게 파악하는 것은 맞춤형 교육에 매우 중요하지만, 다음과 같은 세 가지 어려움에 직면합니다. (1) 데이터 부족 및 불균형 분포: 실제 학생들의 사고 과정을 모방하기 어렵습니다. (2) 오류 범주 간의 모호한 경계: 높은 수준의 오류로 인한 데이터 레이블링의 부정확성 문제가 있습니다. (3) 모델 배포 문제: 대규모 모델은 사전 학습 편향으로 인해 비전통적인 접근 방식을 간과하며, 엣지 환경에 배포하기 어렵습니다. 반면, 소규모 모델은 노이즈에 과적합될 가능성이 높습니다. 기존의 대규모 데이터 증강 방법을 사용하는 대신, 본 연구에서는 기존 데이터를 활용하여 고품질 샘플을 추출하는 두 단계 지식 증류 프레임워크를 제안합니다. 첫 번째 단계에서는 표준적인 지식 증류를 통해 작업 능력을 이전합니다. 두 번째 단계에서는 인지적 불확실성을 기반으로 한 이중 계층 마진 선택 메커니즘을 도입하여, 교사 모델의 불확실성과 신뢰도 차이를 바탕으로 네 가지 유형의 중요한 샘플을 식별합니다. 다양한 데이터 세트에 대해, 난이도 적응 메커니즘을 설계하여 하드/소프트 레이블 기여도를 균형 있게 조정하고, 이를 통해 학생 모델이 교사 모델의 소프트 레이블로부터 클래스 간 관계를 학습하면서도 모호한 오류 유형을 구별할 수 있도록 합니다. 실험 결과, 필터링된 샘플의 10.30%만을 사용하여 추가 학습을 진행했을 때, MAP-Charting 데이터 세트에서 MAP@3 지표가 0.9585 (+17.8%)로 향상되었으며, 40억 개의 파라미터를 가진 모델만으로 중학교 대수 오개념 벤치마크 테스트에서 84.38%의 정확도를 달성하여, 최첨단 LLM (67.73%) 및 표준 튜닝된 72B 모델 (81.25%)보다 훨씬 뛰어난 성능을 보였습니다. 본 연구의 코드는 다음 링크에서 확인할 수 있습니다: https://github.com/RoschildRui/acl2026_map.

Accurately identifying student misconceptions is crucial for personalized education but faces three challenges: (1) data scarcity with long-tail distribution, where authentic student reasoning is difficult to synthesize; (2) fuzzy boundaries between error categories with high annotation noise; (3) deployment parado-large models overlook unconventional approaches due to pretraining bias and cannot be deployed on edge, while small models overfit to noise. Unlike traditional methods that increase diversity through large-scale data synthesis, we propose a two-stage knowledge distillation framework that mines high-value samples from existing data. The first stage performs standard distillation to transfer task capabilities. The second stage introduces a dual-layer marginal selection mechanism based on cognitive uncertainty, identifying four types of critical samples based on teacher model uncertainty and confidence differences. For different data subsets, we design difficulty-adaptive mechanism to balance hard/soft label contributions, enabling student models to inherit inter-class relationships from teacher soft labels while distinguishing ambiguous error types. Experiments show that with augmented training on only 10.30% of filtered samples, we achieve MAP@3 of 0.9585 (+17.8%) on the MAP-Charting dataset, and using only a 4B parameter model, we attain 84.38% accuracy on cross-topic tests of middle school algebra misconception benchmarks, significantly outperforming sota LLM (67.73%) and standard fine-tuned 72B models (81.25%). Our code is available at https://github.com/RoschildRui/acl2026_map.