정답 함정: 숨겨진 오개념을 탐지하고 피드백하는 교육학적 기반 방법

The Correct Answer Trap: Pedagogically-Grounded Detection and Feedback for Hidden Misconceptions

오류가 있는 추론 과정을 통해 학생이 정답에 도달할 때, 단순히 답의 정확성에 의존하는 자동화된 피드백 시스템은 문제를 해결하기보다는 오개념을 강화시킬 수 있습니다. 본 연구에서는 Eedi 수학 플랫폼에서 수집한 20,964건의 실제 학생 응답 데이터를 활용하여 이러한 숨겨진 오개념을 자동으로 탐지하는 방법을 조사했습니다. 미세 조정된 분류기는 이러한 숨겨진 오개념 중 57%만을 탐지했으며, 일반적인 머신러닝 기법으로는 이 성능을 향상시키기 어려웠습니다. 특정 가중치를 부여한 추론 모델은 84%의 정확도를 보였지만, 실제 데이터에서는 오탐이 실제 탐지에 비해 약 8:1의 비율로 나타났습니다. 본 연구에서는 정답 여부와 방법의 타당성을 분리하는 단계별 평가 기준을 제시하고, 불확실한 경우를 교사에게 직접 전달하는 대신 진단적인 후속 질문으로 연결하는 '탐지-검증-전달' 파이프라인을 제안합니다. 이 파이프라인은 두 가지 방식으로 적용될 수 있습니다: 첫째, 교사용 대시보드에서 시스템이 검토해야 할 항목들을 필터링하고, 둘째, 자율 학습 튜터에서 플래그가 지정된 경우 저렴한 비용으로 형성 평가를 위한 후속 질문을 제공합니다.

Automated feedback systems that rely on answer correctness will reinforce, rather than address, misconceptions when students reach the correct answer through flawed reasoning. We investigate automatic detection of these hidden misconceptions using 20,964 real student responses from the Eedi mathematics platform. Fine-tuned classifiers detect only 57% of these hidden misconceptions, and standard ML interventions do not improve on this. An open-weight reasoning model detects 84%, but at realistic prevalence, false alarms outnumber genuine detections roughly 8 to 1. We present a graduated assessment rubric that separates answer correctness from method validity, and propose a detect-verify-escalate pipeline that routes uncertain cases to diagnostic follow-up questions rather than directly to teachers. Two deployment modes adapt the pipeline: a teacher dashboard where the system filters a review queue, and an autonomous tutor where flags trigger low-cost formative follow-up.