학생이 그린 과학 모델에 대한 신뢰도 기반 자동 평가

Confidence-Aware Automated Assessment of Student-Drawn Scientific Models

학생들이 그린 그림은 차세대 과학 교육 표준(NGSS)과 연계된 모델링 기반 과제에서 학습자의 개념적 이해도를 평가하는 데 널리 사용됩니다. 그러나 이러한 그림을 평가하려면 복잡한 시각적 표현을 해석하기 위한 전문가의 판단이 필요하며, 이는 대규모 평가를 실시하고 유지하는 데 비용이 많이 듭니다. 본 연구에서는 비전 기반 모델을 사용하여 학생이 그린 과학 그림에 대한 자동 채점 방법을 연구합니다. 파라미터 효율적인 적응 기능을 갖춘 Vision Transformer (ViT)를 평가하고, 시험 시 예측 분포로부터 응답 수준의 신뢰도를 도출하는 신뢰도 기반 채점 프레임워크를 제안합니다. 이 신뢰도 지표는 고신뢰도 응답은 자동으로 채점하고 불확실한 경우는 인간 검토로 미루어 선택적인 자동화를 가능하게 합니다. NGSS와 연계된 중학교 평가 항목 6가지에 대한 실험 결과, 제안된 방법은 채점의 신뢰성을 향상시키면서 자동화 범위와 채점 위험 간의 실용적인 균형을 유지하며, 이는 신뢰할 수 있는 교육 평가를 위한 신뢰도 기반 방법의 가치를 강조합니다.

Student-generated drawings are widely used in science education to assess learners' conceptual understanding in modeling-based tasks aligned with the Next Generation Science Standards (NGSS). However, scoring such drawings requires expert human judgment to interpret complex visual representations, making large-scale assessment costly to implement and sustain in classroom settings. In this work, we study automated scoring of student-generated scientific drawings using a vision-based model. We evaluate a Vision Transformer (ViT) with parameter-efficient adaptation and propose a confidence-aware scoring framework that derives response-level confidence from test-time predictive distributions. This confidence signal enables selective automation by scoring high-confidence responses automatically while deferring uncertain cases for human review. Experiments on six NGSS-aligned middle school assessment items show that the proposed approach improves scoring reliability while supporting a practical trade-off between automated coverage and scoring risk, highlighting the value of confidence-aware methods for trustworthy educational assessment.