AI 리터러시 평가 방법: 자기 보고 측정과 객관적 기반 측정 간의 불일치

How to Assess AI Literacy: Misalignment Between Self-Reported and Objective-Based Measures

초등 및 중등 교육에서 인공지능(AI)의 광범위한 도입은 교사의 AI 리터러시 수준을 측정하는 신뢰도 및 타당도를 갖춘 평가 도구의 필요성을 강조합니다. 기존 연구는 주로 자기 보고(SR) 또는 객관적 기반(OB) 평가를 사용했지만, 두 가지 평가 방법을 통합된 틀 안에서 비교하여 인지된 역량과 실제 역량을 비교하거나, 사전 AI 리터러시 경험이 이러한 관계에 미치는 영향을 분석하는 연구는 부족했습니다. 이러한 간극은 학습 분석의 확장성과 학습자 프로필 기반의 교육 설계 개발을 제한합니다. 본 연구에서는 개념, 활용, 평가, 윤리라는 확립된 프레임워크 내에서 교사의 AI 리터러시 수준을 측정하기 위한 SR 및 OB 평가 도구를 개발하고 평가했습니다. 확인적 요인 분석 결과, 구성 타당성이 확보되었으며, 신뢰도는 양호하고 적합도는 허용 가능한 수준이었습니다. 결과는 SR 및 OB 요인 간의 낮은 상관관계를 보여주었습니다. 잠재 프로파일 분석을 통해 과대평가(SR > OB), 과소평가(SR < OB), 일치(SR과 OB가 유사), 그리고 AI 리터러시 경험이 없는 교사들 사이에서 나타나는 독특한 낮은 SR/낮은 OB 프로필 등 6가지 뚜렷한 프로필을 식별했습니다. 이론적으로, 본 연구는 SR 및 OB 측정을 공유된 차원에서 검증함으로써 기존의 AI 리터러시 프레임워크를 확장합니다. 실질적으로, 개발된 도구는 교사 연수 프로그램의 진단 도구로 활용될 수 있으며, AI 기반 의사 결정(예: 성장 모니터링, 요구 사항 분석)을 지원하고, 교사 하위 그룹에 맞는 확장 가능한 학습 분석 개입을 가능하게 합니다.

The widespread adoption of Artificial Intelligence (AI) in K-12 education highlights the need for psychometrically-tested measures of teachers' AI literacy. Existing work has primarily relied on either self-report (SR) or objective-based (OB) assessments, with few studies aligning the two within a shared framework to compare perceived versus demonstrated competencies or examine how prior AI literacy experience shapes this relationship. This gap limits the scalability of learning analytics and the development of learner profile-driven instructional design. In this study, we developed and evaluated SR and OB measures of teacher AI literacy within the established framework of Concept, Use, Evaluate, and Ethics. Confirmatory factor analyses support construct validity with good reliability and acceptable fit. Results reveal a low correlation between SR and OB factors. Latent profile analysis identified six distinct profiles, including overestimation (SR > OB), underestimation (SR < OB), alignment (SR close to OB), and a unique low-SR/low-OB profile among teachers without AI literacy experience. Theoretically, this work extends existing AI literacy frameworks by validating SR and OB measures on shared dimensions. Practically, the instruments function as diagnostic tools for professional development, supporting AI-informed decisions (e.g., growth monitoring, needs profiling) and enabling scalable learning analytics interventions tailored to teacher subgroups.