EduZone: 초중고 학생 및 교사를 위한 LLM 안전성 평가 프레임워크

EduZone: A Framework for Evaluating LLM Safety for K-12 Students and Teachers

대규모 언어 모델(LLM)은 다양한 초중등 교육 분야에서 점점 더 많이 사용되고 있지만, 기존의 안전성 평가는 LLM과 학생 또는 교사 간 상호 작용에서 유해하거나 부적절한 콘텐츠가 어떻게 나타나는지에 대한 검토가 부족합니다. 이를 해결하기 위해, 우리는 다양한 교육 시나리오에서의 LLM 안전성을 평가하는 프레임워크인 EduZone을 제시합니다. 우리 프레임워크는 (1) 학생 및 교사 대상 LLM 사용 맥락, (2) 세분화된 교육 과정 개념, 그리고 (3) 기존의 위험과 교육 분야에 특화된 위험을 포괄하는 6가지 주요 범주와 28개의 하위 범주를 체계적으로 결합하여 상황에 맞는 적대적인 상호 작용을 생성합니다. 이러한 상호 작용은 단일 요청, 정적 다중 회전 대화, 그리고 동적 다중 회전 대화의 세 가지 환경에서 구성됩니다. 이러한 상호 작용을 사용하여 10개의 LLM을 평가하고, 거부, 안전한 지원, 안전 지침이 포함된 위험 지원, 그리고 완전한 위험 지원이라는 네 가지 수준으로 안전성을 측정했습니다. 우리의 결과는 교육 분야에 특화된 위험과 동적 다중 회전 대화에서 더 큰 취약성이 있음을 보여주며, 기존의 안전 장치가 이러한 위험을 충분히 해결하지 못한다는 것을 나타냅니다. EduZone은 자동화되고 확장 가능한 평가 프레임워크를 제공함으로써 초중등 교육 분야에서 LLM 안전성을 향상시키고, 더욱 안전한 LLM의 개발 및 배포를 지원합니다.

Large language models (LLMs) are increasingly used across diverse tasks in K-12 education, yet existing safety evaluations rarely examine how harmful or inappropriate content appears in interactions between LLMs and students or teachers. To address this, we present EduZone, an evaluation framework for LLM safety across diverse educational scenarios. Our framework systematically combines (1) student- and teacher-facing LLM usage contexts, (2) fine-grained curriculum concepts, and (3) 6 risk categories and 28 subcategories spanning both conventional and education-specific harms to generate contextually grounded adversarial interactions. We construct these interactions in three settings: single-turn requests, static multi-turn conversations, and dynamic multi-turn conversations. Using these interactions, we evaluate ten LLMs using four safety levels: refusal, safe assistance, risky assistance with safety guidance, and fully risky assistance. Our results reveal greater vulnerability to education-specific risks and dynamic multi-turn interactions, while existing safety guardrails fail to adequately address these risks. EduZone advances LLM safety in education by providing an automated, scalable evaluation framework that supports the development and deployment of safer LLMs in K-12 education.