SQL 오류에서 개념 격차까지: 개인 맞춤형 피드백을 위한 AI 기반 지식 그래프 분석 플랫폼

From SQL Errors to Concept Gaps: An AI-Powered Knowledge Graph Analytics Platform for Personalized Feedback

본 논문은 AI 기반 지식 그래프 플랫폼에 대한 연구로, 이 플랫폼은 SQL 오류를 학부 및 대학원 데이터베이스 시스템 강좌의 개념적 격차와 연결합니다. 학생들은 구조화된 쿼리 언어(SQL)를 학습하면서 문법 오류가 아닌 의미론적 오류로 인해 어려움을 겪는 경우가 많습니다. 쿼리가 실행되더라도 관련 개념 간의 격차로 인해 잘못된 결과가 반환될 수 있습니다. 예를 들어, 명시적인 서브쿼리 대신 NATURAL JOIN을 잘못 사용하는 것은 JOIN, GROUP BY 및 HAVING에 대한 복합적인 이해 부족을 반영합니다. 자동 채점 시스템은 정확성을 감지하지만, 오류를 강좌의 개념 구조와 연결하지 않은 피상적인 수준의 피드백만 제공합니다. 교육 지식 그래프 연구는 교과 과정 분석 및 적응형 학습을 위한 구조화된 개념 표현의 가치를 보여주었지만, 이러한 접근 방식은 학생 제출물에서 SQL 오해를 진단하는 데 적용되지 않았습니다. 본 논문에서는 강의 자료에서 강좌 개념과 관계를 자동으로 추출하고, 그래프 데이터베이스를 통해 이를 학생 제출 기록과 연결하며, 오류를 개념 수준으로 분류하는 플랫폼을 제시합니다. 저희는 두 개의 대학의 두 가지 데이터베이스 시스템 강좌에서 이 플랫폼을 평가했습니다. 한 강좌는 실제 학생 제출물을 사용했고, 다른 강좌는 시뮬레이션된 제출물을 사용했습니다. 평가는 다섯 명의 전문가가 참여한 연구와 LLM을 판정자로 활용한 자동 평가를 통해 이루어졌습니다. 결과에 따르면 추출된 노드의 95.7%가 어느 정도 유효하다고 평가되었고, 트리플렛의 63.8%가 완전히 정확하다고 평가되었습니다. 전문가 피드백은 생성된 그래프가 강사의 인지 모델과 일치하며, 오류를 강좌 개념에 매핑하면 실행 가능한 진단 정보를 제공한다는 점을 확인했습니다. 학생 학습에 미치는 영향 평가는 향후 연구 과제입니다.

This innovative practice full paper describes an AI-powered knowledge graph platform that connects SQL errors to conceptual gaps in undergraduate and graduate database systems courses. Students learning Structured Query Language (SQL) frequently struggle with semantic errors that reflect conceptual misunderstandings rather than syntax mistakes. A query may execute yet return incorrect results due to gaps spanning related concepts; misusing NATURAL JOIN in place of an explicit subquery reflects intertwined misunderstandings of JOIN, GROUP BY, and HAVING. Autograding systems detect correctness but provide surface-level feedback without connecting errors to the conceptual structure of the course. Educational knowledge graph research has shown the value of structured concept representations for curriculum analysis and adaptive learning, but these approaches have not been applied to diagnosing SQL misconceptions from student submissions. We present a platform that automatically extracts course concepts and relations from instructional materials, links them to student submission traces through a graph database, and classifies errors at the concept level. We evaluate the platform across two database systems courses at two universities, one using real student submissions and one using simulated submissions, through an expert study with five participants and an automated evaluation using an LLM as a judge. Results show that 95.7% of extracted nodes were rated as at least somewhat valid and 63.8% of triplets were rated fully correct. Expert feedback confirmed that the generated graphs align with instructor mental models and that mapping errors to course concepts provides actionable diagnostic insight; evaluating impact on student learning remains future work.