학생들이 무엇을 묻고, 생성형 AI 조교는 어떻게 답하는가: 학습 분석 피드백에 관한 고등교육 학생들의 대화 탐색

What Students Ask, How a Generative AI Assistant Responds: Exploring Higher Education Students' Dialogues on Learning Analytics Feedback

학습 분석 대시보드(LAD)는 복잡한 데이터를 피드백으로 변환하여 학생들의 학습 조절을 지원하는 것을 목표로 한다. 그러나 학생들, 특히 자기조절학습(SRL) 역량이 부족한 학생들은 종종 분석 피드백을 활용하고 해석하는 데 어려움을 겪는다. 대화형 생성형 인공지능(GenAI) 조교는 실시간 개인화 대화 기반 지원을 통해 이 과정을 스캐폴딩할 잠재력을 보여주었다. 이러한 잠재력을 바탕으로, 본 연구는 10주 학기 동안 LAD에 통합된 GenAI 조교와 학생 간의 실제 대화를 탐색했다. 분석은 서로 다른 SRL 수준을 가진 학생들이 던진 질문, 조교 답변의 적절성 및 품질, 그리고 학생들이 학습 과정에서 조교의 역할을 어떻게 인식하는지에 초점을 맞추었다. 연구 결과 뚜렷한 질문 패턴이 확인되었다. SRL 수준이 낮은 학생들은 명확한 설명과 재확인을 구한 반면, SRL 수준이 높은 학생들은 기술적 측면을 문의하고 개인화된 전략을 요청했다. 조교는 명확하고 신뢰할 수 있는 설명을 제공했으나, 개인화, 감정적 질문 처리, 맞춤형 응답을 위한 다중 데이터 포인트 통합에는 한계를 보였다. 이러한 결과는 GenAI 개입이 특히 SRL 수준이 낮은 학생들에게 유용할 수 있음을 시사하며, 피드백 참여를 지원하고 SRL 수준이 높은 동료와의 격차를 좁히는 스캐폴딩을 제공한다는 점을 확장한다. 동시에 학생들의 성찰은 미래 시스템에서 신뢰, 향상된 적응성, 맥락 인식 및 기술적 정교화가 중요함을 강조했다.

Learning analytics dashboards (LADs) aim to support students' regulation of learning by translating complex data into feedback. Yet students, especially those with lower self-regulated learning (SRL) competence, often struggle to engage with and interpret analytics feedback. Conversational generative artificial intelligence (GenAI) assistants have shown potential to scaffold this process through real-time, personalised, dialogue-based support. Further advancing this potential, we explored authentic dialogues between students and GenAI assistant integrated into LAD during a 10-week semester. The analysis focused on questions students with different SRL levels posed, the relevance and quality of the assistant's answers, and how students perceived the assistant's role in their learning. Findings revealed distinct query patterns. While low SRL students sought clarification and reassurance, high SRL students queried technical aspects and requested personalised strategies. The assistant provided clear and reliable explanations but limited in personalisation, handling emotionally charged queries, and integrating multiple data points for tailored responses. Findings further extend that GenAI interventions can be especially valuable for low SRL students, offering scaffolding that supports engagement with feedback and narrows gaps with their higher SRL peers. At the same time, students' reflections underscored the importance of trust, need for greater adaptivity, context-awareness, and technical refinement in future systems.