LLM 기반의 다중 모드 피드백은 교육자 피드백과 동등한 학습 효과를 제공하며, 학생들의 인식 개선에 더 효과적이다.

LLM-based Multimodal Feedback Produces Equivalent Learning and Better Student Perceptions than Educator Feedback

시의적절하고, 맞춤화된, 그리고 다중 모드 피드백은 학생들이 오류를 빠르게 수정하고, 깊이 있는 이해를 구축하며, 동기를 유지하는 데 도움이 되지만, 대규모로 제공하는 것은 여전히 어려운 과제입니다. 본 연구에서는 구조화된 텍스트 설명과 동적 멀티미디어 리소스(예: 관련 슬라이드 페이지 참조, 실시간 AI 오디오 내레이션)를 통합하는 실시간 AI 기반 다중 모드 피드백 시스템을 소개합니다. 온라인 크라우드소싱 실험을 통해 이 시스템을 교육자의 기존 피드백과 비교하여 다음 세 가지 측면에서 분석했습니다. (1) 학습 효과, (2) 학습자 참여, (3) 인식된 피드백의 품질 및 가치. 결과는 AI 다중 모드 피드백이 원래 교육자 피드백과 동등한 학습 효과를 달성했으며, 명확성, 구체성, 간결성, 동기 부여, 만족도 측면에서 유의미하게 우수하고, 인지적 부담을 줄이는 효과가 있었습니다. 또한 정확성, 신뢰성, 수용성은 비슷했습니다. 프로세스 로그 분석 결과, 객관식 질문에 대한 교육자 피드백은 더 많은 제출을 유도하는 반면, 주관식 질문에 대한 AI 기반의 맞춤형 제안은 수정의 장벽을 낮추고 반복적인 개선을 촉진하는 것으로 나타났습니다. 이러한 결과는 AI 다중 모드 피드백이 확장 가능하고, 실시간이며, 상황에 맞는 지원을 제공하여 교육자의 업무 부담을 줄이고 학생 경험을 향상시키는 잠재력을 가지고 있음을 보여줍니다.

Providing timely, targeted, and multimodal feedback helps students quickly correct errors, build deep understanding and stay motivated, yet making it at scale remains a challenge. This study introduces a real-time AI-facilitated multimodal feedback system that integrates structured textual explanations with dynamic multimedia resources, including the retrieved most relevant slide page references and streaming AI audio narration. In an online crowdsourcing experiment, we compared this system against fixed business-as-usual feedback by educators across three dimensions: (1) learning effectiveness, (2) learner engagement, (3) perceived feedback quality and value. Results showed that AI multimodal feedback achieved learning gains equivalent to original educator feedback while significantly outperforming it on perceived clarity, specificity, conciseness, motivation, satisfaction, and reducing cognitive load, with comparable correctness, trust, and acceptance. Process logs revealed distinct engagement patterns: for multiple-choice questions, educator feedback encouraged more submissions; for open-ended questions, AI-facilitated targeted suggestions lowered revision barriers and promoted iterative improvement. These findings highlight the potential of AI multimodal feedback to provide scalable, real-time, and context-aware support that both reduces instructor workload and enhances student experience.