REFINE: 실세계 환경에서의 상호작용 피드백 및 학생 행동 연구

REFINE: Real-world Exploration of Interactive Feedback and Student Behaviour

형성 평가 피드백은 효과적인 학습에 매우 중요하지만, 시의적절하고 개별화된 피드백을 대규모로 제공하는 것은 여전히 어려운 과제입니다. 최근 연구에서는 대규모 언어 모델(LLM)을 활용하여 피드백을 자동화하려는 시도가 있었지만, 대부분의 기존 시스템은 피드백을 정적이고 일방적인 결과물로 간주하며, 해석, 명확화 또는 후속 조치를 위한 제한적인 지원만 제공합니다. 본 연구에서는 로컬 환경에 배포 가능한 다중 에이전트 피드백 시스템인 REFINE을 소개합니다. REFINE은 소규모의 오픈 소스 LLM을 기반으로 구축되었으며, 피드백을 상호작용적인 과정으로 간주합니다. REFINE은 교육학적 원칙에 기반한 피드백 생성 에이전트, LLM을 활용한 판단 기반 재생성 루프, 그리고 문맥에 맞는 실행 가능한 답변을 제공하여 학생의 후속 질문을 지원하는 자기 성찰 도구 호출 기능이 있는 상호작용 에이전트를 결합합니다. 우리는 통제된 실험과 실제 학부 컴퓨터 과학 강좌에서의 활용을 통해 REFINE을 평가했습니다. 자동 평가 결과, 판단 기반 재성성 루프가 피드백 품질을 크게 향상시키는 것을 확인했으며, 상호작용 에이전트는 최첨단 폐쇄형 모델과 비교할 수 있는 효율적이고 고품질의 답변을 생성합니다. 실제 학생과의 상호작용 분석 결과, 뚜렷한 참여 패턴이 나타났으며, 시스템이 생성한 피드백이 학생의 후속 질문에 체계적으로 영향을 미치는 것을 확인했습니다. 이러한 결과는 확장 가능하고 상호작용적인 피드백을 위한 다중 에이전트, 도구 기반 시스템의 실현 가능성과 효과성을 입증합니다.

Formative feedback is central to effective learning, yet providing timely, individualised feedback at scale remains a persistent challenge. While recent work has explored the use of large language models (LLMs) to automate feedback, most existing systems still conceptualise feedback as a static, one-way artifact, offering limited support for interpretation, clarification, or follow-up. In this work, we introduce REFINE, a locally deployable, multi-agent feedback system built on small, open-source LLMs that treats feedback as an interactive process. REFINE combines a pedagogically-grounded feedback generation agent with an LLM-as-a-judge-guided regeneration loop using a human-aligned judge, and a self-reflective tool-calling interactive agent that supports student follow-up questions with context-aware, actionable responses. We evaluate REFINE through controlled experiments and an authentic classroom deployment in an undergraduate computer science course. Automatic evaluations show that judge-guided regeneration significantly improves feedback quality, and that the interactive agent produces efficient, high-quality responses comparable to a state-of-the-art closed-source model. Analysis of real student interactions further reveals distinct engagement patterns and indicates that system-generated feedback systematically steers subsequent student inquiry. Our findings demonstrate the feasibility and effectiveness of multi-agent, tool-augmented feedback systems for scalable, interactive feedback.