BEAGLE: 행동 기반 에이전트: 학습자 모델링을 위한 접근 방식

BEAGLE: Behavior-Enforced Agent for Grounded Learner Emulation

개방형 문제 해결 환경에서 학생들의 학습 행동을 시뮬레이션하는 것은 교육 연구에 잠재력을 지니며, 적응형 튜터링 시스템 개발부터 교육적 개입의 효과 검증까지 다양한 분야에 활용될 수 있습니다. 그러나 개인 정보 보호 문제와 장기 연구의 높은 비용으로 인해 실제 데이터를 수집하는 데 어려움이 있습니다. 대규모 언어 모델(LLM)은 학생 시뮬레이션에 유망한 해결책을 제시하지만, LLM은 효율적인 정확성을 최적화하여 초보 학습자의 특징인 불규칙하고 반복적인 학습 과정을 제대로 반영하지 못하는 경향이 있습니다. 본 논문에서는 자기 조절 학습(SRL) 이론을 새로운 아키텍처에 통합하여 이러한 편향을 해결하는 신경-기호 프레임워크인 BEAGLE를 제안합니다. BEAGLE는 다음과 같은 세 가지 주요 기술적 혁신을 통합합니다. (1) 인지적 행동과 메타인지적 행동의 타이밍 및 전환을 제어하는 준-마르코프 모델, (2) 명시적인 오류 주입을 통해 현실적인 지식 격차와 “알 수 없는 미지”를 강제하는 베이지안 지식 추적, (3) 고수준 전략 사용과 코드 생성 액션을 분리하여 모델이 의도적으로 발생시킨 오류를 자동으로 수정하는 것을 방지하는 분리된 에이전트 설계. Python 프로그래밍 작업에 대한 평가에서 BEAGLE는 최첨단 기준 모델보다 실제 학습 경로를 재현하는 데 있어 상당한 성능 향상을 보였습니다. 인간 튜링 테스트에서 사용자는 생성된 데이터와 실제 학생 데이터를 구별할 수 없었으며, 정확도는 무작위 추측과 구별할 수 없는 수준(52.8%)을 달성했습니다.

Simulating student learning behaviors in open-ended problem-solving environments holds potential for education research, from training adaptive tutoring systems to stress-testing pedagogical interventions. However, collecting authentic data is challenging due to privacy concerns and the high cost of longitudinal studies. While Large Language Models (LLMs) offer a promising path to student simulation, they suffer from competency bias, optimizing for efficient correctness rather than the erratic, iterative struggle characteristic of novice learners. We present BEAGLE, a neuro-symbolic framework that addresses this bias by incorporating Self-Regulated Learning (SRL) theory into a novel architecture. BEAGLE integrates three key technical innovations: (1) a semi-Markov model that governs the timing and transitions of cognitive behaviors and metacognitive behaviors; (2) Bayesian Knowledge Tracing with explicit flaw injection to enforce realistic knowledge gaps and "unknown unknowns"; and (3) a decoupled agent design that separates high-level strategy use from code generation actions to prevent the model from silently correcting its own intentional errors. In evaluations on Python programming tasks, BEAGLE significantly outperforms state-of-the-art baselines in reproducing authentic trajectories. In a human Turing test, users were unable to distinguish synthetic traces from real student data, achieving an accuracy indistinguishable from random guessing (52.8%).