구조화와 문제 제시: LLM 기반 에이전트가 진단 추론 학습을 어떻게 지원하는가

Structuring versus Problematizing: How LLM-based Agents Scaffold Learning in Diagnostic Reasoning

학생들이 진단 추론 능력을 개발하도록 돕는 것은 교육 분야의 중요한 과제입니다. 초보 학습자는 종종 성급한 판단 및 휴리스틱에 대한 과도한 의존과 같은 인지적 편향에 직면하며, 진단 전략을 새로운 사례에 적용하는 데 어려움을 겪습니다. 학습 분석(LA) 및 대규모 언어 모델(LLM)을 활용한 시나리오 기반 학습(SBL)은 실제 사례 경험과 맞춤형 지원을 결합하여 유망한 접근 방식을 제공합니다. 그러나 다양한 지원 방식이 추론 과정을 어떻게 형성하는지는 아직 충분히 연구되지 않았습니다. 본 연구에서는 제약 기술자 교육을 위한 SBL 환경인 PharmaSim Switch를 소개하며, LA 및 LLM 기반의 약사 에이전트가 두 가지 이론 기반의 지원 방식인 '구조화'와 '문제 제시'를 통해 교육적인 대화를 제공하고, 학생의 학습 경로를 지원합니다. 63명의 직업 교육 학생을 대상으로 두 가지 지원 조건 중 하나 하에 학습 시나리오, 유사 이전(near-transfer) 시나리오, 그리고 이질 이전(far-transfer) 시나리오를 수행하는 실험을 진행했습니다. 결과는 두 가지 지원 방식 모두 진단 전략 사용을 지원하는 데 효과적임을 나타냅니다. 성과 결과는 주로 시나리오의 복잡성에 의해 영향을 받았으며, 학생의 사전 지식이나 사용된 지원 방식의 영향을 덜 받았습니다. 구조화 방식은 더 정확한 적극적 및 상호 작용적 참여와 관련이 있었던 반면, 문제 제시는 더 건설적인 참여를 유도했습니다. 이러한 결과는 LA 및 LLM 기반 시스템을 설계할 때 다양한 지원 방식을 결합하여 진단 추론 능력을 효과적으로 함양하는 데 중요한 가치를 제공합니다.

Supporting students in developing diagnostic reasoning is a key challenge across educational domains. Novices often face cognitive biases such as premature closure and over-reliance on heuristics, and they struggle to transfer diagnostic strategies to new cases. Scenario-based learning (SBL) enhanced by Learning Analytics (LA) and large language models (LLM) offers a promising approach by combining realistic case experiences with personalized scaffolding. Yet, how different scaffolding approaches shape reasoning processes remains insufficiently explored. This study introduces PharmaSim Switch, an SBL environment for pharmacy technician training, extended with an LA- and LLM-powered pharmacist agent that implements pedagogical conversations rooted in two theory-driven scaffolding approaches: \emph{structuring} and \emph{problematizing}, as well as a student learning trajectory. In a between-groups experiment, 63 vocational students completed a learning scenario, a near-transfer scenario, and a far-transfer scenario under one of the two scaffolding conditions. Results indicate that both scaffolding approaches were effective in supporting the use of diagnostic strategies. Performance outcomes were primarily influenced by scenario complexity rather than students' prior knowledge or the scaffolding approach used. The structuring approach was associated with more accurate Active and Interactive participation, whereas problematizing elicited more Constructive engagement. These findings underscore the value of combining scaffolding approaches when designing LA- and LLM-based systems to effectively foster diagnostic reasoning.