리뷰를 넘어: 언어 모델을 활용한 성찰적 글쓰기에서의 계획 및 번역

Moving Beyond Review: Applying Language Models to Planning and Translation in Reflection

성찰적 글쓰기는 학생들의 메타인지 능력 발달을 지원하는 것으로 알려져 있지만, 학습자들은 종종 심층적인 성찰에 어려움을 겪으며, 이는 학습 효과를 제한할 수 있습니다. 대규모 언어 모델(LLM)이 글쓰기 능력을 향상시키는 것으로 나타났지만, 성찰적 글쓰기를 위한 대화형 에이전트로 사용했을 때 효과는 엇갈렸으며, 주로 성찰적 텍스트에 대한 피드백을 제공하는 데 초점을 맞추고 있습니다. 본 논문에서는 글쓰기의 인지 과정 이론(CPT)에 영감을 받아, LLM을 성찰적 글쓰기의 계획 및 번역 단계에 적용하는 첫 번째 사례를 제시합니다. 우리는 Pensée라는 도구를 소개합니다. 이 도구는 대화형 에이전트를 사용하여 구조화된 성찰 계획을 지원하고, 핵심 개념을 자동으로 추출하여 번역을 지원함으로써, 이러한 단계에서 명시적인 AI 지원의 효과를 탐구합니다. 우리는 통제된 실험(N=93)을 통해 AI 지원 수준을 글쓰기 단계별로 조작하여 Pensée를 평가했습니다. 결과는 학습자들이 CPT 단계의 계획 및 번역 단계에서 지원을 받을 때 성찰의 깊이와 구조적 품질이 현저하게 향상되는 것을 보여주었지만, 이러한 효과는 시간 경과 후에는 감소하는 경향을 보였습니다. 학습자의 행동 및 인식에 대한 분석은 CPT와 일치하는 대화형 지원이 성찰 과정과 학습자의 경험을 어떻게 형성하는지 보여주며, AI 지원 성찰적 글쓰기에서 이론 기반의 LLM 활용에 대한 경험적 증거를 제공합니다.

Reflective writing is known to support the development of students' metacognitive skills, yet learners often struggle to engage in deep reflection, limiting learning gains. Although large language models (LLMs) have been shown to improve writing skills, their use as conversational agents for reflective writing has produced mixed results and has largely focused on providing feedback on reflective texts, rather than support during planning and organizing. In this paper, inspired by the Cognitive Process Theory of writing (CPT), we propose the first application of LLMs to the planning and translation steps of reflective writing. We introduce Pensée, a tool to explore the effects of explicit AI support during these stages by scaffolding structured reflection planning using a conversational agent, and supporting translation by automatically extracting key concepts. We evaluate Pensée in a controlled between-subjects experiment (N=93), manipulating AI support across writing phases. Results show significantly greater reflection depth and structural quality when learners receive support during planning and translation stages of CPT, though these effects reduce in a delayed post-test. Analyses of learner behavior and perceptions further illustrate how CPT-aligned conversational support shapes reflection processes and learner experience, contributing empirical evidence for theory-driven uses of LLMs in AI-supported reflective writing.