생성형 AI 정책을 프롬프트 지침으로 전환: CS1 강좌에서 확장 가능한 프롬프트 개입에 대한 무작위 통제 시험(RCT)

Transforming GenAI Policy to Prompting Instruction: An RCT of Scalable Prompting Interventions in a CS1 Course

생성형 AI의 보편적인 도입에도 불구하고, 학생들은 과제 수행과 실제 학습을 구별하지 못하며, 학습을 위해 AI를 활용하는 기술이 부족하여, 비판적인 AI 사용 없이 AI를 사용할 경우 시험 성적이 저하되는 경향이 있습니다. 그러나 AI를 단순히 문제 해결 도구가 아닌 튜터로 활용하도록 교육하는 개입 방안이 무작위 통제 시험(RCT)을 통해 대규모로 검증된 사례는 아직 많지 않습니다. 이러한 격차를 해소하기 위해, 본 연구에서는 4가지 ICAP 프레임워크 기반의 교육 조건을 설정하고, 참여도 강도에 차이를 두어 반 학기 동안 RCT(N=979)를 실시했으며, 사전 시험, 즉시 및 지연 후 시험, 설문 조사를 진행했습니다. 혼합 방법 분석 결과는 다음과 같습니다. (1) 모든 조건에서 프롬프트 기술이 유의미하게 향상되었으며, 조건 1부터 조건 4로 진행될수록 향상 정도가 점진적으로 증가하여, ICAP의 인지적 참여 계층 구조를 검증했습니다. (2) 사전 시험 점수가 유사한 학생들의 경우, 즉시 후 시험에서의 학습 향상 정도가 최종 시험 점수에 더 큰 영향을 미치지만, 집단 간 직접적인 차이는 나타나지 않았습니다. (3) 본 연구의 개입 방안은 다양한 교육 환경, 자원 및 학습자를 위한 적합하고 확장 가능한 솔루션입니다. 종합적으로, 본 연구는 다음과 같은 실증적 및 이론적 기여를 합니다. (1) 이론적으로, 본 연구는 인지적 참여가 프롬프트 활용 능력 학습에 미치는 영향을 조사한 최초의 대규모 RCT 중 하나이며, 학습 지향적인 프롬프트 기술과 전반적인 학업 성취도 간의 관계를 명확히 합니다. (2) 실증적으로, 본 연구는 생성형 AI 시대에 학습을 증진시키기 위한 확장 가능하고 실용적인 프롬프트 활용 능력 교육 지침을 제공하여, 생성형 AI 교실 정책을 효과적으로 전환하는 데 기여합니다.

Despite universal GenAI adoption, students cannot distinguish task performance from actual learning and lack skills to leverage AI for learning, leading to worse exam performance when AI use remains unreflective. Yet few interventions teaching students to prompt AI as a tutor rather than solution provider have been validated at scale through randomized controlled trials (RCTs). To bridge this gap, we conducted a semester-long RCT (N=979) with four ICAP framework-based instructional conditions varying in engagement intensity with a pre-test, immediate and delayed post-test and surveys. Mixed methods analysis results showed: (1) All conditions significantly improved prompting skills, with gains increasing progressively from Condition 1 to Condition 4, validating ICAP's cognitive engagement hierarchy; (2) for students with similar pre-test scores, higher learning gain in immediate post-test predict higher final exam score, though no direct between-group differences emerged; (3) Our interventions are suitable and scalable solutions for diverse educational contexts, resources and learners. Together, this study makes empirical and theoretical contributions: (1) theoretically, we provided one of the first large-scale RCTs examining how cognitive engagement shapes learning in prompting literacy and clarifying the relationship between learning-oriented prompting skills and broader academic performance; (2) empirically, we offered timely design guidance for transforming GenAI classroom policies into scalable, actionable prompting literacy instruction to advance learning in the era of Generative AI.