지능형 튜터링 시스템의 데이터 기반 재설계 프로세스 평가

Evaluating a Data-Driven Redesign Process for Intelligent Tutoring Systems

이전 연구에서는 교육 기술의 데이터 기반 재설계에 대한 일반적인 프로세스를 정의했으며, 신중하게 선택된 경우 이 프로세스가 시스템의 효과성을 향상시키는 데 도움이 될 수 있음을 보여주었습니다. 본 연구에서는 이 접근 방식의 일반성을 테스트하기 위해, 이전 연구에서 재설계 적합성을 기준으로 선택한 것이 아니라 주제를 기준으로 선택된 중학교 수학 지능형 튜터링 시스템의 네 가지 단위에 이 프로세스를 적용했습니다. 123명의 학생을 대상으로 한 교실 연구를 통해 재설계된 시스템이 원본 시스템보다 효과적인지 테스트했습니다. 학습 성취도는 두 조건 간에 차이가 없었지만, 재설계된 튜터를 사용한 학생들은 더 많은 시간을 생산적인 활동에 할애하고, 더 많은 기술을 연습했으며, 총 지식 습득 수준이 더 높았습니다. 이러한 결과는 데이터 기반 재설계가 개선 효과를 기대하기 어려운 교육 단위에도 적용될 수 있음을 보여주며, 이 방법의 일반성과 광범위한 적용 가능성을 입증합니다.

Past research has defined a general process for the data-driven redesign of educational technologies and has shown that in carefully-selected instances, this process can help make systems more effective. In the current work, we test the generality of the approach by applying it to four units of a middle-school mathematics intelligent tutoring system that were selected not based on suitability for redesign, as in previous work, but on topic. We tested whether the redesigned system was more effective than the original in a classroom study with 123 students. Although the learning gains did not differ between the conditions, students who used the Redesigned Tutor had more productive time-on-task, a larger number of skills practiced, and greater total knowledge mastery. The findings highlight the promise of data-driven redesign even when applied to instructional units *not* selected as likely to yield improvement, as evidence of the generality and wide applicability of the method.