언어 학습 학생 관점에서 LLM이 생성한 학습 자료 평가: 듀오링고에 대한 단기 사례 연구

Evaluating LLM-Generated Lessons from the Language Learning Students' Perspective: A Short Case Study on Duolingo

듀오링고와 같은 인기 있는 언어 학습 애플리케이션은 사용자를 위한 학습 자료를 생성하는 데 대규모 언어 모델(LLM)을 사용합니다. 대부분의 학습 자료는 인사, 음식 주문, 길 안내와 같은 일반적인 실생활 시나리오에 초점을 맞추고 있으며, 직업 관련 맥락에 대한 지원은 제한적입니다. 이러한 간극은 학습자가 직업 수준의 유창성을 달성하는 데 어려움을 겪게 할 수 있으며, 우리는 이를 대상 언어로 다양한 업무 관련 및 특정 분야의 정보를 편안하게 전달하는 능력으로 정의합니다. 필리핀의 다국적 기업에 근무하는 5명의 직원을 대상으로 듀오링고 사용 경험에 대한 설문 조사를 실시했습니다. 결과에 따르면 응답자는 업무 관련 시나리오보다 일반적인 시나리오를 더 자주 접했으며, 일반적인 시나리오가 기초 문법, 어휘 및 문화 지식 습득에 유용하다는 것을 알 수 있었습니다. 반면, 업무 관련 시나리오는 전문적인 유창성을 향상시키는 데 도움이 되며, 특정 분야의 어휘를 포함하고 있습니다. 각 참가자는 다양한 맥락의 학습 시나리오를 제안했으며, 이를 종합적으로 분석한 결과, 이러한 제안들이 상이함을 확인할 수 있었습니다. 이러한 이해를 바탕으로, 언어 학습 애플리케이션은 개인의 요구사항에 맞춰 개인화된, 특정 분야의 학습 시나리오를 제공하는 동시에, 일반적인, 공감할 수 있는 학습 시나리오를 통해 기초적인 지원을 유지해야 한다고 제안합니다.

Popular language learning applications such as Duolingo use large language models (LLMs) to generate lessons for its users. Most lessons focus on general real-world scenarios such as greetings, ordering food, or asking directions, with limited support for profession-specific contexts. This gap can hinder learners from achieving professional-level fluency, which we define as the ability to communicate comfortably various work-related and domain-specific information in the target language. We surveyed five employees from a multinational company in the Philippines on their experiences with Duolingo. Results show that respondents encountered general scenarios more frequently than work-related ones, and that the former are relatable and effective in building foundational grammar, vocabulary, and cultural knowledge. The latter helps bridge the gap toward professional fluency as it contains domain-specific vocabulary. Each participant suggested lesson scenarios that diverge in contexts hen analyzed in aggregate. With this understanding, we propose that language learning applications should generate lessons that adapt to an individual's needs through personalized, domain specific lesson scenarios while maintaining foundational support through general, relatable lesson scenarios.