학습자-문제 인지 모델링을 위한 미세 조정된 언어 모델을 활용한 임베딩 향상

Embedding Enhancement via Fine-Tuned Language Models for Learner-Item Cognitive Modeling

학습자-문제 인지 모델링은 다양한 온라인 교육 환경에서 인지 진단(CD)을 가능하게 하여 웹 기반 온라인 지능형 교육 시스템의 핵심적인 역할을 수행합니다. ID 임베딩은 효율성과 유연성으로 인해 인지 모델링의 주류 방식으로 남아 있지만, 최근 언어 모델(LM)의 발전은 풍부한 의미 표현을 통합하여 CD 성능을 향상시키는 새로운 가능성을 제시했습니다. 이는 LM이 주류 CD 작업 전반에 걸쳐 의미 통합을 통해 임베딩을 어떻게 향상시키는지에 대한 종합적인 분석이 필요하다는 것을 시사합니다. 본 논문에서는 기존 연구에서 LM을 최대한 활용하는 데 있어 두 가지 주요 과제를 제시합니다. 첫째, LM과 CD 모델의 학습 목표 간의 불일치는 특징 공간에서 분포 격차를 만듭니다. 둘째, 텍스트 임베딩을 다양한 CD 작업에 통합하면서 기존의 인지 모델링 패러다임의 장점을 유지하여 임베딩 향상의 견고성을 보장하려면 통합된 프레임워크가 필수적입니다. 이러한 과제에 대응하기 위해, 본 논문에서는 EduEmbed라는 통합 임베딩 향상 프레임워크를 제안합니다. EduEmbed는 다양한 CD 작업에서 학습자-문제 인지 모델링을 풍부하게 하기 위해 미세 조정된 LM을 활용합니다. EduEmbed는 두 단계로 작동합니다. 첫 번째 단계에서는 역할별 표현과 상호 작용 진단기를 기반으로 LM을 미세 조정하여 CD 모델의 의미 격차를 해소합니다. 두 번째 단계에서는 텍스트 어댑터를 사용하여 작업 관련 의미를 추출하고 기존 모델링 패러다임과 통합하여 일반화 성능을 향상시킵니다. 제안된 프레임워크는 네 가지 CD 작업 및 컴퓨터 기반 적응형 시험(CAT) 작업에 대해 평가되었으며, 견고한 성능을 달성했습니다. 추가 분석을 통해 다양한 작업에서의 의미 정보의 영향을 밝히고, 온라인 지능형 교육 시스템에서 CD에 LM을 적용하는 미래 연구에 대한 중요한 통찰력을 제공합니다.

Learner-item cognitive modeling plays a central role in the web-based online intelligent education system by enabling cognitive diagnosis (CD) across diverse online educational scenarios. Although ID embedding remains the mainstream approach in cognitive modeling due to its effectiveness and flexibility, recent advances in language models (LMs) have introduced new possibilities for incorporating rich semantic representations to enhance CD performance. This highlights the need for a comprehensive analysis of how LMs enhance embeddings through semantic integration across mainstream CD tasks. This paper identifies two key challenges in fully leveraging LMs in existing work: Misalignment between the training objectives of LMs and CD models creates a distribution gap in feature spaces; A unified framework is essential for integrating textual embeddings across varied CD tasks while preserving the strengths of existing cognitive modeling paradigms to ensure the robustness of embedding enhancement. To address these challenges, this paper introduces EduEmbed, a unified embedding enhancement framework that leverages fine-tuned LMs to enrich learner-item cognitive modeling across diverse CD tasks. EduEmbed operates in two stages. In the first stage, we fine-tune LMs based on role-specific representations and an interaction diagnoser to bridge the semantic gap of CD models. In the second stage, we employ a textual adapter to extract task-relevant semantics and integrate them with existing modeling paradigms to improve generalization. We evaluate the proposed framework on four CD tasks and computerized adaptive testing (CAT) task, achieving robust performance. Further analysis reveals the impact of semantic information across diverse tasks, offering key insights for future research on the application of LMs in CD for online intelligent education systems.