LittleLearner: 교육적으로 통제된 지식 노출 환경에서의 언어 모델

LittleLearner: Language Models Under Pedagogically Controlled Knowledge Exposure

최신 언어 모델은 다양한 웹 기반 텍스트 데이터로 학습됩니다. 따라서, 지식 및 기술 습득을 연구하기 어렵습니다. 왜냐하면 관련 콘텐츠에 대한 사전 노출 정도를 파악하기 어렵기 때문입니다. 이러한 문제를 해결하기 위해, 우리는 LITTLECURRICULUM이라는 미국 초등학교 교육 과정을 기반으로 구축된 880억 토큰 규모의 사전 학습 데이터셋을 제안합니다. 이 데이터셋은 5학년 이상의 내용에 해당하는 개념, 사실 및 어휘를 명시적으로 제외했습니다. LITTLECURRICULUM을 사용하여 50억 파라미터 크기의 LLM을 처음부터 학습시킨 결과, LITTLELEARNER라는 모델이 탄생했습니다. LITTLELEARNER는 광범위한 평가를 수행할 수 있는 충분한 언어 능력을 갖추고 있지만, 명확하게 정의된 지식과 능력의 경계를 가지고 있으며, 이는 해석 가능한 교육 과정 지침에 매핑됩니다. 우리는 LITTLECURRICULUM 및 LITTLELEARNER를 개발적으로 제한된 환경(sandbox)으로 공개하여 모델이 잘 정의된 학습 범위 내에서 데이터를 어떻게 습득하고, 표현하며, 사용하는지 연구할 수 있도록 합니다. 우리는 이 sandbox의 유용성을 보여주는 초기 실험을 통해, 사후 훈련 및 문맥 학습을 통해 새로운 지식을 주입하는 방법을 제시합니다. 이러한 방법은 LITTLELEARNER가 기존 지식을 더 잘 활용하도록 하지만, 범위를 벗어난 능력을 향상시키지는 않습니다. 우리의 연구 결과는 향후 연구를 위한 통제된 환경의 가치를 강조합니다.

Modern language models are trained on heterogeneous web-scale text corpora. Consequently, studying knowledge and skill acquisition is difficult, as prior exposure to related content is hard to characterize. To address this challenge, we introduce LITTLECURRICULUM, a curated 88B-token pretraining corpus tailored to U.S. elementary school material, explicitly excluding concepts, facts, and vocabulary taught above Grade 5. Training a 5B-parameter LLM from scratch on LITTLECURRICULUM yields LITTLELEARNER, a model with sufficient language competence for open-ended evaluation, yet with clear knowledge and capability boundaries mapped to interpretable curriculum guidelines. We release LITTLECURRICULUM and LITTLELEARNER as a developmentally restricted sandbox to study how models acquire, represent, and use data under a well-defined training scope. We illustrate the sandbox's utility in a first suite of experiments on injecting new knowledge through post-training and in-context learning. These methods let LITTLELEARNER better utilize existing knowledge, but do not raise out-of-scope capabilities. Our findings underscore the value of this controlled environment for future investigations.