The Pile: 언어 모델링을 위한 800GB 규모의 다양한 텍스트 데이터셋

The Pile: An 800GB Dataset of Diverse Text for Language Modeling

최근 연구들은 훈련 데이터셋의 다양성을 높이는 것이 대규모 언어 모델의 일반적인 교차 도메인 지식과 다운스트림 일반화 능력을 향상시킨다는 것을 보여주었습니다. 이를 염두에 두고, 우리는 대규모 언어 모델 훈련을 목표로 하는 825 GiB 규모의 영어 텍스트 말뭉치인 'The Pile'을 제시합니다. The Pile은 22개의 다양하고 품질 높은 서브셋(기존 자료와 새롭게 구축된 자료 포함)으로 구성되어 있으며, 그 중 다수는 학술적 또는 전문적 출처에서 유래했습니다. The Pile에 대해 별도의 튜닝을 거치지 않은 GPT-2와 GPT-3의 성능을 평가한 결과, 이 모델들이 학술적 작문과 같은 데이터셋의 여러 구성 요소에서 어려움을 겪는 것으로 나타났습니다. 반대로, The Pile로 훈련한 모델들은 The Pile의 모든 구성 요소에서 Raw CC 및 CC-100에 비해 성능이 크게 향상되었으며, 다운스트림 평가에서도 성능 개선을 보였습니다. 또한 심층적인 탐색적 분석을 통해 잠재적 사용자들이 유의해야 할 데이터의 우려스러운 측면들을 문서화했습니다. 우리는 이 데이터셋 구축에 사용된 코드를 공개합니다.

Recent work has demonstrated that increased training dataset diversity improves general cross-domain knowledge and downstream generalization capability for large-scale language models. With this in mind, we present \textit{the Pile}: an 825 GiB English text corpus targeted at training large-scale language models. The Pile is constructed from 22 diverse high-quality subsets -- both existing and newly constructed -- many of which derive from academic or professional sources. Our evaluation of the untuned performance of GPT-2 and GPT-3 on the Pile shows that these models struggle on many of its components, such as academic writing. Conversely, models trained on the Pile improve significantly over both Raw CC and CC-100 on all components of the Pile, while improving performance on downstream evaluations. Through an in-depth exploratory analysis, we document potentially concerning aspects of the data for prospective users. We make publicly available the code used in its construction.