Skywork: 더 개방적인 이중 언어 기반 모델

Skywork: A More Open Bilingual Foundation Model

본 기술 보고서에서는 영어와 중국어 텍스트에서 추출한 3조 2천억 개 이상의 토큰으로 구성된 말뭉치로 학습된 대형 언어 모델(LLM) 제품군인 Skywork-13B를 소개합니다. 이 이중 언어 기반 모델은 현재까지 공개된 동급 크기의 LLM 중 가장 방대하게 학습되고 가장 개방적으로 공개된 모델입니다. 우리는 분할된 말뭉치를 사용하여 각각 범용 학습과 도메인 특화 강화 학습을 목표로 하는 2단계 학습 방법론을 도입했습니다. 우리 모델은 주요 벤치마크에서 뛰어난 성능을 보일 뿐만 아니라, 다양한 도메인의 중국어 언어 모델링에서 최고 수준(state-of-the-art)의 성능을 달성함을 보여줍니다. 또한, 새로운 데이터 유출 탐지 방법을 제안하여, 테스트 데이터 오염이 LLM 커뮤니티에서 추가적인 조사가 필요한 시급한 문제임을 입증합니다. 향후 연구를 촉진하기 위해 Skywork-13B와 함께 학습 과정의 중간 단계에서 획득한 체크포인트들을 공개합니다. 아울러 현재까지 공개된 고품질 중국어 사전 학습 말뭉치 중 가장 큰 규모인 1,500억 개 이상의 웹 텍스트 토큰 모음인 SkyPile 말뭉치의 일부도 공개합니다. 우리는 Skywork-13B와 공개된 말뭉치가 고품질 LLM에 대한 접근을 민주화하는 데 귀중한 오픈 소스 자원이 되기를 희망합니다.

In this technical report, we present Skywork-13B, a family of large language models (LLMs) trained on a corpus of over 3.2 trillion tokens drawn from both English and Chinese texts. This bilingual foundation model is the most extensively trained and openly published LLMs of comparable size to date. We introduce a two-stage training methodology using a segmented corpus, targeting general purpose training and then domain-specific enhancement training, respectively. We show that our model not only excels on popular benchmarks, but also achieves \emph{state of the art} performance in Chinese language modeling on diverse domains. Furthermore, we propose a novel leakage detection method, demonstrating that test data contamination is a pressing issue warranting further investigation by the LLM community. To spur future research, we release Skywork-13B along with checkpoints obtained during intermediate stages of the training process. We are also releasing part of our SkyPile corpus, a collection of over 150 billion tokens of web text, which is the largest high quality open Chinese pre-training corpus to date. We hope Skywork-13B and our open corpus will serve as a valuable open-source resource to democratize access to high-quality LLMs.