LLM 학습 성능 향상을 위한 데이터 구성 방식 고찰

Demystifying Data Organization for Enhanced LLM Training

대규모 언어 모델(LLM)은 다양한 분야에 혁신을 가져왔지만, 그 학습 효율성은 효과적인 데이터 관리에 크게 의존합니다. 데이터 선택은 널리 연구되어 왔지만, LLM 학습 성능 향상을 위한 전략적 데이터 구성 방식은 아직 충분히 탐구되지 않은 영역입니다. 특히 현재 LLM은 종종 단일 또는 몇 개의 에포크로만 학습되는 경우가 많습니다. 본 논문에서는 데이터 효율성을 위해 원래 생성된 샘플 수준 점수를 재사용함으로써 최소한의 추가적인 계산 오버헤드를 발생시키면서, 데이터 구성이 LLM 학습에 미치는 영향을 체계적으로 분석합니다. 우리는 데이터를 최적화하기 위한 네 가지 핵심 지침인 경계 명확화(Boundary Sharpening), 주기적 스케줄링(Cyclic Scheduling), 교육 과정 연속성(Curriculum Continuity) 및 지역 다양성(Local Diversity)을 제시하고, 이를 바탕으로 STR과 SAW라는 두 가지 새로운 데이터 정렬 방법을 소개합니다. 다양한 모델 크기 및 데이터 양에 대한 광범위한 실험을 통해, 사전 학습 및 SFT 단계를 모두 포함하여 제안된 지침의 효과성을 검증했습니다. 또한, 이러한 지침은 LLM 학습의 안정성과 성능을 향상시키는 데 있어 제안된 데이터 정렬 방법의 견고함을 입증합니다. Github 링크: https://github.com/microsoft/data-efficacy/

Large Language Models (LLMs) have revolutionized various fields, yet their training efficiency is heavily reliant on effective data curation. While data selection has been widely studied, the strategic data organization for enhanced training remains an underexplored area, particularly since current LLMs are often trained for only one or a few epochs. This paper systematically explores the influence of data organization on LLM training by reusing pre-computed sample-level scores originally generated for data efficiency, thereby incurring minimal additional computational overhead. We identify and formalize four key guidelines for optimizing data organization: Boundary Sharpening, Cyclic Scheduling, Curriculum Continuity, and Local Diversity. Guided by them, we introduce two novel data ordering methods termed STR and SAW. Extensive experiments across different model scales and data sizes, encompassing both pre-training and SFT stages, validate the effectiveness of our summarized guidelines. They also demonstrate the robustness of our proposed data ordering methods in enhancing the stability and performance of LLM training. Github Link: https://github.com/microsoft/data-efficacy/