데이터 제약 환경에서의 언어 모델 사전 학습을 위한 데이터 증강 기법

Data Augmentations for Data-Constrained Language Model Pretraining

AI 연구실에서 고품질 텍스트 생성 속도가 컴퓨팅 능력 증가를 따라가지 못하면서, 언어 모델 사전 학습은 이제 데이터가 부족한 반면 컴퓨팅 자원은 풍부한 환경으로 전환되고 있습니다. 이러한 환경에서는 동일한 데이터셋에 대해 여러 번의 반복적인 학습이 필요합니다. 기존의 자기 회귀(AR) 사전 학습 방식은 이 설정에서 심각한 과적합을 일으키며, 최적점에 도달한 후 성능이 지속적으로 저하되는 경향이 있습니다. 본 연구에서는 데이터 증강 기법을 정규화 방법으로 활용하여 이러한 과적합을 완화하고 동일한 데이터를 수백 번 학습하는 데 필요한 생산적인 학습을 가능하게 하는 방법을 탐구합니다. 자기 회귀 사전 학습에 적합한 세 가지 독립적인 데이터 증강 범주를 소개합니다: 토큰 레벨 노이즈(마스킹, 랜덤 대체), 시퀀스 순서 변경(좌우 반전 예측, 빈칸 채우기), 그리고 대상 오프셋 예측($x_{t+i}$ for $i > 1$). 체계적인 실험을 통해 각 증강 기법은 과적합을 지연시키고 기준 모델에 비해 검증 손실을 낮추는 효과가 있음을 확인했으며, 특히 랜덤 토큰 대체가 개별적으로 가장 낮은 최소 손실을 달성했습니다. 데이터 증강 범주를 결합하면 검증 손실이 더욱 감소합니다. 실험 결과, 데이터 증강 기법은 자기 회귀 사전 학습의 데이터 비효율성을 완화하고 데이터 제약 환경에 대한 유망한 해결책을 제시함을 보여줍니다. 모든 코드와 데이터는 https://github.com/michaelchen-lab/data-augmentations-for-pretraining 에서 확인할 수 있습니다.

As AI labs approach a data ceiling where compute capacity outpaces the rate of new high-quality text generation, language model pretraining is shifting toward a data-constrained, compute-abundant regime that demands productive multi-epoch training on fixed corpora. Standard autoregressive (AR) pretraining overfits severely in this setting, reaching its optimum early and then continuously deteriorating. We investigate data augmentation as a regularizer to mitigate this overfitting and enable productive training for hundreds of epochs on the same data. We introduce three orthogonal categories of augmentation for AR pretraining: token-level noise (masking, random replacement), sequence permutations (right-to-left prediction, Fill-in-the-Middle), and target offset prediction ($x_{t+i}$ for $i > 1$). Through systematic ablations, we find that individual augmentations delay overfitting and lower validation loss relative to the baseline, with random token replacement achieving the best minimum loss among individual methods. Combining augmentation categories further lowers the minimum validation loss. Our experiments demonstrate that data augmentations mitigate AR pretraining's data inefficiency and offer a promising solution to the data-constrained regime. All code and data are available at https://github.com/michaelchen-lab/data-augmentations-for-pretraining