ALBERT: 언어 표현의 자기 지도 학습을 위한 경량화된 BERT

ALBERT: A Lite BERT for Self-supervised Learning of Language Representations

자연어 표현을 사전 학습할 때 모델의 크기를 키우면 종종 다운스트림 태스크의 성능이 향상됩니다. 그러나 어느 시점에 이르면 GPU/TPU 메모리 한계와 긴 학습 시간으로 인해 모델을 더 확장하기가 어려워집니다. 이러한 문제를 해결하기 위해, 본 논문에서는 메모리 사용량을 줄이고 BERT의 학습 속도를 높이는 두 가지 파라미터 감소 기법을 제안합니다. 광범위한 실험 결과를 통해 제안된 방법이 기존 BERT에 비해 훨씬 더 효율적으로 확장되는 모델을 생성함을 보여줍니다. 또한 문장 간의 일관성을 모델링하는 데 초점을 맞춘 자기 지도 손실(self-supervised loss) 함수를 사용하여, 이것이 다중 문장 입력을 다루는 다운스트림 태스크에 일관되게 도움이 됨을 입증합니다. 결과적으로 우리의 최고 성능 모델은 BERT-large보다 적은 수의 파라미터를 가지면서도 GLUE, RACE 및 SQuAD 벤치마크에서 새로운 최고 성능(state-of-the-art)을 달성했습니다. 코드와 사전 학습된 모델은 https://github.com/google-research/ALBERT 에서 확인할 수 있습니다.

Increasing model size when pretraining natural language representations often results in improved performance on downstream tasks. However, at some point further model increases become harder due to GPU/TPU memory limitations and longer training times. To address these problems, we present two parameter-reduction techniques to lower memory consumption and increase the training speed of BERT. Comprehensive empirical evidence shows that our proposed methods lead to models that scale much better compared to the original BERT. We also use a self-supervised loss that focuses on modeling inter-sentence coherence, and show it consistently helps downstream tasks with multi-sentence inputs. As a result, our best model establishes new state-of-the-art results on the GLUE, RACE, and \squad benchmarks while having fewer parameters compared to BERT-large. The code and the pretrained models are available at https://github.com/google-research/ALBERT.