대규모 비지도 교차 언어 표현 학습

Unsupervised Cross-lingual Representation Learning at Scale

본 논문은 다국어 언어 모델을 대규모로 사전 학습시키는 것이 광범위한 교차 언어 전이 과제에서 상당한 성능 향상을 가져온다는 것을 보여줍니다. 우리는 2테라바이트 이상의 정제된 CommonCrawl 데이터를 사용하여 100개 언어에 대해 Transformer 기반의 마스크 된 언어 모델(masked language model)을 학습시켰습니다. XLM-R이라고 명명된 우리의 모델은 XNLI에서 평균 정확도 14.6% 향상, MLQA에서 평균 F1 점수 13% 향상, NER에서 F1 점수 2.4% 향상을 포함하여 다양한 교차 언어 벤치마크에서 다국어 BERT(mBERT)를 크게 능가했습니다. XLM-R은 특히 자원이 부족한 언어(low-resource languages)에서 우수한 성능을 보였으며, 이전 XLM 모델 대비 스와힐리어의 XNLI 정확도는 15.7%, 우르두어는 11.4% 향상되었습니다. 또한 우리는 (1) 긍정적 전이(positive transfer)와 용량 희석(capacity dilution) 간의 트레이드오프, (2) 대규모 환경에서의 고자원 및 저자원 언어의 성능 등 이러한 성능 향상을 달성하는 데 필요한 주요 요인들에 대한 상세한 실증적 분석을 제시합니다. 마지막으로, 우리는 개별 언어의 성능을 희생하지 않으면서 다국어 모델링이 가능하다는 것을 처음으로 보여주었습니다. XLM-R은 GLUE 및 XNLI 벤치마크에서 강력한 단일 언어 모델들과 견주어도 매우 경쟁력이 있습니다. 우리는 코드, 데이터 및 모델을 공개할 예정입니다.

This paper shows that pretraining multilingual language models at scale leads to significant performance gains for a wide range of cross-lingual transfer tasks. We train a Transformer-based masked language model on one hundred languages, using more than two terabytes of filtered CommonCrawl data. Our model, dubbed XLM-R, significantly outperforms multilingual BERT (mBERT) on a variety of cross-lingual benchmarks, including +14.6% average accuracy on XNLI, +13% average F1 score on MLQA, and +2.4% F1 score on NER. XLM-R performs particularly well on low-resource languages, improving 15.7% in XNLI accuracy for Swahili and 11.4% for Urdu over previous XLM models. We also present a detailed empirical analysis of the key factors that are required to achieve these gains, including the trade-offs between (1) positive transfer and capacity dilution and (2) the performance of high and low resource languages at scale. Finally, we show, for the first time, the possibility of multilingual modeling without sacrificing per-language performance; XLM-R is very competitive with strong monolingual models on the GLUE and XNLI benchmarks. We will make our code, data and models publicly available.