필요한 것은 오직 어텐션뿐이다

Attention Is All You Need

지배적인 시퀀스 변환 모델들은 인코더-디코더 구성 내의 복잡한 순환 신경망이나 합성곱 신경망을 기반으로 합니다. 가장 성능이 우수한 모델들 또한 어텐션 메커니즘을 통해 인코더와 디코더를 연결합니다. 우리는 순환과 합성곱을 완전히 배제하고 오직 어텐션 메커니즘에만 기반한, 트랜스포머(Transformer)라는 새롭고 단순한 네트워크 아키텍처를 제안합니다. 두 가지 기계 번역 과제에 대한 실험 결과, 이 모델들은 품질 면에서 우수할 뿐만 아니라 병렬화가 더 용이하고 훈련에 훨씬 적은 시간이 소요됨을 보여주었습니다. 우리 모델은 WMT 2014 영어-독일어 번역 과제에서 28.4 BLEU를 달성하여 앙상블 모델을 포함한 기존 최고 결과들을 2 BLEU 이상 향상시켰습니다. WMT 2014 영어-프랑스어 번역 과제에서는 기존 최고 모델들의 훈련 비용 대비 아주 적은 수준인 8개의 GPU로 3.5일간 훈련한 후, 새로운 단일 모델 최고 기록(state-of-the-art)인 41.8 BLEU 점수를 수립했습니다. 우리는 트랜스포머를 대규모 및 제한된 훈련 데이터 환경 모두에서 영어 구문 분석(constituency parsing)에 성공적으로 적용함으로써, 이 모델이 다른 과제에도 잘 일반화됨을 보였습니다.

The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely. Experiments on two machine translation tasks show these models to be superior in quality while being more parallelizable and requiring significantly less time to train. Our model achieves 28.4 BLEU on the WMT 2014 English-to-German translation task, improving over the existing best results, including ensembles by over 2 BLEU. On the WMT 2014 English-to-French translation task, our model establishes a new single-model state-of-the-art BLEU score of 41.8 after training for 3.5 days on eight GPUs, a small fraction of the training costs of the best models from the literature. We show that the Transformer generalizes well to other tasks by applying it successfully to English constituency parsing both with large and limited training data.