신경망을 이용한 시퀀스 투 시퀀스(Sequence to Sequence) 학습

Sequence to Sequence Learning with Neural Networks

심층 신경망(DNN)은 어려운 학습 작업에서 뛰어난 성능을 달성한 강력한 모델입니다. DNN은 라벨링된 대규모 훈련 데이터 세트가 있을 때 잘 작동하지만, 시퀀스를 시퀀스로 매핑하는 데는 사용할 수 없습니다. 본 논문에서는 시퀀스 구조에 대해 최소한의 가정만을 하는 일반적인 엔드투엔드(end-to-end) 시퀀스 학습 접근 방식을 제안합니다. 우리의 방법은 다층 장단기 메모리(LSTM)를 사용하여 입력 시퀀스를 고정된 차원의 벡터로 매핑한 다음, 또 다른 심층 LSTM을 사용하여 해당 벡터로부터 타겟 시퀀스를 디코딩합니다. 우리의 주요 결과에 따르면, WMT'14 데이터 세트를 이용한 영어-프랑스어 번역 작업에서 LSTM이 생성한 번역은 전체 테스트 세트에서 BLEU 점수 34.8을 달성했습니다. 여기서 LSTM의 BLEU 점수는 어휘 사전에 없는 단어에 대해 페널티를 받았습니다. 또한, LSTM은 긴 문장을 처리하는 데에도 어려움이 없었습니다. 비교를 위해, 구문 기반 통계적 기계 번역(SMT) 시스템은 동일한 데이터 세트에서 33.3의 BLEU 점수를 달성했습니다. 앞서 언급한 SMT 시스템이 생성한 1,000개의 가설을 재순위화하는 데 LSTM을 사용했을 때 BLEU 점수는 36.5로 증가했으며, 이는 해당 작업의 기존 최고 결과에 근접한 수치입니다. 또한 LSTM은 어순에 민감하면서도 능동태와 수동태에 대해서는 비교적 불변하는, 합리적인 구문 및 문장 표현을 학습했습니다. 마지막으로, 우리는 모든 소스 문장의 단어 순서를 반대로 뒤집는 것(타겟 문장은 그대로 둠)이 LSTM의 성능을 현저히 향상시킨다는 것을 발견했습니다. 이는 소스 문장과 타겟 문장 사이에 단기 의존성을 많이 도입하여 최적화 문제를 더 쉽게 만들기 때문입니다.

Deep Neural Networks (DNNs) are powerful models that have achieved excellent performance on difficult learning tasks. Although DNNs work well whenever large labeled training sets are available, they cannot be used to map sequences to sequences. In this paper, we present a general end-to-end approach to sequence learning that makes minimal assumptions on the sequence structure. Our method uses a multilayered Long Short-Term Memory (LSTM) to map the input sequence to a vector of a fixed dimensionality, and then another deep LSTM to decode the target sequence from the vector. Our main result is that on an English to French translation task from the WMT'14 dataset, the translations produced by the LSTM achieve a BLEU score of 34.8 on the entire test set, where the LSTM's BLEU score was penalized on out-of-vocabulary words. Additionally, the LSTM did not have difficulty on long sentences. For comparison, a phrase-based SMT system achieves a BLEU score of 33.3 on the same dataset. When we used the LSTM to rerank the 1000 hypotheses produced by the aforementioned SMT system, its BLEU score increases to 36.5, which is close to the previous best result on this task. The LSTM also learned sensible phrase and sentence representations that are sensitive to word order and are relatively invariant to the active and the passive voice. Finally, we found that reversing the order of the words in all source sentences (but not target sentences) improved the LSTM's performance markedly, because doing so introduced many short term dependencies between the source and the target sentence which made the optimization problem easier.