신경망기계번역 기술 진화와 번역품질 분석

다국어 초록 (Multilingual Abstract)

There was a big technical progress in the research field of machine translation: the main approach has switched from statistical machine translation (SMT) to neural machine translation (NMT), leading to dramatic improvements in translation quality. Recently, another progress has been taking place from recurrent neural network(RNN)-based NMT to transformer-based NMT (T-NMT). As the performance of NMT has evolved, a lot of research papers for machine translation have been published in the field of interpretation and translation. Their main focus is on whether machine translation can replace human translation, and analyzing the quality of translation results. In this paper, we briefly explain the history of the machine translation research and review the mechanism of NMT. NMT is basically composed of three parts: encoder, attention mechanism, and decoder. Further we discuss the new transformer structure based on the encoder-decoder model. We also discuss the challenges in NMT and explain the research direction or solutions to the problems. Particular attention is given to the mistranslation of NMT, quality of the translation, and robustness against the noises in the training dataset as well as in the testing sentences. In order to test the performance of transformer-based NMT, we used the Google NMT (GNMT) service for 4 languages – Korean, English, German, and Japanese. We confirmed the robustness against sentences with noises. However, we found unexpected volatility of NMT models where the input sentence is semantically and syntactically correct, resulting in critical degradation of translation quality.

목차 (Table of Contents)

• 1. 서론
• 2. 신경망 기계번역 기술의 이해
• 2.1 신경망 기계번역의 학습방법
• 2.2 자연어처리에서 단어표현 방법인 워드임베딩
• 2.3 NMT의 부호기-복호기 모델
• 2.4 주의 기구(Attention Mechanism)
• 2.5 트랜스포머 NMT
• 2.6 트랜스포머를 이용한 사전학습 언어모델
• 3. 데이터세트와 신경망기계학습
• 3.1 학습 데이터의 양과 품질과 성능
• 3.2 자원 부족 데이터에 대한 대책
• 3.3 비지도학습에 의한 소수언어 NMT
• 4. 신경망 기계번역의 한계점
• 4.1 문장 단위로 번역하는 NMT 기계번역
• 4.2 멀티언어 지원
• 4.3 번역의 견인성과 대책
• 4.4 비정상적 변동성
• 5. 번역 데이터 분석
• 5.1 T-NMT의 개선 내용 검증
• 5.2 견인성 검증
• 5.3 동형이의어 번역과 비정상적 변동성 검증
• 6. 결론
• 참고문헌

참고문헌 (Reference)

1 윤호숙, "일한기계번역의 오류유형에 관한 고찰-일본소설을 중심으로-" 한국일어일문학회 107 (107): 3-25, 2018

2 이주리애, "인공신경망 기계 번역의 한일/일한 번역 품질에 대한 예비연구-품질향상 검토와 교열코드 적용-" 한국통역번역학회 20 (20): 43-71, 2018

3 지인영, "심층학습을 이용한 기계번역 기술과 정확도 연구" 국제언어인문학회 19 (19): 24-46, 2017

4 이준호, "신경망기계번역의 객관적 평가를 위한 예비연구: 자동평가와 수동평가의 균형점" 통번역연구소 23 (23): 171-202, 2019

5 최희열, "신경망 기반 기계번역 모델의 이해" 37 (37): 16-24, 2019

6 지인영, "사전학습 언어모델의 기술 분석 연구" 국제언어인문학회 22 (22): 111-133, 2020

7 지인영, "비지도학습을 이용하는 다언어 기계번역시스템 기술분석" 34 : 77-88, 2019

8 김순미, "번역학계와 언어서비스업체(LSP)간 산학협력연구: ‘포스트에디팅 생산성’과 ‘기계번역 엔진 성능 비교" 한국번역학회 20 (20): 41-76, 2019

9 이승일, "번역의 단계별 속성 및 번역주체에 대한 논의" 한국번역학회 18 (18): 173-198, 2017

10 마승혜, "문학작품 기계번역의 한계에 대한 상세 고찰" 통번역연구소 22 (22): 65-88, 2018

11 이준호, "문학번역 적용을 위한 기계번역의 현주소" 통번역연구소 23 (23): 143-167, 2019

12 마승혜, "기계화되기 어려운 인간 능력과 문학번역 능력 비교․고찰 및 논의" 통번역연구소 21 (21): 55-77, 2017

13 Cheng, Y., "Towards Robust Neural Machine Translation"

14 Fadaee, M., "The Unreasonable Volatility of Neural Machine Translation Models"

15 Koehn, P., "Six Challenges for Neural Machine Translation"

16 Cheng, Y., "Robust Neural Machine Translation with Doubly Adversarial Inputs"

17 Clinchant, S., "On the use of BERT for Neural Machine Translation"

18 Khayrallah, H., "On the Impact of Various Types of Noise on Neural Machine Translation" 2018

19 Zhang, J., "Neural Machine Translation: Challenges, Progress and Future"

20 Song, K., "Mass : Masked sequence to sequence pre-training for language generation"

21 Susanto, R. H., "Lexically Constrained Neural Machine Translation with Levenshtein Transformer"

22 Sennrich, R., "Improving Neural Machine Translation Models with Monolingual Data"

23 Johnson, M., "Google’s Multilingual Neural Machine Translation System : Enabling Zero-Shot Translation"

24 Raffel, C., "Exploring the limits of transfer learning with a unified text-to-text transformer"

25 Bawden, R., "Evaluating Discourse Phenomena in Neural Machine Translation" 1304-1313, 2018

26 Guoa, M., "Effective Parallel Corpus Mining using Bilingual Sentence Embeddings"

27 Mikolov, T., "Distributed representations of words and phrases and their compositionality" 26 : 3111-3119, 2013

28 Wang, W., "Denoising Neural Machine Translation Training with Trusted Data and Online Data Selection"

29 Schwenk, H., "CCMatrix: Mining Billions of High-Quality Parallel Sentences on the WEB"

30 Devlin, J., "BERT:Pre-training of Deep Bidirectional Transformers for Language Understanding"

31 Vaswani, A., "Attention Is All You Need" 2017

32 김순미, "AI시대 인간번역과 기계(NMT)번역의 공존-경영학 ‘확장(Augmentation)전략’ 중심" 한국통역번역학회 20 (20): 1-32, 2018

33 Chu, C., "A Survey of Domain Adaptation for Neural Machine Translation"

34 Wang, R., "A Survey of Advances and Challenges in Unsupervised Neural Machine Translation" 2020