트랜스포머와 BERT로 구현한 한국어 형태소 분석기의 성능 분석 = Performance Analysis of Korean Morphological Analyzer based on Transformer and BERT

다국어 초록 (Multilingual Abstract)

This paper introduces a Korean morphological analyzer using the Transformer, which is one of the most popular sequence-to-sequence deep neural models. The Transformer comprises an encoder and a decoder. The encoder compresses a raw input sentence into a fixed-size vector, while the decoder generates a morphological analysis result for the vector. We also replace the encoder with BERT, a pre-trained language representation model. An attention mechanism and a copying mechanism are integrated in the decoder. The processing units of the encoder and the decoder are eojeol-based WordPiece and morpheme-based WordPiece, respectively. Experimental results showed that the Transformer with fine-tuned BERT outperforms the randomly initialized Transformer by 2.9% in the F1 score. We also investigated the effects of the WordPiece embedding on morphological analysis when they are not fully updated in the training phases.

국문 초록 (Abstract)

본 논문은 Transformer로 구현한 한국어 형태소 분석기를 다룬다. Transformer는 최근에 가장 널리 사용되는 sequence-to-sequence 모델 중 하나이다. Transformer는 인코더와 디코더로 구성되어 있는데 인코더는 원문을 고정된 크기의 벡터로 압축시키고 디코더는 이 벡터를 이용하여 형태소 분석 결과를 생성해 낸다. 본 논문에서는 또한 Transformer의 인코더를 BERT로 대체해 본다. BERT는 대용량의 학습데이터를 이용하여 미리 학습시켜 놓은 언어 표현 모델이다. 디코더에는 주의 메커니즘과 복사 메커니즘을 도입하였다. 인코더와 디코더에서의 처리 단위는 각각 어절 단위 WordPiece와 형태소 단위의 WordPiece를 사용하였다. 실험을 통해, BERT의 파라미터를 문제에 맞게 재조정했을 때의 성능이 Transformer를 임의의 값으로 초기화하여 사용했을 때에 비해 F1에서 2.9%의 성능 향상을 보임을 알 수 있었다. 또한 학습단계에서 충분히 학습되지 못한 WordPiece의 임베딩이 형태소 분석에 어떤 영향을 미치는지도 살펴보았다.

참고문헌 (Reference)

1 최병서, "신조어 및 띄어쓰기 오류에 강인한 시퀀스-투-시퀀스 기반 한국어 형태소 분석기" 한국정보과학회 47 (47): 70-77, 2020

2 이창기, "Structural SVM을 이용한 한국어 띄어쓰기 및 품사 태깅 결합 모델" 한국정보과학회 40 (40): 826-832, 2013

3 이건일, "Sequence-to-sequence 기반 한국어 형태소 분석 및 품사 태깅" 한국정보과학회 44 (44): 57-62, 2017

4 I. Sutskever, "Sequence to sequence learning with neural networks" 2015

5 S. Na, "Phrase-Based Statistical Model for Korean Morpheme Segmentation and POS Tagging" 571-573, 2014

6 D. Bahdanau, "Neural machine translation by jointly learning to align and translate"

7 Sepp Hochreiter, "Long short-term memory" 9 (9): 1735-1780, 1997

8 H. Hwang, "Korean Morphological Analysis using Sequence-to-sequence learning with Copying mechanism" 443-445, 2016

9 C. Park, "Korean Morphological Analysis and Part-Of-Speech Tagging with LSTMCRF based on BERT" 34-36, 2019

10 J. Gu, "Incorporating copying mechanism in sequence-to-sequence learning"

11 A. Radford, "Improving language understanding by generative pre-training"

12 Y. Wu, "Google's neural machine translation system : Bridging the gap between human and machine translation"

13 M. -E. Peters, "Deep contextualized word representations"

14 J. Devlin, "Bert : Pre-training of deep bidirectional transformers for language understanding"

15 J. Min, "BERT for Transition-based Korean morphological analysis and POS tagging" 401-403, 2019

16 A. Vaswani, "Attention is all you need" 5998-6008, 2017

17 CORPUS, "21st Century Sejong Project"