종단 간 심층 신경망을 이용한 한국어 문장 자동 띄어쓰기 = Automatic Word Spacing of the Korean Sentences by Using End-to-End Deep Neural Network

다국어 초록 (Multilingual Abstract)

Previous researches on automatic spacing of Korean sentences has been researched to correct spacing errors by using n-gram based statistical techniques or morpheme analyzer to insert blanks in the word boundary. In this paper, we propose an end-to-end automatic word spacing by using deep neural network. Automatic word spacing problem could be defined as a tag classification problem in unit of syllable other than word. For contextual representation between syllables, Bi-LSTM encodes the dependency relationship between syllables into a fixed-length vector of continuous vector space using forward and backward LSTM cell. In order to conduct automatic word spacing of Korean sentences, after a fixed-length contextual vector by Bi-LSTM is classified into auto-spacing tag(B or I), the blank is inserted in the front of B tag. For tag classification method, we compose three types of classification neural networks. One is feedforward neural network, another is neural network language model and the other is linear-chain CRF. To compare our models, we measure the performance of automatic word spacing depending on the three of classification networks. linear-chain CRF of them used as classification neural network shows better performance than other models. We used KCC150 corpus as a training and testing data.

국문 초록 (Abstract)

기존의 자동 띄어쓰기 연구는 n-gram 기반의 통계적인 기법을 이용하거나 형태소 분석기를 이용하여 어절 경계면에 공백을 삽입하는 방법으로 띄어쓰기 오류를 수정한다. 본 논문에서는 심층 신경망을 이용한 종단 간(end-to-end) 한국어 문장 자동 띄어쓰기 시스템을 제안한다. 자동 띄어쓰기 문제를 어절 단위가 아닌 음절 단위 태그 분류 문제로 정의하고 음절 unigram 임베딩과 양방향 LSTM Encoder로 문장 음절간의 양방향 의존 관계 정보를 고정된 길이의 문맥 자질 벡터로 연속적인 벡터 공간에 표현한다. 그리고 새로이 표현한 문맥 자질 벡터를 자동 띄어쓰기 태그(B 또는 I)로 분류한 후 B 태그 앞에 공백을 삽입하는 방법으로 한국어 문장의 자동 띄어쓰기를 수행하였다. 자동 띄어쓰기 태그 분류를 위해 전방향 신경망, 신경망 언어 모델, 그리고 선형 체인 CRF의 세 가지 방법의 분류 망에 따라 세 가지 심층 신경망 모델을 구성하고 종단 간 한국어 자동 띄어쓰기 시스템의 성능을 비교하였다. 세 가지 심층 신경망 모델에서 분류 망으로 선형체인 CRF를 이용한 심층 신경망 모델이 더 우수함을 보였다. 학습 및 테스트 말뭉치로는 최근에 구축된 대용량 한국어 원시 말뭉치로 KCC150을 사용하였다.

참고문헌 (Reference)

1 이창기, "사용자가 입력한 띄어쓰기 정보를 이용한 Structural SVM 기반 한국어 띄어쓰기" 한국정보과학회 20 (20): 301-305, 2014

2 심광섭, "말뭉치와 형태소 분석기를 활용한 한국어 자동 띄어쓰기" 한국정보과학회 42 (42): 68-75, 2015

3 K. S. Kim, "Three-stage Word- spacing System for Continuous Syllable Sentence in Korea" 25 (25): 1838-1844, 1998

4 T. Mikolov, "Recurrent Neural Network Based Language Model" 1045-1048, 2010

5 이태석, "LSTM 기반의 sequence-to-sequence 모델을 이용한 한글자동 띄어쓰기" (사)한국스마트미디어학회 7 (7): 17-23, 2018

6 M. Sundermeyer, "LSTM Neural Networks for Language Modeling" 194-197, 2012

7 Heewon Jeon, "KoSpacing: Automatic Korean Word Spacing"

8 A. Krizhevsky, "Imagenet Classification with Deep Convolutional Neural Networks" 1097-1105, 2012

9 J. Pennington, "Glove: Global Vectors for Word Representation" 1532-1543, 2014

10 T. Mikolov, "Extensions of Recurrent Neural Network Language Model" 5528-5531, 2011

11 R. Jozefowicz, "Exploring the Limits of Language Modeling"

12 S. S. Kang, "Eojeol-block Bidirectional Algorithm for Automatic Word Spacing of Hangul Sentences" 27 (27): 441-447, 2000

13 P. Bojanowski, "Enriching Word Vectors with Subword Information" 5 : 135-146, 2017

14 T. Mikolov, "Efficient Estimation of Word Representations in Vector Space"

15 T. Mikolov, "Distributed Representations of Words and Phrases and Their Compositionality" 3111-3119, 2013

16 김선우, "Bidirectional LSTM-CRF 기반의 음절 단위 한국어 품사 태깅 및 띄어쓰기 통합 모델 연구" 한국정보과학회 45 (45): 792-800, 2018

17 Z. H. Huang, "Bidirectional LSTM-CRF Models for Sequence Tagging"

18 H. S. Hwang, "Automatic Korean Word Spacing using Deep Learning" 738-740, 2016

19 Y. Bengio, "A Neural Probabilistic Language Model" 3 : 1137-1155, 2003