자율 학습을 이용한 선형 정렬 말뭉치 구축 = Construction of Linearly Aliened Corpus Using Unsupervised Learning

국문 초록 (Abstract)

본 논문에서는 자율 선형 정렬 알고리즘을 이용하여 선형 정렬 말뭉치를 구축하는 방법을 제안한다. 기존의 자율 선형 정렬 알고리즘을 이용하여 선형 정렬 말뭉치를 구축할 경우, 두 문자열의 길이가 서로 다르면 정렬된 두 문자열(입력열과 출력열)에 모두 공백문자가 나타난다. 이 방법을 그대로 사용하면 정렬 말뭉치의 구축은 용이하나 정렬된 말뭉치를 이용하는 응용 시스템에서는 탐색 공간이 기하급수적으로 늘어날 뿐 아니라 구축된 정렬 말뭉치는 다양한 기계학습 방법에 두루 사용될 수 없다는 문제가 있다. 본 논문에서는 이들 문제를 최소화하기 위해서 입력열에는 공백문자가 나타나지 않도록 기존의 자율 선형 정렬 알고리즘을 수정하였다. 이 알고리즘을 이용해서 한영 음차 표기 및 복원, 영어 단어의 발음 생성, 영어 발음의 단어 생성, 한국어 형태소 분리 및 복원을 위한 정렬 말뭉치를 구축하였으며, 간단한 실험을 통해, 그들의 실용성을 입증해 보였다.

다국어 초록 (Multilingual Abstract)

In this paper, we propose a modified unsupervised linear alignment algorithm for building an aligned corpus. The original algorithm inserts null characters into both of two aligned strings (source string and target string), because the two strings are different from each other in length. This can cause some difficulties like the search space explosion for applications using the aligned corpus with null characters and no possibility of applying to several machine learning algorithms. To alleviate these difficulties, we modify the algorithm not to contain null characters in the aligned source strings. We have shown the usability of our approach by applying it to different areas such as Korean-English back-transliteration, English grapheme-phoneme conversion, and Korean morphological analysis.

참고문헌 (Reference)

1 "한국어에서의 품사 부착 말뭉치의 작성 요령" 1995.

2 "표준대국어사전" (주)두산동아 2000

3 "다국어 정보검색을 위한 영-한 음차 표기 및 복원 모델" 1999.

4 "Two-Level 한국어 형태소 해석" 1992.

5 "The use of tree-trellis search for large-vocabulary mandarin polysyllabic word speech recognition" 39-50, 1994.

6 "T. M. Machine Learning" McGraw-Hill 1997.

7 "PC-KIMMO：A Two-level Processor for Morphological Analysis Summer Institute of Linguistics" 1990.

8 "Learning String Edit Distance" 20 (20): 522-532, 1998.

9 "Hidden Markov models in computational biology" 235 : 1501-1531, 1994.

10 "H. Foundations of Statistical Natural Language Processing" The MIT Press 1999.

11 "E. A. A Learning Approach for Designing Dynamic Programming Algorithms" 2000.

12 "Comptession and Approximate Matching" 42 (42): 1-10, 1999.

13 "Building a large annotated corpus of English" 19 (19): 313-330, 1993.

14 "An Introduction to Natural Language Processing Computational Linguistics, and Speech Recognition" Prentice-Hall 2000.

15 "A tutorial on support vector machines for pattern recognition" 2 (2): 1998.

16 "A tutorial on hidden Markov models and selected application in speech recognition Proceedings of the IEEE" 257-286, 1989

17 "21세기 세종계획 성과발표 및 토론회 자료집" 2004.