효과적인 외래어 이형태 생성을 위한 확률 문맥 의존 치환 방법 = A Probabilistic Context Sensitive Rewriting Method for Effective Transliteration Variants Generation

다국어 초록 (Multilingual Abstract)

An information retrieval system, using exact match, needs preprocessing or query expansion to generate transliteration variants in order to search foreign word transliteration variants in the documents. This paper proposes an effective method to generate other transliteration variants from a given transliteration. Because simple rewriting of confused characters produces too many false variants, the proposed method controls the generation priority by learning confusion patterns from real uses and calculating their probability. Especially, the left and right context of a pattern is considered, and local rewriting probability and global rewriting probability are calculated to produce more probable variants in earlier stage. The experimental result showed that the method was very effective by showing more than 80% recall with top 20 generations for a transliteration variants set collected from KT SET 2.0.

국문 초록 (Abstract)

완전 일치 방법을 주로 사용하는 정보 검색 시스템에서 외래어 이형태를 검색할 수 있도록 위해서는 외래어 이형태를 자동 생성하는 전처리나 질의어 확장이 필요하다. 본 연구에서는 하나의 외래어가 입력되면, 이를 근거로 실제 사용될 만한 외래어 이형태들을 효과적으로 생성하기 위한 방법을 제안한다. 혼동 자소를 단순하게 치환하는 방법은 불필요한 이형태를 과도하게 생성하므로, 본 연구에서는 실제 문서에 사용된 외래어 이형태들로부터 혼동 패턴을 학습하고, 이를 확률로 계산하여 생성 순서를 조절하였다. 특히, 혼동 패턴에서 좌우문맥을 고려하고 지역 치환 확률과 전역 치환 확률을 계산하여 조기에 많이 사용하는 이형태를 생성하도록 하였다. KT SET 2.0에서 추출한 이형태 데이터에 대해 실험한 결과, 상위 20개의 생성으로도 평균 80% 이상 찾아내어 이 방법이 매우 효과적임을 보였다.

참고문헌 (Reference)

1 이희승, "한글 맞춤법 강의-고친판" 신구문화사 1994

2 김재군, "한국어 정보검색연구를 위한 시험용 데이터 모음(KTSET) 개발" 378-385, 1994

3 강병주, "한국어 정보검색에서 외래어와 영어로 인한 단어 불일치문제의 해결" 한국과학기술원 2001

4 강병주, "한-영 자동 음차 복원" 63-69, 1999

5 SERI, "지능형 정보처리기의 개발에 관한 연구" 과학기술처 1995

6 오종훈, "자소 및 음소 정보를 이용한 영어-한국어 음차표기 모델" 한국정보과학회 32 (32): 312-326, 2005

7 강병주, "외국어 음차 표기의 음성적 유사도 비교 알고리즘" 26 (26): 1237-1246, 1999

8 김병혜, "영어단어의 알파벳표기로부터 한글표기로의 자동변환" 서강대학교 공공정책대학원 1991

9 김정재, "신경망을 이용한 발음단위 기반 자동 영한 음차 표기 모델" 147-252, 1999

10 강인호, "복수 음운 정보를 이용한 영한 음차표기" 50-54, 1999

11 이재성, "다국어 정보검색을 위한 영한 음차 표기 및 복원 모델" 한국과학기술원 1999

12 "http://www.naver.com"

13 "http://www.google.co.kr"

14 M. Mettler, "TRW Japanese Fast Data Finder" 113-116, 1993

15 W. Gao, "Improving Transliteration with Precise Alignment of Phoneme Chunks and Using Contextual Features" 63-70, 2004

16 J. S. Lee, "English to Korean Statistical Transliteration for Information Retrieval" 12 (12): 17-37, 1998

17 K. Jeong, "Construction of Equivalence Classes of Foreign Words through Automatic Identification and Extraction" 335-340, 1997

18 S. M. Cheon, "Construction of English Loanwords Contents for the Development of Educational Tools: a Step Towards the Prosperity of CALL Courseware" Hankuk University of Foreign Studies 2005

19 K. S. Jeong, "Automatic Identification and Back- Transliteration of Foreign Words for Information Retrieval" 35 (35): 523-540, 1999

20 S. Y. Jung, "An English to Korean Transliteration Model of Extended Markov Window" 383-389, 2000

21 J. S. Lee, "A Statistical Method to Generate Various Foreign Word Transliterations in Multilingual Information Retrieval System" 123-128, 1997

22 W. A. Gale, "A Program for Aligning Sentences in Bilingual Corpora, In Using Large Corpora" The MIT Press 75-102, 1994

23 H. Yuichi, "A Method for Transliterating the Spelling of English Words into Katakana Using the Rewrite Rules" 79 (79): 1-8, 1990