Document Classification Using N-gram and Word Semantic Similarity

Mei-ying Ren,Sinjae Kang 보안공학연구지원센터 2015 International Journal of u- and e- Service, Scienc Vol.8 No.8

This paper mainly conducted two series of experiments. One is investigation between language dependent and language independent features. Bi-grams in Korean experiments and uni-grams in Chinese contributed most as basic features. And another one is utilization of Korean WordNet to improve the performance of Korean document classification. Korean WordNet is a Korean Lexical Semantic Network. Language independent features seem can lead better performance and stable. The performance of Korean text classification was improved by using Korean WordNet.

以 Princeton WordNet 爲通用語言的 韓語詞匯語義網 KorLex 的特性及應用

尹愛善,權爀喆 경성대학교 한국한자연구소 2020 한자연구 Vol.0 No.26

The paper introduces KorLex, Korean WordNet, which uses Princeton WordNet (PWN) as a reference model as well as a pivot that provides KorLex with the multilingual interface. Sub-section 2.1 describes the background for which we intended to build KorLex by ourselves, and the motivations for which we selected PWN as a reference model among other wordnets. Sub-sections 2.2 and 2.3 deal with the semantic features that share both PWN and KorLex, and the linguistic features that we attach to KorLex in order to improve Korean Language Processing (KLP). Section 3 presents two representative applications of KorLex in the field of Natural Language Processing: (1) in KLP environment, <Korean Spell/Grammar Checker (KSGC)> that we have developed for the last 30 years, and for which we decided to elaborate KorLex version 1.5 and to attach the sophisticate information of Korean language to the version 2.0; (2) in multilingual environment, <Korean-Korean_Sign_Language Machine Translation (K2KSL MT)>, which would not be successfully developed without the hierarchical semantic structure of KorLex as well as PWN, since the hierarchy enables K2KSL MT to solve logically the notorious ‘data sparseness (= lack of lexicon)’ problem that KSL encounters during the translation process, like in other bilingual or multilingual MT systems.

한국어 어휘망을 바탕으로 한 개념 지도 구축 방안에

시정곤 이중언어학회 2005 이중언어학 Vol.29 No.-

In this paper, I suggest the plan for building the conceptual map in Korean . In particular, this paper provides the indispensable statistical data in order to construct a conceptual map of Korean words. Moreover, it allows to structurally and totally understand structure of Korean wordnet, to review proper specifications of semantic categories and correct assignment of concepts for Korean words and to prospect the next version of Korean wordnet. In order for it, I use CoreNet which has been developed as a multi-lingual lexical semantic wordnet by KAIST KORTERM. As a primary work for constructing a conceptual map of Korean words, this paper shows the concept distributions of Korean words in CoreNet based on the depths and semantic categories.

Selectional Preferences of Korean Verbal Items

( Sang Houn Song ),( Jae Woong Choe ) 경희대학교 언어연구소 2014 언어연구 Vol.31 No.2

The present study computes the selectional preference the verbal items show in relation to their co-occurring subjects and objects in Korean. The selectional preference indicates how significant is the semantic corelation between a verbal item and the class of nouns that appear in its argument position. The selectional preference measurements presented in the current work is automatically measured in a bottom-up way, using two types of language resources: One is a parsed corpus (the Sejong Korean Treebank), and the other is lexical hierarchies or wordnets. The three Korean wordnets that are made use of are CoreNet, KorLex, and U-WIN. The acquisition model is grounded upon the Lowest Common Subsumer that represents the closest common ancestor node for the given two nodes within the hierarchy. As a way to address the issue of exponential growth in calculation time and others, this study makes use of a programming technique called hill climbing. The selectional preferences, specifically Selectional Preference Strengths and Selectional Associations proposed in Resnik (1996), are defined by Kullback-Leibler Divergence, and their values are derived based on the collection of LCSs. The results are evaluated with reference to the Sejong Electronic Dictionary, with human evaluation, with parsing evaluation using a stochastic parser, and finally in a qualitative manner. (Korea University)

디지털화된 이종 언어자원의 연계와 인문학 연구의 확장성 -『통합디지털한한대사전』과 KorLex의 연동 가능성 검토를 통해 -

윤애선 ( Yoon Aesun ) 근역한문학회 2021 한문학논집(漢文學論集) Vol.60 No.-

본 논문의 목적은 이종언어자원인 『통합디지털한한대사전』(이하, 『통합』)과 한국어 어휘 의미망인KorLex 의 연동 가능성을 검토하는 것이다. 상이한 동기와 배경에서 개발된 두 언어자원은 양립하기 어려운 거시적 구조와 미시적 구조를 갖고 있다. 2절과 3절에서는 각각 KorLex 와 『통합』의 특성을 살펴보고, 4절에서는 두 이종 언어자원 간 연계 가능한 요소가 무엇인지 알아본다. 또한 현 단계에서 극복해야 할 한계와 문제점을 구체적으로 분석하고, 향후 한국어 사전연구의 활성화 방향에 대해 논의한다. 두 언어자원의 유일한 연계점은 한자로 된 표제어휘인데, 접점의 그물코가 매우 크고 성글기 때문에 현 상태의 그물로 당장 거둬 올릴 수 있는 유용한 결과는 크지 않다. 하지만, 두 언어자원에 연계점을 제공하는 『표준국어대사전』과 『통합』의 연동성은 좀 더 가시적이고, 기존 한국어 사전의 보완 또는 편찬 방향에 시사점을 찾을 수 있었다. 예를 들어, 『통합』의 풍부한 정보를 이용하면, 한국어 사전에서 아직 결여된 부분인 어휘의 역사문화정보를 상당히 보완할 수 있을 뿐 아니라, 앞으로 편찬될 사전에 새로운 방향을 제시할 수 있을 것이다. 이러한 새로운 시도에 디지털화된 다양한 한국어 관련 사전이 동참한다면 좀 더 풍요로운 수확을 거둘 수 있을 것이다. This paper aims at examining the interoperability of two heterogeneous language resources - Unified Great Chinese-Korean Dictionary (hereafter, UGCK), and KorLex, Korean WordNet. Initiated with completely different motives and backgrounds, these two language resources show their own macro and micro structures which are hard to be compatible, at a glance. In Sections 2 and 3, we examine the characteristics of KorLex and UGCK, respectively. Section 4 investigates the possible linking elements between UGCK and KorLex. The limitations and the problems to overcome at the present stage are analyzed in detail. Finally, directions to revitalize future Korean lexicographic research are discussed. The only linking elements between UGCK and KorLex are the headword in Chinese characters. Since the mesh of their links is very large and sparse, the useful results can be hardly obtained at this moment. However, the advantage of interlinking UGCK and Standard Korean Dictionary (hereafter, STD) which provides the headword in Chinese to KorLex, is more visible: existing Korean dictionaries including STD could be significantly enriched. For example, the rich lexical and cultural information of UGCK can provide STD with the historical and semantic changes of a lexicon, which still lacks in Korean dictionaries. The interlinked language resources can suggest a new direction for the dictionary to be compiled in the future. If various digitalized Korean dictionaries participate in this new attempt, a more prosperous harvest will be obtained.

Selectional Preferences of Korean Verbal Items

송상헌,최재웅 경희대학교 언어정보연구소 2014 언어연구 Vol.31 No.2

The present study computes the selectional preference the verbal items show in relation to their co-occurring subjects and objects in Korean. The selectional preference indicates how significant is the semantic corelation between a verbal item and the class of nouns that appear in its argument position. The selectional preference measurements presented in the current work is automatically measured in a bottom-up way, using two types of language resources: One is a parsed corpus (the Sejong Korean Treebank), and the other is lexical hierarchies or wordnets. The three Korean wordnets that are made use of are CoreNet, KorLex, and U-WIN. The acquisition model is grounded upon the Lowest Common Subsumer that represents the closest common ancestor node for the given two nodes within the hierarchy. As a way to address the issue of exponential growth in calculation time and others, this study makes use of a programming technique called hill climbing. The selectional preferences, specifically Selectional Preference Strengths and Selectional Associations proposed in Resnik (1996), are defined by Kullback-Leibler Divergence, and their values are derived based on the collection of LCSs. The results are evaluated with reference to the Sejong Electronic Dictionary, with human evaluation, with parsing evaluation using a stochastic parser, and finally in a qualitative manner.

한국어 어휘의미망「KorLex 1.5」의 구축

윤애선(Aesun Yoon),황순희(Soonhee Hwang),이은령(Eunryoung Lee),권혁철(Hyuk-Chul Kwon) 한국정보과학회 2009 정보과학회논문지 : 소프트웨어 및 응용 Vol.36 No.1

1980년대 중반부터 지난 20여 년간 구축해 온 영어 워드넷(PWN)은 인간의 심상어휘집을 재현하려는 목적으로 개발되기 시작하였으나, 그 활용 가능성에 주목한 것은 자연언어처리와 지식공학 분야다. 컴퓨터 매개 의사소통(CMC), 인간-컴퓨터 상호작용(HCI)에서 인간 언어를 자연스럽게 사용하여 필요한 정보를 획득하기 위해서는 의미와 지식의 처리가 필수적인데, 그 해결의 실마리를 어휘라는 실체를 가진 언어단위에서 찾을 수 있기 때문이다. 이후 전 세계적으로 약 50개 언어의 어휘의미망이 PWN을 참조 모델로 구축되어 다국어처리의 기반을 제공할 뿐 아니라, 시맨틱 웹 이후 더욱 주목받고 다양한 방식으로 활용되고 있다. 이 논문은 PWN을 참조 모델로 2004년부터 2007년까지 구축한 한국어 어휘의미망 KorLex 1.5를 소개하는 데 있다. 현재 KorLex는 명사, 동사, 형용사, 부사 및 분류사로 구성되며, 약 13만 개의 신셋과 약 15만 개의 어의를 포함하고 있다. The Princeton WordNet(PWN), which was developed during last 20 years since the mid 80, aimed at representing a mental lexicon inside the human mind. Its potentiality, applicability and portability were more appreciated in the fields of NLP and KE than in cognitive psychology. The semantic and knowledge processing is indispensable in order to obtain useful information using human languages, in the CMC and HCI environment. The PWN is able to provide such NLP-based systems with 'concrete' semantic units and their network. Referenced to the PWN, about 50 wordnets of different languages were developed during last 10 years and they enable a variety of multilingual processing applications. This paper aims at describing PWN-referenced Korean Wordnet, KorLex 1.5, which was developed from 2004 to 2007, and which contains currently about 130,000 synsets and 150,000 word senses for nouns, verbs, adjectives, adverbs, and classifiers.

한국어 어휘의미망의 의미 관계를 이용한 어의 중의성 해소

김민호(Minho Kim),권혁철(Hyuk-Chul Kwon) 한국정보과학회 2011 정보과학회논문지 : 소프트웨어 및 응용 Vol.38 No.10

자연언어처리에서 어의 중의성 해소는 여러 개의 의미로 사용될 수 있는 중의성 어휘가 특정 문맥에서 어떤 의미로 사용되었는지를 결정하는 것이다. 어의 중의성 해소는 기계번역이나 정보검색과 같은 많은 자연언어처리 응용에서 중요한 역할을 한다. 본 논문은 한국어 어휘의미망에 기반을 둔 비감독어의 중의성 해소 방법을 제안한다. 중의성 어휘의 주변 문맥에 나타나는 공기 어휘는 중의성 어휘의 의미를 판단하는 중요한 단서가 된다. 중의성 어휘와 공기 어휘 간 연관성을 카이제곱(chi-square) 통계량을 바탕으로 계산하여 어의 중의성 해소에 이용한다. 한국어 어휘의미망에서 중의성 어휘의 의미별 관계어를 찾고, 이들과 공기 어휘 간 공기 빈도를 대규모 말뭉치로부터 획득하여 카이제곱 통계량을 계산한다. 이때, 가장 큰 카이제곱 통계량을 가지는 관계어의 의미가 중의성 어휘의 의미가 된다. 새로운 비감독 어의 중의성 해소는 10개의 중의성 어휘에 대하여 평균 86.2%의 어의 중의성 해소 정확도를 보였다. The goal of word sense disambiguation(WSD) is to determine which sense of an ambiguous word is invoked in a particular use of the word. It plays an important role in many natural language processing applications such as machine translation and information retrieval. This paper proposes a method for automatic word sense disambiguation based on Korean WordNet. The basic assumption of this suggested method is that contextual words provide strong and consistent clues to the sense of an ambiguous word. Relevance between the ambiguous words and its contextual words is used to disambiguate the sense of the target word. In this paper, relevance between the ambiguous words and its contextual words is calculated by chi-square statistics. In turn, the chi-square between the ambiguous words and its contextual words is obtained from the related words of the target word in Korean WordNet and their co-occurrence extracted from a large unannotated corpus. A word sense having maximum chi-square with contextual words is selected as right sense in the given sentence. Ten ambiguous nouns have been disambiguated by the proposed method. The result of experiment shows that the model obtains 86.2% average accuracy.

한국어 워드넷 연결과 웹 자원 접근성 개선에 의한 디비피디아 강화

임경태(KyungTae Lim),함영균(YoungGyun Hahm),마틴(Martin Rezk),박정열(Jungyeul Park),윤용운(Yongun Yoon),최기선(Key-Sun Choi) 한국정보과학회 2013 정보과학회 컴퓨팅의 실제 논문지 Vol.19 No.9

본 논문에서는 한국어 디비피디아의 웹 자원 접근성 개선과 한국어 워드넷 연결을 통한 한국어 디비피디아 활용도를 높이는 방안을 제시한다. 이를 통해, 한국어 디비피디아는 사람이 읽을 수 있는 상태의 리소스 페이지 제공이 가능하다. 한편, 한국어 워드넷인 코어넷과 한국어 디비피디아와의 연결을 통해 디비피디아로부터 접근 가능한 단어의 범위를 확장하였다. 한국어 디비피디아-코어넷 연동은 유사도 계산에 의해서 92%의 연결 정확도를 보였고 오류 분석을 시도하였다. In this paper, we find a way to make good use of Korean DBpedia by improving web access to Korean DBpedia resources and linking Korean Word Net called CoreNet. Current Korean DBpedia can generate a human readable resource page. We also increase the number of accessible words by linking CoreNet and Korean DBpedia. By measuring similarity between CoreNet and Korean DBpedia the linking accuracy is up to 92% and we analyze remaining errors.

한국어 어휘의미망을 이용한 문맥 의존 철자오류 교정규칙의 일반화

김민호(Minho Kim),최현수(Hyunsoo Choi),권혁철(Hyukchul Kwon),윤애선(Aesun Yoon) 한국정보과학회 2014 정보과학회 컴퓨팅의 실제 논문지 Vol.20 No.2

맞춤법 오류어의 유형은 크게 단순 철자오류와 문맥 철자오류로 구분할 수 있다. 이중 문맥 철자오류는 문맥의 의미?통사적 관계를 고려해야만 해당 어휘의 오류 여부를 알 수 있다. 기존 한국어 맞춤법 검사기에서 문맥 철자오류의 검색과 교정을 위해 가장 많이 사용하는 방법은 언어 전문가가 수작업으로 구축한 교정규칙을 이용하는 방법이다. 규칙을 이용한 방법은 그 특성상 오류 교정의 정확도는 매우 높지만, 문맥에 나타난 어휘 간의 정확한 일치를 전제하므로 재현율은 낮다. 본 논문에서는 규칙을 이용한 문맥 철자오류 교정의 재현율 향상을 위해 기존 교정규칙에서 논항의 선택제약 조건을 확장하는 방법을 제안한다. 이를 위해 한국어 어휘의미망의 관계 정보를 이용하여 논항의 선택제약 조건을 충족하는 어휘의 공통 상위 개념을 찾고, 해당 상위 개념의 하위 개념을 문맥에 다시 포함함으로써 문맥 정보를 확장한다. 제안한 방법은 기존 교정규칙의 재현율을 약 10% 높였다. Spelling error words are largely divided into non-word spelling error and context-sensitive spelling error. For context-sensitive spelling errors, error of the word can be determined only by considering the semantic and syntactic relation of the context. The most common method used by conventional Korean spelling and grammar checker uses correction rules that was manually established by linguists. Although the rule-based method has very high precision in error correction, but the recall is low because it requires exact agreement of the words in the context. This study proposes a method to expand conditions for selectional restrictions of argument in existing error correction rules in order to improve recall in correcting context-sensitive spelling errors. For this objective, relational information of Korean WordNet is used to find the common superordinate concept that satisfies conditions for selectional restrictions of an argument, and the subordinate concept of the relevant superordinate concept is included again in the context to expand the context information. The proposed method increased the recall of existing correction rules by about 10%.