BERT와 지식 그래프를 이용한 한국어 문맥 정보 추출 시스템 = Korean Contextual Information Extraction System using BERT and Knowledge Graph

다국어 초록 (Multilingual Abstract)

Along with the rapid development of artificial intelligence technology, natural language processing, which deals with human language, is also actively studied. In particular, BERT, a language model recently proposed by Google, has been performing well in many areas of natural language processing by providing pre-trained model using a large number of corpus. Although BERT supports multilingual model, we should use the pre-trained model using large amounts of Korean corpus because there are limitations when we apply the original pre-trained BERT model directly to Korean. Also, text contains not only vocabulary, grammar, but contextual meanings such as the relation between the front and the rear, and situation. In the existing natural language processing field, research has been conducted mainly on vocabulary or grammatical meaning. Accurate identification of contextual information embedded in text plays an important role in understanding context. Knowledge graphs, which are linked using the relationship of words, have the advantage of being able to learn context easily from computer. In this paper, we propose a system to extract Korean contextual information using pre-trained BERT model with Korean language corpus and knowledge graph. We build models that can extract person, relationship, emotion, space, and time information that is important in the text and validate the proposed system through experiments.

국문 초록 (Abstract)

인공지능 기술의 비약적 발전과 함께 사람의 언어를 다루는 자연어 처리 분야 역시 활발하게 연구가 진행되고 있다. 특히 최근에는 구글에서 공개한 언어 모델인 BERT는 대량의 코퍼스를 활용해 미리 학습시킨 모델을 제공함으로써 자연어 처리의 여러 분야에서좋은 성능을 보이고 있다. BERT에서 다국어 모델을 지원하고 있지만 한국어에 바로 적용했을 때는 한계점이 존재하기 때문에 대량의한국어 코퍼스를 이용해 학습시킨 모델을 사용해야 한다. 또한 텍스트는 어휘, 문법적인 의미만 담고 있는 것이 아니라 전후 관계, 상황과 같은 문맥적인 의미도 담고 있다. 기존의 자연어 처리 분야에서는 어휘나 문법적인 의미를 중심으로 연구가 주로 이루어졌다.
텍스트에 내재되어 있는 문맥 정보의 정확한 파악은 맥락을 이해하는 데에 있어 중요한 역할을 한다. 단어들의 관계를 이용해 연결한 지식그래프는 컴퓨터에게 쉽게 문맥을 학습시킬 수 있는 장점이 있다. 본 논문에서는 한국어 코퍼스를 이용해 사전 학습된 BERT 모델과 지식 그래프를 이용해 한국어 문맥 정보를 추출하는 시스템을 제안하고자 한다. 텍스트에서 중요한 요소가 되는 인물, 관계, 감정, 공간, 시간 정보를 추출할 수 있는 모델을 구축하고 제안한 시스템을 실험을 통해 검증한다.

참고문헌 (Reference)

1 이수상, "한글 감정단어의 의미적 관계와 범주 분석에 관한 연구" 한국도서관·정보학회 47 (47): 51-70, 2016

2 이민우, "문맥주의적 관점에서의 의미관계" 한국어의미학회 66 : 101-120, 2019

3 이승일, "문맥주의와 ‘문맥’에 관한 고찰" 한국언어과학회 17 (17): 67-86, 2010

4 신명선, "단어의 문맥적 의미 평가 문항의 특성과 자장－대학수학능력시험 국어(언어) 영역을 중심으로－" 한국국어교육학회 (116) : 143-185, 2018

5 Thomas, R., "YAGO : A Mulitilingual Knowledge Base from Wikipedia, Wordnet, and Geonames" 177-185, 2016

6 Zhilin, Y., "XLNet: Generalized Autoregressive Pretraining for Language Understanding"

7 Fellbaum, C., "WordNet: An Electronic Lexical Database" MIT Press 1998

8 E. Cambria, "SenticNet 5: Discovering Conceptual Primitives for Sentiment Analysis by Means of Context Embeddings" 2018

9 A. Chatterjee, "SemEval-2019 Task 3 : EmoContext Contextual Emotion Detection in Text" 39-48, 2005

10 Naver Developers, "Papago NMT API Reference"

11 KAIST, "Korean Relation Extraction Gold Standard"

12 SKTBrain, "Korean BERT pre-trained cased (KoBERT)"

13 A. Radford, "Improving language understanding by generative pre-training"

14 Google, "Google Colab"

15 Sunjae Kwon, "Effective vector representation for the Korean named-entity recognition" Elsevier BV 117 : 52-57, 2019

16 Kmounlp, "Definition of Korean Named-Entity Task"

17 Peters, M. E., "Deep contextualized word representations" 2018

18 Deng, L., "Deep Learning in Natural Language Processing" Springer 2018

19 Palash, G., "Deep Learning for Natural Language Processing" Apress 2018

20 R. Speer, "ConceptNet 5.5:An Open Multilingual Graph of General Knowledge" 2017

21 K. H. Park, "BERT for Korean Natural Language Processing:Named Entity Tagging, Sentiment Analysis, Dependency Parsing and Semantic Role Labeling" 584-586, 2019

22 Devlin, J., "BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding" 2019

23 A. Vaswani, "Attention is all you need" 6000-6010, 2017

24 Paul Ekman, "Are there basic emotions?" American Psychological Association (APA) 99 (99): 550-553, 1992