BERT 모델과 지식 그래프를 활용한 지능형 챗봇 = An Intelligent Chatbot Utilizing BERT Model and Knowledge Graph

다국어 초록 (Multilingual Abstract)

As artificial intelligence is actively studied, it is being applied to various fields such as image, video and natural language processing. The natural language processing, in particular, is being studied to enable computers to understand the languages spoken and spoken by people and is considered one of the most important areas in artificial intelligence technology. In natural language processing, it is a complex, but important to make computers learn to understand a person’s common sense and generate results based on the person’s common sense. Knowledge graphs, which are linked using the relationship of words, have the advantage of being able to learn common sense easily from computers. However, the existing knowledge graphs are organized only by focusing on specific languages and fields and have limitations that cannot respond to neologisms. In this paper, we propose an intelligent chatbotsystem that collects and analyzed data in real time to build an automatically scalable knowledge graph and utilizes it as the base data. In particular, the fine-tuned BERT-based for relation extraction is to be applied to auto-growing graph to improve performance. And, we have developed a chatbot that can learn human common sense using auto-growing knowledge graph, it verifies the availability and performance of the knowledge graph.

국문 초록 (Abstract)

인공지능이 활발하게 연구되면서 이미지, 영상, 자연어 처리와 같은 다양한 분야에 적용되고 있다. 특히 자연어 처리 분야는 사람이 말하고 쓰는 언어들을 컴퓨터가 이해할 수 있도록 하기 위한 연구들이 진행되고 있고 인공지능 기술에서 매우 중요한 영역 중 하나로 여겨진다. 자연어 처리에서 컴퓨터에게 사람의 상식을 이해할 수 있도록 학습시키고 사람의 상식을 기반으로 결과를 생성하도록 하는 것은 복잡하지만 중요한 기술이다. 단어들의 관계를 이용해 연결한 지식 그래프는 컴퓨터에게 쉽게 상식을 학습시킬 수 있다는 장점이 있다. 하지만 기존에 고안된 지식 그래프들은 특정 언어나 분야에만 집중해 구성되어 있거나 신조어 등에는 대응하지 못하는 한계점을 갖고 있다. 본 논문에서는 실시간으로 데이터를 수집 및 분석하여 자동으로 확장 가능한 지식 그래프를 구축하고, 이를 기반 데이터로 활용하는 챗봇 시스템을 제안하고자 한다. 특히 자동 확장 그래프에 BERT 기반의 관계 추출 모델을 적용시켜 성능을 향상시키고자 한다. 자동 확장 지식 그래프를 이용해 상식이 학습되어 있는 챗봇을 구축하여 지식 그래프의 활용 가능성과 성능을 검증한다.

참고문헌 (Reference)

1 양유정, "단어 임베딩 및 벡터 유사도 기반 게임 리뷰 자동 분류 시스템 개발" 한국전자거래학회 24 (24): 1-14, 2019

2 현윤진, "뉴스와 소셜 데이터를 활용한 텍스트 기반 가짜 뉴스 탐지 방법론" 한국전자거래학회 23 (23): 19-39, 2018

3 Mahdisoltani, F., "YAGO3: A Knowledge Base from Multilingual Wikipedias" 2015

4 Fellbaum, C, "WordNet: An Electronic Lexical Database" MIT Press 1998

5 이동훈, "Word2Vec 기반의 의미적 유사도를 고려한 웹사이트 키워드 선택 기법" 한국전자거래학회 23 (23): 83-96, 2018

6 Yoo, S., "Social media contents based sentiment analysis and prediction system" 105 : 102-111, 2018

7 Wu, W., "Probase: A probabilistic taxonomy for text understanding" 481-492, 2012

8 Zhang, Y., "Position-aware attention and supervised data improve slot filling" 35-45, 2017

9 Lin, Y., "Learning entity and relation embeddings for knowledge graph completion" 2015

10 Radford, A., "Language models are unsupervised multitask learners" 1 (1): 2019

11 Tarau, P, "Knowledge-based conversational agents and virtual storytelling" 39-44, 2004

12 Paulheim, H., "Knowledge graph refinement:A survey of approaches and evaluation method" 8 (8): 489-508, 2017

13 Ji, G., "Knowledge graph embedding via dynamic mapping matrix" 1 : 687-696, 2015

14 Zhang, Y., "Graph Convolution over Pruned Dependency Trees Improves Relation Extraction" 2205-2215, 2018

15 Athreya, R. G., "Enhancing Community Interactions with Data-Driven Chatbots-The DBpedia Chatbot" 143-146, 2018

16 Peters, M. E., "Deep contextualized word representations"

17 Speer, R., "Conceptnet 5.5: An open multilingual graph of general knowledge" 2017

18 Devlin, J., "Bert: Pre-training of deep bidirectional transformers for language understanding"

19 Alsubaiee, S., "AsterixDB: A scalable, open source BDMS" 7 (7): 1905-1916, 2014