질의문과 지식 그래프 관계 학습을 통한 지식 완성 시스템 = Knowledge Completion System through Learning the Relationship between Query and Knowledge Graph

다국어 초록 (Multilingual Abstract)

The knowledge graph is a network comprising of relationships between the entities. In a knowledge graph, there exists a problem of missing or incorrect relationship connection with the specific entities. Numerous studies have proposed learning methods using artificial neural networks based on natural language embedding to solve the problems of the incomplete knowledge graph.
Various knowledge graph completion systems are being studied using these methods. In this paper, a system that infers missing knowledge using specific queries and knowledge graphs is proposed.
First, a topic is automatically extracted from a query, and topic embedding is obtained from the knowledge graph embedding module. Next, a new triple is inferred by learning the relationship between the topic from the knowledge graph and the query by using Query embedding and knowledge graph embedding. Through this method, the missing knowledge was inferred and the predicate embedding of the knowledge graph related to a specific query was used for good performance. Also, an experiment was conducted using the MetaQA dataset to prove the better performance of the proposed method compared with the existing methods. For the experiment, we used a knowledge graph having movies as a domain. Based on the assumption of the entire knowledge graph and the missing knowledge graph, we experimented on the knowledge graph in which 50% of the triples were randomly omitted.
Apparently, better performance than the existing method was obtained.

국문 초록 (Abstract)

지식 그래프는 개체들 사이의 관계로 구성된 네트워크를 뜻한다. 이러한 지식 그래프에서 특정 개체들에 대한 관계가 누락되거나 잘못된 관계 연결과 같은 문제로 불완전한 지식 그래프의 문제점이 존재한다. 불완전한 지식 그래프의 문제를 해결하기 위한 많은 연구는 자연어 임베딩 기반으로 인공 신경망을 이용한 학습 방법들을 제안했다. 이러한 방법들로 다양한 지식 그래프 완성 시스템들이 연구되고 있는데 본 논문에서는 특정 질의와 지식 그래프를 활용해 누락된 지식을 추론하는 시스템을 제안하였다. 먼저 의문형의 Query로부터 topic을 자동으로 추출하여 해당 topic 임베딩을 지식 그래프 임베딩 모듈로부터 얻는다. 그 다음 Query 임베딩과 지식 그래프 임베딩을 활용하여 지식 그래프로부터의 topic과 질의문 사이의 관계를 학습하여 새로운 트리플을 추론한다. 이와 같은 방식을 통해 누락된 지식들을 추론하고 좋은 성능을 위해 특정 질의와 관련된 지식 그래프의 술어부 임베딩을 같이 활용하였고 기존 방법보다 더 좋은 성능을 보임을 증명하기 위해 MetaQA 데이터셋을 사용하여 실험을 진행하였다. 지식 그래프는 영화를 도메인으로 갖는 지식 그래프를 사용하였다. 실험 결과로 지식 그래프 전체와 누락된 지식 그래프를 가정하여 트리플들을 임의로 50% 누락시킨 지식 그래프에서 실험하여 기존 방법보다 더 좋은 성능을 얻었다.

참고문헌 (Reference)

1 김민성, "클라우드 컴퓨팅 환경에서 분산 테이블 구조를 활용한 OWL-Horst 온톨로지 추론 엔진" 한국정보과학회 47 (47): 674-681, 2020

2 Suchanek, Fabian M., "Yago: a core of semantic knowledge" ACM 697-706, 2007

3 Zhang, Yuyu, "Variational reasoning for question answering with knowledge graph"

4 BORDES, Antoine, "Translating embeddings for modeling multi-relational data" 2787-2795, 2013

5 Yih, Wen-tau, "The value of semantic parse labeling for knowledge base question answering" 2 : 2016

6 이민호, "Spark 데이터프레임을 이용한 대용량 지식 그래프 추론 통합 시스템" 한국정보과학회 47 (47): 1162-1171, 2020

7 Liu, Yinhan, "Roberta: A robustly optimized bert pretraining approach"

8 Sun, Haitian, "Open domain question answering using early fusion of knowledge bases and text"

9 Hochreiter, Sepp, "Long short-term memory" 9 (9): 1735-1780, 1997

10 Miller, Alexander, "Key-value memory networks for directly reading documents"

11 SAXENA, Apoorv, "Improving multi-hop question answering over knowledge graphs using knowledge base embeddings" 4498-4507, 2020

12 Bollacker, Kurt, "Freebase: a collaboratively created graph database for structuring human knowledge" 1247-1250, 2008

13 Yang, Bishan, "Embedding entities and relations for learning and inference in knowledge bases" 2015

14 Auer, Sören, "Dbpedia: A nucleus for a web of open data" Springer Berlin Heidelberg 4825 : 722-735, 2007

15 Trouillon, Théo, "Complex embeddings for simple link prediction" 2016

16 Devlin, Jacob, "Bert: Pre-training of deep bidirectional transformers for language understanding"