공간 네트워크 상 노드 임베딩을 위한 거리 기반 어텐션 GNN = Distance-based Attention GNN for Node Embedding on Spatial Networks

국문 초록 (Abstract)

공간 네트워크는 노드와 엣지가 거리 공간에 속하는 그래프 자료구조로 지표면 상의 여러 현상과 문제를 표현할 수 있다. 최근 딥러닝 기술의 급격한 발달과 더불어 그래프를 학습하는 다양한 딥러닝 모델들이 연구되고 있지만 노드 사이의 거리 요소를 고려하지 않아 공간 네트워크가 가진 거리 정보를 활용하지 못한다. 본 연구는 공간 네트워크에 속하는 거리 특성을 가진 노드들의 이웃 관계에서의 영향력을 알 수 있는 거리 기반 어텐션 기법을 소개하고 이를 활용한 그래프 딥러닝 모델인 DWGNN을 제안한다. DWGNN은 임베딩 과정 중 대상 노드에게 더욱 가까운 이웃 노드의 영향력을 상대적으로 멀리 위치한 이웃 노드들의 영향력보다 크게 주어 공간 네트워크 상 각 노드의 특징 추출을 효과적으로 수행한다.
실세계 노드 임베딩 문제에 대한 제안한 기법의 다양한 적용을 위하여 실내, 실외 공간 네트워크 노드 임베딩 실험을 진행했다. 기존에 정립된 GNN 모델과 제안한 기법을 활용한 모델을 비교해본 결과 노드 분류와 특성 벡터 추출에 더욱 뛰어난 성능을 보이는 것을 확인했다. 제안한 모델을 목적에 맞는 다양한 딥러닝 아키텍처 내 하나의 요소로서 개발했으며 공간 네트워크를 대상으로 한 다양한 분석을 위한 모델로 사용할 수 있을 것으로 기대한다.

다국어 초록 (Multilingual Abstract)

A spatial network is a graph data structure consisting of nodes and edges in a metric space, used to represent various real-world problems and phenomena. Recently, along with the rapid development of deep learning techniques, various Neural Network models for graphs have been studied. However, these models barely utilize distance information as they did not consider the distance factors between nodes present in spatial networks. This paper introduces the distance-based attention mechanism, which can measure the attention values from the relationship among the nodes with distance features in a spatial network, and proposes Distance-Weighted Graph Neural Networks(DWGNN). DWGNN effectively extracts features of each node in a spatial network by making the nearby neighboring nodes more influential to the target node than the distant neighboring nodes in the embedding update process.
Two node embedding experiments with indoor and outdoor spatial networks have been conducted, to apply the proposed GNN model to real-world node embedding problems in spatial networks. Compared to the existing GNN models, DWGNN shows performance improvement in node classification tasks and extracting latent feature vectors. The suggested model is developed as an element for various GNN architecture depending on the purpose and is expected to be used as a model for analyzing various problems on spatial networks.

목차 (Table of Contents)

• 1. 서 론 1
• 1.1. 연구 배경 및 목적 1
• 1.2. 관련 연구 4
• 1.2.1. 네트워크 임베딩 5
• 1.2.2. Graph Neural Networks 10
• 1.2.2.1. GNN의 기본 정의와 Deep Graph Encoder로서의 기능 수행 10
• 1.2.2.2. GNN 활용 모델 14
• 1.2.3. 엣지 속성을 고려한 노드 임베딩 모델 16
• 2. 연구 방법 19
• 2.1. 문제 정의 19
• 2.2. 거리 기반 네트워크 어텐션 메커니즘 22
• 2.3. Distance-Weighted Graph Neural Networks 28
• 2.3.1. 거리 기반 Graph ConvNet 28
• 2.3.2. DWGNN 모델 아키텍처 30
• 3. 실험 적용 및 결과 33
• 3.1. 결과 비교를 위한 GNN 모델 정의 33
• 3.2. 실내 네트워크: 도면 요소 추출 및 분류 35
• 3.2.1. 데이터 처리 및 환경 37
• 3.2.2. 모델 구성 및 학습 39
• 3.2.3. 실험 결과 분석 41
• 3.3. 실외 네트워크: 버스 네트워크 정류장 임베딩 48
• 3.3.1. 데이터 처리 및 환경 51
• 3.3.2. 모델 구성 및 학습 53
• 3.3.3. 실험 결과 분석 55
• 4. 결 론 59