전이학습과 딥러닝 네트워크를 활용한 고해상도 위성영상의 변화탐지 = Change Detection for High-resolution Satellite Images Using Transfer Learning and Deep Learning Network

다국어 초록 (Multilingual Abstract)

As the number of available satellites increases and technology advances, image information outputs are becoming increasingly diverse and a large amount of data is accumulating. In this study, we propose a change detection method for high-resolution satellite images that uses transfer learning and a deep learning network to overcome the limit caused by insufficient training data via the use of pre-trained information. The deep learning network used in this study comprises convolutional layers to extract the spatial and spectral information and convolutional long-short term memory layers to analyze the time series information. To use the learned information, the two initial convolutional layers of the change detection network are designed to use learned values from 40,000 patches of the ISPRS (International Society for Photogrammertry and Remote Sensing) dataset as initial values. In addition, 2D (2-Dimensional) and 3D (3-dimensional) kernels were used to find the optimized structure for the high-resolution satellite images. The experimental results for the KOMPSAT-3A (KOrean Multi-Purpose SATllite-3A) satellite images show that this change detection method can effectively extract changed/unchanged pixels but is less sensitive to changes due to shadow and relief displacements. In addition, the change detection accuracy of two sites was improved by using 3D kernels. This is because a 3D kernel can consider not only the spatial information but also the spectral information. This study indicates that we can effectively detect changes in high-resolution satellite images using the constructed image information and deep learning network. In future work, a pre-trained change detection network will be applied to newly obtained images to extend the scope of the application.

국문 초록 (Abstract)

운용 가능한 위성의 수가 증가하고 기술이 진보함에 따라 영상정보의 성과물이 다양해지고 많은 양의 자료가 축적되고 있다. 본 연구에서는 기구축된 영상정보를 활용하여 부족한 훈련자료의 문제를 극복하고 딥러닝(deep learning) 기법의 장점을 활용하고자 전이학습과 변화탐지 네트워크를 활용한 고해상도 위성영상의 변화탐지를 수행하였다. 본 연구에서 활용한 딥러닝 네트워크는 공간 및 분광 정보를 추출하는 합성곱 레이어(convolutional layer)와 시계열 정보를 분석하는 합성곱 장단기 메모리 레이어(convolutional long short term memory layer)로 구성되었으며, 고해상도 다중분광 영상에 최적화된 정보를 추출하기 위하여 커널(kernel)의 차원에 따른 정확도를 비교하였다. 또한, 학습된 커널 정보를 활용하기 위하여 변화탐지 네트워크의 초기 합성곱 레이어를 고해상도 항공영상인 ISPRS (International Society for Photogrammetry and Remote Sensing) 데이터셋에서 추출된 40,000개의 패치로 학습된 값으로 초기화하였다. 다시기 KOMPSAT-3A (KOrean Multi-Purpose SATllite-3A) 영상에 대한 실험 결과, 전이학습과 딥러닝 네트워크를 활용할 경우 기복 변위 및 그림자 등으로 인한 변화에 덜 민감하게 반응하며 분류 항목이 달라진 지역의 변화를 보다 효과적으로 추출할 수 있었으며, 2차원 커널보다 3차원 커널을 사용할 때 변화탐지의 정확도가 높았다. 3차원 커널은 공간 및 분광정보를 모두 고려하여 특징 맵(feature map)을 추출하기 때문에 고해상도 영상의 분류뿐만 아니라 변화탐지에도 효과적인 것을 확인하였다. 본 연구에서는 고해상도 위성영상의 변화탐지를 위한 전이학습과 딥러닝 기법의 활용 가능성을 제시하였으며, 추후 훈련된 변화탐지 네트워크를 새롭게 취득된 영상에 적용하는 연구를 수행하여 제안기법의 활용범위를 확장할 예정이다.

참고문헌 (Reference)

1 정재준, "위성영상의 해상도를 고려한 변화탐지 기법 개발 - 아리랑 1호 영상의 도시지역 적용을 사례로 -" 국토지리학회 39 (39): 161-170, 2005

2 최재완, "객체 기반의 IR-MAD 기법을 활용한 고해상도 위성영상의 무감독 변화탐지" 한국측량학회 33 (33): 297-304, 2015

3 Deng, J. S., "PCA‐based land‐use change detection and analysis using multitemporal and multisensor satellite data" 29 (29): 4823-4838, 2008

4 Tan, K., "Objectbased change detection using multiple classifiers and multi-scale uncertainty analysis" 11 (11): 359-, 2019

5 Mou, L., "Learning spectral-spatial-temporal features via a recurrent convolutional neural network for change detection in multispectral imagery" 57 (57): 924-935, 2019

6 Lyu, H., "Learning a transferable change rule from a recurrent neural network for land cover change detection" 8 (8): 506-, 2016

7 정민경, "KOMPSAT 영상을 활용한 SLIC 계열 Superpixel 기법의 최적 파라미터 분석 및 변화 탐지 성능 비교" 대한원격탐사학회 34 (34): 1427-1443, 2018

8 한유경, "KOMPSAT 광학영상을 이용한 광범위지역의 도시개발 변화탐지" 대한원격탐사학회 33 (33): 1223-1232, 2017

9 Mei, S., "Hyperspectral image spatial super-resolution via 3D full convolutional neural network" 9 (9): 1139-, 2017

10 Wang, Q., "Getnet: A general end-to-end 2-d CNN framework for hyperspectral image change detection" 57 (57): 3-13, 2018

11 Wiratama, W., "Dualdense convolution network for change detection of highresolution panchromatic imagery" 8 (8): 1785-, 2018

12 Zhang, C., "Detecting largescale urban land cover changes from very high resolution remote sensing images using CNN-based classification" 8 (8): 189-, 2019

13 Li, Y., "Deep learning for remote sensing image classification: A survey" 8 (8): e1264-, 2018

14 Liu, B., "Deep convolutional recurrent neural network with transfer learning for hyperspectral image classification" 12 (12): 026028-, 2018

15 Xingjian, S. H. I., "Convolutional LSTM network: A machine learning approach for precipitation nowcasting" 802-810, 2015

16 Yu, H., "Change detection using high resolution remote sensing images based on active learning and markov random fields" 9 (9): 1233-, 2017

17 Song, A., "Change detection in hyperspectral images using recurrent 3D fully convolutional networks" 10 (10): 1827-, 2018

18 Lim, K., "Change detection in high resolution satellite images using an ensemble of convolutional neural networks" 509-515, 2018

19 Hussain, M., "Change detection from remotely sensed images: from pixel-based to object-based approaches" 80 : 91-106, 2013

20 Dellinger, F., "Change detection for high resolution satellite images, based on SIFT descriptors and an a contrario approach" 1281-1284, 2014

21 Wang, Q., "Change detection based on Faster R-CNN for highresolution remote sensing images" 9 (9): 923-932, 2018

22 Choi, J., "A hybrid pansharpening algorithm of VHR satellite images that employs injection gains based on NDVI to reduce computational costs" 9 (9): 2017

23 Wang, W., "A fast dense spectral–spatial convolution network framework for hyperspectral images classification" 10 (10): 1068-, 2018

24 Song, A., "A Novel Deep Learning Framework for Multi- Class Change Detection of Hyperspectral Images" Seoul National University 2019

25 Ji, S., "3D convolutional neural networks for crop classification with multi-temporal remote sensing images" 10 (10): 75-, 2018