Semi-Supervised Land Cover Classification of Remote Sensing Imagery Using CycleGAN and EfficientNet

곽태홍,김용일 대한토목학회 2023 KSCE Journal of Civil Engineering Vol.27 No.4

Image classification of very high resolution (VHR) images is a fundamental task in the remote sensing domain for various applications, such as land cover mapping, vegetation mapping, and urban planning. Recently, deep learning-based semantic segmentation networks demonstrated the promising performance for pixel-level image classification. However, deep learning-based approaches are generally limited by the requirement of a sufficient amount of labeled data to obtain stable accuracy, and acquiring reference labels of remotely-sensed VHR images is very labor-extensive and expensive. Hence, this paper applied a semi-supervised learning-based CycleGAN and EfficientNet for VHR remote sensing image classification to overcome this problem. The proposed method achieved the highest accuracy than the other benchmarks. The largest increase in accuracy was observed in a test site containing complex objects due to the regularization effect of the semi-supervised method using unlabeled data. Moreover, results indicated that a relatively sufficient amount of unlabeled data compared with labeled data are required to increase the classification accuracy by controlling the amount of labeled and unlabeled data. Finally, we verified that the semi-supervised method returned significantly improved results irrespective of the three classification network structures, displaying the applicability of the method for semi-supervised image classification on remotely-sensed VHR images.

CNN 기반 초분광 영상 분류를 위한 PCA 차원축소의 영향 분석

곽태홍,송아람,김용일 대한원격탐사학회 2019 대한원격탐사학회지 Vol.35 No.6

CNN (Convolutional Neural Network) is one representative deep learning algorithm, which can extract high-level spatial and spectral features, and has been applied for hyperspectral image classification. However, one significant drawback behind the application of CNNs in hyperspectral images is the high dimensionality of the data, which increases the training time and processing complexity. To address this problem, several CNN based hyperspectral image classification studies have exploited PCA (Principal Component Analysis) for dimensionality reduction. One limitation to this is that the spectral information of the original image can be lost through PCA. Although it is clear that the use of PCA affects the accuracy and the CNN training time, the impact of PCA for CNN based hyperspectral image classification has been understudied. The purpose of this study is to analyze the quantitative effect of PCA in CNN for hyperspectral image classification. The hyperspectral images were first transformed through PCA and applied into the CNN model by varying the size of the reduced dimensionality. In addition, 2D-CNN and 3D-CNN frameworks were applied to analyze the sensitivity of the PCA with respect to the convolution kernel in the model. Experimental results were evaluated based on classification accuracy, learning time, variance ratio, and training process. The size of the reduced dimensionality was the most efficient when the explained variance ratio recorded 99.7%~99.8%. Since the 3D kernel had higher classification accuracy in the original-CNN than the PCA-CNN in comparison to the 2D-CNN, the results revealed that the dimensionality reduction was relatively less effective in 3D kernel. 대표적인 딥러닝(deep learning) 기법 중 하나인 Convolutional Neural Network(CNN)은 고수준의 공간- 분광 특징을 추출할 수 있어 초분광 영상 분류(Hyperspectral Image Classification)에 적용하는 연구가 활발히 진행되고 있다. 그러나 초분광 영상은 높은 분광 차원이 학습 과정의 시간과 복잡도를 증가시킨다는 문제가 있어 이를 해결하기 위해 기존 딥러닝 기반 초분광 영상 분류 연구들에서는 차원축소의 목적으로 Principal Component Analysis (PCA)를 적용한 바 있다. PCA는 데이터를 독립적인 주성분의 축으로 변환시킬 수 있어 분광 차원을 효율적으로 압축할 수 있으나, 분광 정보의 손실을 초래할 수 있다. PCA의 사용 유무가 CNN 학습의정확도와 시간에 영향을 미치는 것은 분명하지만 이를 분석한 연구가 부족하다. 본 연구의 목적은 PCA를 통한분광 차원축소가 CNN에 미치는 영향을 정량적으로 분석하여 효율적인 초분광 영상 분류를 위한 적절한 PCA 의 적용 방법을 제안하는 데에 있다. 이를 위해 PCA를 적용하여 초분광 영상을 축소시켰으며, 축소된 차원의크기를 바꿔가며 CNN 모델에 적용하였다. 또한, 모델 내의 컨볼루션(convolution) 연산 방식에 따른 PCA의 민감도를 분석하기 위해 2D-CNN과 3D-CNN을 적용하여 비교 분석하였다. 실험결과는 분류정확도, 학습시간, 분산 비율, 학습 과정을 통해 분석되었다. 축소된 차원의 크기가 분산 비율이 99.7~8%인 주성분 개수일 때 가장 효율적이었으며, 3차원 커널 경우 2D-CNN과는 다르게 원 영상의 분류정확도가 PCA-CNN보다 더 높았으며, 이를 통해 PCA의 차원축소 효과가 3차원 커널에서 상대적으로 적은 것을 알 수 있었다.

Haze-Guided Weight Map 기반 다중해상도 변환 기법을 활용한 가시광 및 SWIR 위성영상 융합

곽태홍,김용일 대한원격탐사학회 2023 대한원격탐사학회지 Vol.39 No.3

With the development of sensor and satellite technology, numerous high-resolution andmulti-spectral satellite images have been available. Due to their wavelength-dependent reflection,transmission, and scattering characteristics, multi-spectral satellite images can provide complementaryinformation for earth observation. In particular, the short-wave infrared (SWIR) band can penetratecertain types of atmospheric aerosols from the benefit of the reduced Rayleigh scattering effect, whichallows for a clearer view and more detailed information to be captured from hazed surfaces comparedto the visible band. In thisstudy, we proposed a multi-resolution transform-based image fusion methodto combine visible and SWIR satellite images. The purpose of the fusion method is to generate a singleintegrated image that incorporates complementary information such as detailed background informationfrom the visible band and land cover information in the haze region from the SWIR band. For thispurpose, this study applied the Laplacian pyramid-based multi-resolution transform method, which isa representative image decomposition approach for image fusion. Additionally, we modified the multiresolution fusion method by combining a haze-guided weight map based on the prior knowledge thatSWIR bands contain more information in pixels from the haze region. The proposed method wasvalidated using very high-resolution satellite images from Worldview-3, containing multi-spectralvisible and SWIR bands. The experimental data including hazed areas with limited visibility causedby smoke from wildfires was utilized to validate the penetration properties of the proposed fusionmethod. Both quantitative and visual evaluations were conducted using image quality assessmentindices. The results showed that the bright features from the SWIR bands in the hazed areas were successfully fused into the integrated feature maps without any loss of detailed information from thevisible bands.

Street View Image를 활용한 서울시 긴급출동 지연요인 및 최적경로 분석

곽태홍(Kwak, Tae Hong),이봉주(Lih, Bong Joo),김정옥(Kim, Jung Ok) 한국측량학회 2024 한국측량학회지 Vol.42 No.4

수많은 인구가 밀집한 서울시는 소방 긴급출동 서비스와 같은 도시 공공서비스에 대한 수요가 매우 높다. 긴급출동 서비스에서는 골든타임 확보가 화재사고의 생존율에 직결되며, 이에 서울시에서는 소방차량의 진입이 곤란한 지역에 대한 주기적인 소방순찰 및 현장조사를 실시하고 있다. 그러나 실제 긴급출동 시 현장의 도로상황이 사전조사 정보와 상이한 경우가 빈번하고, 인력과 시간적 비용의 관점에서 현장조사의 한계가 존재하는 상황이다. 이에 본 연구에서는 street view image를 활용하여 긴급출동 지연에 미치는 요인들을 분석하고 응답시간과의 상관관계를 파악하고자 하였다. 이를 위해 딥러닝 모델을 활용하여 대량의 street view image로부터 가로요인에 대한 정보를 추출하여 공간회귀분석에 적용하였다. 또한, 지연요인에 대한 가중치 기반의 지연계수를 제안하고 이를 최적경로 분석에 반영하여 응답시간과 지연요인, 그리고 최적경로 간의 정량적 관계성을 분석하였다. 본 연구의 결과를 통해 깊이감, 전봇대, 벽과 같은 가로요인이 출동 지연에 유의한 영향을 미치며, 이러한 정보들이 street view image와 딥러닝 모델을 통해 효율적으로 추출될 수 있음을 확인하였다. Seoul of Korea, where many people live in densely populated areas, has a high demand for urban public services such as fire and emergency response services. The “golden time”, which is directly related to the mortality rate, is a very important key in emergency response service. Accordingly, the city of Seoul has been introducing periodic fire patrols and on-site investigations for roads and in alleys through which fire engines cannot pass easily. However, in actual emergency situations, the real-time road conditions often differ from the preliminary survey results. Therefore, this study utilized street-view images to analyze the delay factors affecting fire services and identify their correlations with response time. For this purpose, a deep-learning model was applied to extract information about street factors from a large number of street-view images. In addition, a delay coefficient was proposed based on the weight of the delay factors and was reflected in the optimal path analysis to confirm the quantitative relationships among response time, delay factors, and path determination. The results of this study demonstrated that street factors, such as depth, utility poles, and walls, have a significant impact on fire service delay and that these factors can be efficiently extracted by utilizing street-view images and deep-learning models.

Hall Effect Sensor와 9-Axis Sensor를 이용한 Expansion Joint 모션 분석

곽태홍(Tae-Hong Kwag),김상현(Sang-Hyun Kim),김원중(Won-Jung Kim) 한국전자통신학회 2021 한국전자통신학회 논문지 Vol.16 No.2

화학공장과 같은 장치산업은 고온ㆍ고압ㆍ유독성 유체가 배관을 통하여 각종 설비들 사이를 이동한다. 온도변화, 진동, 지진, 지반침하와 같은 주변환경의 변화에 의한 배관의 위치 이동과 파손은 인명피해를 수반하는 큰 사고로 연결되는 경우가 많다. 이러한 사고를 방지하기 위하여 배관에 가해지는 각종 충격을 흡수하고, 보완하여 사고를 미연에 방지하기 위한 여러 가지 종류의 익스펜션 조인트(Expansion Joint)를 사용한다. 따라서 사용된 익스펜션 조인트의 변형을 측정하고, 수명을 예측하는 것은 대형사고를 방지하기 위하여 매우 중요하다. 본 논문에서는 익스펜션 조인트의 변형을 일종의 모션으로 이해하고, Hall Effect Sensor와 9-Axis Sensor를 사용하여 변화를 측정하였다. 그리고 범용의 마이컴보드 아두이노와 C언어를 사용하여 측정된 데이터를 모으고, 분석하여 익스펜션 조인트의 변형을 예측할 수 있는 시스템에 대하여 연구하였다. In the equipment industry such as chemical plants, high temperature, high pressure, and toxic fluids move between various facilities through piping. The movement and damage of pipes due to changes in the surrounding environment such as temperature changes, vibrations, earthquakes, and ground subsidence often lead to major accidents involving personal injury. In order to prevent such an accident, various types of expansion joints are used to absorb and supplement various shocks applied to the pipe to prevent accidents in advance. Therefore, it is very important to measure the deformation of the used expansion joint and predict its lifespan to prevent a major accident. In this paper, the deformation of the expansion joint was understood as a kind of motion, and the change was measured using a Hall Effect Sensor and a 9-Axis Sensor. In addition, we studied a system that can predict the deformation of expansion joints by collecting and analyzing the measured data using a general-purpose microcomputer (Arduino Board) and C language.

딥러닝 기반 연기추출을 위한 구름 데이터셋의 전이학습에 대한 연구

김지용,곽태홍,김용일 대한원격탐사학회 2022 대한원격탐사학회지 Vol.38 No.5

중, 고해상도 광학위성은 산불발생지역의 탐지에 대해 그 효용성이 입증되었다. 그러나 산불과 함께 발생하는 연기는 지표에 입사하는 가시광선을 산란시키므로 산불발생지역의 모니터링에 방해가 되며 따라서 연기를 사전에 추출하는 기술이 필요하다. 딥러닝 기술은 연기추출의 정확도를 향상시킬 수 있으나, 학습용 데이터셋의 부족으로 인해 적용에 한계가 있다. 반면에 연기와 유사하게 가시광선을 산란시키는 성질을 지닌 구름은 현재까지 다량의 학습용 데이터셋이 축적되었다. 본 연구는 딥러닝을 활용하여 연기추출을 고도화하는 것이 그 목적이며, 그 과정에서 데이터셋의 부족에 따른 연기추출의 한계점을 구름을 활용한 전이학습으로 해결했다. 전이학습의 효율성 확인을 위해 본 연구에서는 Landsat-8 위성영상을 기반으로 연기추출 학습용 데이터셋을 소규모로 제작한 후, 공공 구름 데이터셋을 활용하여 전이학습을 적용하기 전과 후의 연기추출 성능을 비교하였다. 그 결과 가시광선 파장대역 뿐만이 아니라 근적외선(NIR)과 단파장 적외선(SWIR) 영역에도 전이학습시 성능이 뚜렷하게 향상됨을 확인할 수 있었다. 본 연구결과를 통해서 연기추출의 데이터셋의 부족을 해결할 수 있을 것으로 보이며, 더 나아가 연기추출의 고도화를 통해서 산불발생지역의 모니터링에 이점을 제시할수 있을 것이다.