Sentinel-2 위성영상과 U-Net을 이용한 산불 피해지 추출 방법 연구

채한성,최진무 대한지리학회 2024 대한지리학회지 Vol.59 No.2

최근 기후 온난화 경향이 심해짐에 따라 산불의 피해가 더욱 심해질 것으로 예상된다. 산불 피해 지역의 영향과 복구 등 효과적인 대응을 위해 산불 피해 지역의 공간 정보를 신속하고 정확하게 추출할 필요가 있다. 본 연구는 Sentinel-2 위성영상과 참조자료를 이용하여 딥러닝 기반 의미론적 분할모델인 U-Net을 훈련하고, 이를 바탕으로 산불 피해 지역을 추출하는 방법을 제시하고자 하였다. 이를 위해 2016년부터 2022년까지 국내 발생 산불 중 303건의 산불과 353장의 산불 영상에 대해 육안 판독에 기반하여 참조자료를 생성하고, 의미론적 분할모델인 U-Net을 훈련하였다. U-Net을 이용하여 추출한 결과는 전통적 위성영상 분류법 중 하나인 ISODATA 기법을 이용한 결과와 함께 정확도를 비교 및 평가하였다. 비교 결과 U-Net을 이용하는 것이 ISODATA보다 더 정확하게 산불 피해 지역을 추출하는 것으로 나타났다. U-Net 모델의 성능을 더 높일 수 있도록 학습자료를 보충하고, 일련의 과정을 자동화하면 시계열 국내 산불 피해 지역의 공간자료를 쉽게 생산할 수 있어 재난 관리 및 관련 연구에서 활용할 수 있을 것이다. With the recent trend of climate warming, wildfires are expected to become more severe. It is essential to promptly and accurately extract spatial information on wildfire-affected areas for effective response, including impact assessment and facilitating recovery efforts. This study aims to train U-Net, a deep learning-based semantic segmentation model, using Sentinel-2 satellite imagery and reference data, and propose a method for extracting wildfire-affected areas based on it. To achieve this, we generated reference data through visual inspection for 303 wildfires and 353 wildfire images in Korea from 2016 to 2022, subsequently training the U-Net model. The extracted results from U-Net were then compared and evaluated for accuracy against those obtained using ISODATA, a traditional satellite image classification method. Our findings indicate that U-Net demonstrates superior accuracy in extracting wildfire-affected areas compared to ISODATA. By augmenting the training data to further enhance the U-Net model’s performance and automating the process, we can readily generate time-series spatial data of wildfireaffected areas in Korea. Such data can prove invaluable for disaster management and related research endeavors.

U-net기반 동적 연기 탐지 기법

곽경민,노영주,Gwak, Kyung-Min,Rho, Young J. 한국인터넷방송통신학회 2021 한국인터넷방송통신학회 논문지 Vol.21 No.4

4차 산업혁명 시대에 맞추어 인공지능 기술은 눈에 띄게 발전하고 있다. 그 중 CNN 등을 활용한 시각 데이터 기반의 인공지능이 활발히 연구 진행 중이다. 시각 기반 모델 중 하나인 U-net은 Semantic Segmentation에 강한 정확도를 보이고 있다. 기존의 U-net을 활용하여 여러 가지 연구들이 진행 되어왔지만 가스, 연기와 같이 외곽선이 뚜렷하지 않은 연구들은 아직 부족한 실정이다. 또한 이와 대조적으로 가스, 연기 탐지에 대해 많은 연구들이 진행이 되어왔지만 U-net 등을 활용하여 단순한 Detection이 아닌 Segmentation 연구는 부족하다. 이를 토대로 본 연구에서는 U-net을 활용하여 가스, 연기 등을 탐지하는 연구를 진행하였다. 본 논문에서는 설정한 실험환경에서 3D camera를 활용하여 데이터를 수집하고 학습 및 테스트 셋을 생성한 방법을 기술하고, U-net을 적용한 방법과 얻은 결과를 검증한 내용을 서술하고, 마지막으로 활용방안 등에 대하여 논하였다. Artificial intelligence technology is developing as it enters the fourth industrial revolution. Active researches are going on; visual-based models using CNNs. U-net is one of the visual-based models. It has shown strong performance for semantic segmentation. Although various U-net studies have been conducted, studies on tracking objects with unclear outlines such as gases and smokes are still insufficient. We conducted a U-net study to tackle this limitation. In this paper, we describe how 3D cameras are used to collect data. The data are organized into learning and test sets. This paper also describes how U-net is applied and how the results is validated.

YOLO V5의 생성 데이터를 이용한 병렬 U-Net 기반 의미론적 분할 방법

조국한,현광민,송영준 한국통신학회 2023 韓國通信學會論文誌 Vol.48 No.3

본 연구에서는 객체 인식 모델인 YOLO(You Only Look Once) V5로 바운딩 박스 이미지를 생성하고 이 이미지를 병렬 U-Net에 학습 데이터로 사용하여 의미론적 분할을 수행하는 시스템을 제안 및 구현한다. YOLO V5 학습에는 yolov5s 모델을 사용하고 차량 및 보행자를 바운딩 박스의 형태로 검출하여 이미지를 생성한다. 이렇게생성된 이미지 데이터는 병렬 U-Net의 학습 데이터로 사용한다. 제안한 병렬 U-Net은 원본 이미지와 YOLO V5 에서 출력한 이미지를 병렬 형태로 입력받아 학습하여 의미론적 분할을 수행한다. 제안한 시스템의 검출 성능을평가하기 위해 기존의 U-Net 및 U-Net3+의 의미론적 분할 결과와 비교하였다. YOLO V5의 학습 데이터로는BDD100K(Berkeley Deep Drive 100K)를 사용하였으며 실험 결과, 병렬 U-Net이 기존의 단일 U-Net보다0.1~0.2, U-Net3+보다 0.03~0.15 향상된 mIoU(Mean Intersection over Union)를 얻을 수 있었다.

딥 러닝을 이용한 영상 디블러링을 위한 새로운 U-Net

정우열,김성주,이창우 대한전기학회 2023 전기학회논문지 Vol.72 No.7

Many studies have been conducted for image deblurring, which is classified into non-blind and blind image deblurring techniques. Many iterative methods have been studied based on the maximum-a-posteriori (MAP) framework for image deblurring. Recently, deep learning methods for blind image deblurring have attracted a lot of attention for their excellent performance. In this paper, a method for improving the performance of the blind image deblurring using deep learning is proposed by introducing a new structure of U-Net. U-Net is used as a deep neural network for deep learning in various image processing fields. We propose a new U-Net by using short cut and parallel structure in each stage of contractive and expansive path for U-Net, and pre-processing and post-processing are used for the proposed new U-Net to improve the deblurring performance. Extensive computer simulations are performed to evaluate the image deblurring performance for motion blur and Gaussian blur, and it is shown that the proposed U-Net shows superior image deblurring performance compared to the conventional U-Net.

SegNet과 U-Net을 활용한 동남아시아 지역 홍수탐지

김준우,전현균,김덕진 대한원격탐사학회 2020 大韓遠隔探査學會誌 Vol.36 No.5

Flood monitoring using satellite data has been constrained by obtaining satellite images for flood peak and accurately extracting flooded areas from satellite data. Deep learning is a promising method for satellite image classification, yet the potential of deep learning-based flooded area extraction using SAR data remained uncertain, which has advantages in obtaining data, comparing to optical satellite data. This research explores the performance of SegNet and U-Net on image segmentation by extracting flooded areas in the Khorat basin, Mekong river basin, and Cagayan river basin in Thailand, Laos, and the Philippines from Sentinel-1 A/B satellite data. Results show that Global Accuracy, Mean IoU, and Mean BF Score of SegNet are 0.9847, 0.6016, and 0.6467 respectively, whereas those of U-Net are 0.9937, 0.7022, 0.7125. Visual interpretation shows that the classification accuracy of U-Net is higher than SegNet, but overall processing time of SegNet is around three times faster than that of U-Net. It is anticipated that the results of this research could be used when developing deep learning-based flood monitoring models and presenting fully automated flooded area extraction models. 홍수 발생 시 위성영상을 활용하여 침수된 지역을 추출하는 것은 홍수 발생 기간 내의 위성영상 취득과영상에 나타난 침수구역의 정확한 분류 등에서 많은 어려움이 존재한다. 딥러닝은 전통적인 영상분류기법들에 비해 보다 정확도가 높은 위성영상분류기법으로 주목받고 있지만, 광학영상에 비해 홍수 발생 시 위성영상의 취득이 용이한 SAR 영상의 분류 잠재력은 아직 명확히 규명되지 않았다. 본 연구는 대표적인 의미론적 영상 분할을 위한 딥러닝 모델인 SegNet과 U-Net을 활용하여 동남아시아의 라오스, 태국, 필리핀의 대표적인 홍수 발생지역인 코랏 유역(Khorat basin), 메콩강 유역(Mekong river basin), 카가얀강 유역(Cagayan river basin)에대해 Sentinel-1 A/B 위성영상으로부터 침수지역 추출을 실시하였다. 분석결과 침수지역 탐지에서 SegNet의 Global Accuracy, Mean IoU, Mean BF Score는 각각 0.9847, 0.6016, 0.6467로 나타났으며, U-Net의Global Accuracy, Mean IoU, Mean BF Score는 각각 0.9937, 0.7022, 0.7125로 나타났다. 국지적 분류결과 확인을 위한 육안검증에서 U-Net이 SegNet에 비해 보다 높은 분류 정확도를 보여주었지만, 모델의 훈련에 필요한 시간은 67분 17초와187분 19초가 각각 소요되어 SegNet이 U-Net에 비해 약 3배 정도 빠른 처리속도를 보여주었다. 본 연구의 결과는 향후 딥러닝 기법을 활용한 SAR 영상기반의 홍수탐지 모델과 실무적으로 활용이 가능한 자동화된 딥러닝기반의 수계탐지 기법의 제시를 위한 중요한 참고자료로 활용될 수 있을 것으로 판단된다.

경량화 U-Net을 사용한 엣지 디바이스용 미세플라스틱 이미지 분할

문상준,최다솜,이광희,정지현,이혜미,박선욱,장경선 한국정보과학회 2024 정보과학회 컴퓨팅의 실제 논문지 Vol.30 No.4

해양 생태계에 부적절한 영향을 끼치는 미세플라스틱을 검출하여 배출되는 양을 줄이는 작업이 필요하다. 미세플라스틱은 현미경 이미지 분할 딥러닝 모델을 적용해 검출할 수 있는데, 정확도를 높이기 위해서는 데이터의 다운샘플링을 지양하는 것이 중요하다. 하지만, 이를 위해서는 일반적으로 모델의 파라미터 및 연산량이 증가하는 문제가 있어 휴대형 장치에 실시간으로 동작하기 어렵다. 따라서 딥러닝 모델을 휴대형 장치를 사용해 현장에서 채취한 시료로부터 즉각 미세플라스틱을 검출하는 과정에는 적용하기 위해서는 데이터의 해상도를 유지하되 경량화 된 모델이 필요하다. 모델 경량화 실험을 위해서 이미지 분할 분야의 대표적인 모델인 U-Net의 합성곱 계층에 기존의 다양한 경량화 방법을 적용하여 U-Net과의 성능을 비교하였다. Depthwise Separable 합성곱 계층을 사용한 경우 U-Net에 비하여 유사한 mIoU 성능을 보이며, 82.6% 감소된 연산량을 보였다. 또 행렬 분해 및 Group 합성곱을 적용한 경우는 U-Net에 비해 7.41%의 mIoU 성능 하락이 있었지만, 99.55% 감소된 연산량을 보인다. 이는 현장에서 즉각적으로 데이터를 취득해야 하는 휴대형 장치에 적용해 이점을 얻을 수 있을 것으로 생각된다. There is a need to detect microplastics that adversely affect marine ecosystems and reduce their emissions. Microplastics can be detected by applying deep learning models to segment microscopic images. While it is important to avoid downsampling the data to improve accuracy, this usually requires an increase in model parameters and computation, making it difficult to operate in real-time on mobile devices. Therefore, to apply deep learning models to the process of instant microplastic detection from samplescollected in the field using mobile devices, a lightweight model is required while maintaining the resolution of the data. For the model lightweight experiment, we applied various existing lightweight methods to the convolution layer of U-Net, a representative model in the image segmentation field, and compared its performance with U-Net. The Depthwise Separable convolution layer shows mIoU performance that is comparable to that of U-Net, with 82.6% less computation. In addition, the Matrix Factorization and Group convolution layers show 99.55% less computation, although there is a 7.41% mIoU performance drop compared to U-Net. This is thought to be beneficial for mobile devices that require immediate data acquisition in the field.

이중 분기 디코더를 사용하는 복소 중첩 U-Net 기반 음성 향상 모델

황서림,박성욱,박영철 한국음향학회 2024 韓國音響學會誌 Vol.43 No.2

본 논문에서는 이중 분기 디코더를 갖는 복소 중첩 U-Net 기반의 새로운 음성 향상 모델을 제안하였다. 제안된모델은 음성 신호의 크기와 위상 성분을 동시에 추정할 수 있도록 복소 중첩 U-Net으로 구성되며, 디코더는 스펙트럼사상과 시간 주파수 마스킹을 각각의 분기에서 수행하는 이중 분기 디코더 구조를 갖는다. 이때, 이중 분기 디코더 구조는 단일 디코더 구조에 비하여, 음성 정보의 손실을 최소화하면서 잡음을 효과적으로 제거할 수 있도록 한다. 실험은음성 향상 모델 학습을 위해 보편적으로 사용되는 VoiceBank + DEMAND 데이터베이스 상에서 이루어졌으며, 다양한 객관적 평가 지표를 통해 평가되었다. 실험 결과, 이중 분기 디코더를 사용하는 복소 중첩 U-Net 기반 음성 향상 모델은 기존의 베이스라인과 비교하여 Perceptual Evaluation of Speech Quality(PESQ) 점수가 0.13가량 증가하였으며, 최근 제안된 음성 향상 모델들보다도 높은 객관적 평가 점수를 보였다. This paper proposes a new speech enhancement model based on a complex nested U-Net with a dual-branch decoder. The proposed model consists of a complex nested U-Net to simultaneously estimate the magnitude and phase components of the speech signal, and the decoder has a dual-branch decoder structure that performs spectral mapping and time-frequency masking in each branch. At this time, compared to the single-branch decoder structure, the dual-branch decoder structure allows noise to be effectively removed while minimizing the loss of speech information. The experiment was conducted on the VoiceBank + DEMAND database, commonly used for speech enhancement model training, and was evaluated through various objective evaluation metrics. As a result of the experiment, the complex nested U-Net-based speech enhancement model using a dual-branch decoder increased the Perceptual Evaluation of Speech Quality (PESQ) score by about 0.13 compared to the baseline, and showed a higher objective evaluation score than recently proposed speech enhancement models.

갑상선 초음파 영상의 평활화 알고리즘에 따른 U-Net 기반 학습 모델 평가

정무진(Moo-Jin Jeong),오주영(Joo-Young Oh),박훈희(Hoon-Hee Park),이주영(Joo-Young Lee) 대한방사선과학회(구 대한방사선기술학회) 2024 방사선기술과학 Vol.47 No.1

This study aims to evaluate the performance of the U-Net based learning model that may vary depending on the histogram equalization algorithm. The subject of the experiment were 17 radiology students of this college, and 1,727 data sets in which the region of interest was set in the thyroid after acquiring ultrasound image data were used. The training set consisted of 1,383 images, the validation set consisted of 172 and the test data set consisted of 172. The equalization algorithm was divided into Histogram Equalization(HE) and Contrast Limited Adaptive Histogram Equalization(CLAHE), and according to the clip limit, it was divided into CLAHE8-1, CLAHE8-2. CLAHE8-3. Deep Learning was learned through size control, histogram equalization, Z-score normalization, and data augmentation. As a result of the experiment, the Attention U-Net showed the highest performance from CLAHE8-2 to 0.8355, and the U-Net and BSU-Net showed the highest performance from CLAHE8-3 to 0.8303 and 0.8277. In the case of mIoU, the Attention U-Net was 0.7175 in CLAHE8-2, the U-Net was 0.7098 and the BSU-Net was 0.7060 in CLAHE8-3. This study attempted to confirm the effects of U-Net, Attention U-Net, and BSU-Net models when histogram equalization is performed on ultrasound images. The increase in Clip Limit can be expected to increase the ROI match with the prediction mask by clarifying the boundaries, which affects the improvement of the contrast of the thyroid area in deep learning model learning, and consequently affects the performance improvement.

Sentienl-1 SAR 영상을 활용한 유류 분포특성과 CNN 구조에 따른 유류오염 탐지모델 성능 평가

박소연 ( Soyeon Park ),안명환 ( Myoung-hwan Ahn ),이성뢰 ( Chenglei Li ),김준우 ( Junwoo Kim ),전현균 ( Hyungyun Jeon ),김덕진 ( Duk-jin Kim ) 대한원격탐사학회 2021 大韓遠隔探査學會誌 Vol.37 No.5

SAR 이미지의 통계적 특징을 이용하여 유류오염영역을 특정하는 방법은 분류규칙이 복잡하고 이상값에 의한 영향을 많이 받는다는 한계가 있어, 최근 인공신경망을 기반으로 유류오염영역을 특정하는 연구가 활발히 이루어지고 있다. 하지만, 다양한 유류오염 사례에 대해 모델의 탐지 성능 및 특성을 평가한 연구는 부족하였다. 따라서, 본 연구에서는 기본적인 구조의 CNN인 Simple CNN과 픽셀 단위의 영상 분할이 가능한 U-net을 이용하여, CNN의 구조와, 유류오염의 분포특성에 따른 모델의 탐지성능차이가 존재하는지 분석하였다. 연구결과, 축소경로만 존재하는Simple CNN과 축소경로와 확장경로가 모두 존재하는U-net의 F1 score는 86.24%와 91.44%로 나타나, 두 모델 모두 비교적 높은 탐지 정확도를 보여주었지만, U-net의 탐지성능이 더 높은 것으로 나타났다. 또한 다양한 유류오염 사례에 따른 모델의 성능 비교를 위해, 유류오염의 공간적 분포특성(유류오염 주변의 육지의 분포)과 선명도(유출된 기름과 해수의 경계면이 뚜렷한 정도)를 기준으로, 유류오염 발생 사례를 4가지 유형으로 구분하여 탐지 정확도를 평가하였다. Simple CNN은 각각의 유형에 대해 F1 score가 85.71%, 87.43%, 86.50%, 85.86% 로 유형별 최대 편차가 1.71%인 것으로 나타났으며, U-net은 동일한 지표에 대해 89.77%, 92.27%, 92.59%, 92.66%의 F1 score를 보여 최대 편차가 2.90% 로 두 CNN모델 모두 유류오염 분포 특성에 따른 수치상 탐지성능의 차이는 크지 않은 것으로 나타났다. 하지만 모든 유류오염 유형에서 Simple CNN은 오염영역을 과대탐지 하는 경향을, U-net은 과소탐지 하는 경향을 보여, 모델의 구조와 유류오염의 유형에 따라 서로 다른 탐지 특성을 가진다는 것을 확인하였고, 이러한 특성은 유류오염과 해수의 경계면이 뚜렷하지 않은 경우 더 두드러지게 나타났다. Detecting oil spill area using statistical characteristics of SAR images has limitations in that classification algorithm is complicated and is greatly affected by outliers. To overcome these limitations, studies using neural networks to classify oil spills are recently investigated. However, the studies to evaluate whether the performance of model shows a consistent detection performance for various oil spill cases were insufficient. Therefore, in this study, two CNNs (Convolutional Neural Networks) with basic structures (Simple CNN and U-net) were used to discover whether there is a difference in detection performance according to the structure of CNN and distribution characteristics of oil spill. As a result, through the method proposed in this study, the Simple CNN with contracting path only detected oil spill with an F1 score of 86.24% and U-net, which has both contracting and expansive path showed an F1 score of 91.44%. Both models successfully detected oil spills, but detection performance of the U-net was higher than Simple CNN. Additionally, in order to compare the accuracy of models according to various oil spill cases, the cases were classified into four different categories according to the spatial distribution characteristics of the oil spill (presence of land near the oil spill area) and the clarity of border between oil and seawater. The Simple CNN had F1 score values of 85.71%, 87.43%, 86.50%, and 85.86% for each category, showing the maximum difference of 1.71%. In the case of U-net, the values for each category were 89.77%, 92.27%, 92.59%, and 92.66%, with the maximum difference of 2.90%. Such results indicate that neither model showed significant differences in detection performance by the characteristics of oil spill distribution. However, the difference in detection tendency was caused by the difference in the model structure and the oil spill distribution characteristics. In all four oil spill categories, the Simple CNN showed a tendency to overestimate the oil spill area and the U-net showed a tendency to underestimate it. These tendencies were emphasized when the border between oil and seawater was unclear.

U-Net 모델에 기반한 기간별 추출 소나무 고사목 데이터를 이용한 정사영상 탐지 정밀도 향상 연구

김성훈,권기욱,김준현 한국측량학회 2022 한국측량학회지 Vol.40 No.4

소나무 재선충 피해나무는 줄어들고 있으나, 피해 지역은 전국으로 확대되고 있다. 최근에 딥러닝 기술이 발전하 면서 소나무재선충 고사목 탐지 연구에 적용이 빠르게 시도되고 있다. 본 연구의 목적은 딥러닝 학습데이터의 효과 적인 취득과 정확한 참값을 확보하고, 학습을 통해 U-Net 모델의 탐지능력을 보다 향상시키기 위함이다. 이러한 목 적달성을 위해 단계별 딥러닝 알고리즘을 적용한 필터링 방법을 이용하여 딥러닝 모델의 불명확한 분석 근거를 최 소화하고, 효율적인 분석 및 판단을 할 수 있도록 하였다. 분석결과 U-Net알고리즘을 이용한 소나무재선충 고사목 탐지 및 성능향상에 있어 기간별로 분석한 참값을 이용한 U-Net 모델이 기존에 제공하였던 참값을 이용한 U-Net 모델보다 재현율(Recall)은 –0.5%p, 정밀도(Precision)은 7.6%p, F-1 score는 4.1%p로 분석되었다. 향후 다양한 필 터링 기법을 적용하여 재선충 탐지 정밀도를 높일 수 있는 가능성이 있을 것으로 판단되며, 드론 정사영상과 인공 지능을 이용한 드론 예찰방법이 소나무재선충 방제 사업에 활용 가능할 것으로 판단된다.