Sentinel-2 위성영상과 U-Net을 이용한 산불 피해지 추출 방법 연구

채한성,최진무 대한지리학회 2024 대한지리학회지 Vol.59 No.2

최근 기후 온난화 경향이 심해짐에 따라 산불의 피해가 더욱 심해질 것으로 예상된다. 산불 피해 지역의 영향과 복구 등 효과적인 대응을 위해 산불 피해 지역의 공간 정보를 신속하고 정확하게 추출할 필요가 있다. 본 연구는 Sentinel-2 위성영상과 참조자료를 이용하여 딥러닝 기반 의미론적 분할모델인 U-Net을 훈련하고, 이를 바탕으로 산불 피해 지역을 추출하는 방법을 제시하고자 하였다. 이를 위해 2016년부터 2022년까지 국내 발생 산불 중 303건의 산불과 353장의 산불 영상에 대해 육안 판독에 기반하여 참조자료를 생성하고, 의미론적 분할모델인 U-Net을 훈련하였다. U-Net을 이용하여 추출한 결과는 전통적 위성영상 분류법 중 하나인 ISODATA 기법을 이용한 결과와 함께 정확도를 비교 및 평가하였다. 비교 결과 U-Net을 이용하는 것이 ISODATA보다 더 정확하게 산불 피해 지역을 추출하는 것으로 나타났다. U-Net 모델의 성능을 더 높일 수 있도록 학습자료를 보충하고, 일련의 과정을 자동화하면 시계열 국내 산불 피해 지역의 공간자료를 쉽게 생산할 수 있어 재난 관리 및 관련 연구에서 활용할 수 있을 것이다. With the recent trend of climate warming, wildfires are expected to become more severe. It is essential to promptly and accurately extract spatial information on wildfire-affected areas for effective response, including impact assessment and facilitating recovery efforts. This study aims to train U-Net, a deep learning-based semantic segmentation model, using Sentinel-2 satellite imagery and reference data, and propose a method for extracting wildfire-affected areas based on it. To achieve this, we generated reference data through visual inspection for 303 wildfires and 353 wildfire images in Korea from 2016 to 2022, subsequently training the U-Net model. The extracted results from U-Net were then compared and evaluated for accuracy against those obtained using ISODATA, a traditional satellite image classification method. Our findings indicate that U-Net demonstrates superior accuracy in extracting wildfire-affected areas compared to ISODATA. By augmenting the training data to further enhance the U-Net model’s performance and automating the process, we can readily generate time-series spatial data of wildfireaffected areas in Korea. Such data can prove invaluable for disaster management and related research endeavors.

U-net기반 동적 연기 탐지 기법

곽경민,노영주,Gwak, Kyung-Min,Rho, Young J. 한국인터넷방송통신학회 2021 한국인터넷방송통신학회 논문지 Vol.21 No.4

4차 산업혁명 시대에 맞추어 인공지능 기술은 눈에 띄게 발전하고 있다. 그 중 CNN 등을 활용한 시각 데이터 기반의 인공지능이 활발히 연구 진행 중이다. 시각 기반 모델 중 하나인 U-net은 Semantic Segmentation에 강한 정확도를 보이고 있다. 기존의 U-net을 활용하여 여러 가지 연구들이 진행 되어왔지만 가스, 연기와 같이 외곽선이 뚜렷하지 않은 연구들은 아직 부족한 실정이다. 또한 이와 대조적으로 가스, 연기 탐지에 대해 많은 연구들이 진행이 되어왔지만 U-net 등을 활용하여 단순한 Detection이 아닌 Segmentation 연구는 부족하다. 이를 토대로 본 연구에서는 U-net을 활용하여 가스, 연기 등을 탐지하는 연구를 진행하였다. 본 논문에서는 설정한 실험환경에서 3D camera를 활용하여 데이터를 수집하고 학습 및 테스트 셋을 생성한 방법을 기술하고, U-net을 적용한 방법과 얻은 결과를 검증한 내용을 서술하고, 마지막으로 활용방안 등에 대하여 논하였다. Artificial intelligence technology is developing as it enters the fourth industrial revolution. Active researches are going on; visual-based models using CNNs. U-net is one of the visual-based models. It has shown strong performance for semantic segmentation. Although various U-net studies have been conducted, studies on tracking objects with unclear outlines such as gases and smokes are still insufficient. We conducted a U-net study to tackle this limitation. In this paper, we describe how 3D cameras are used to collect data. The data are organized into learning and test sets. This paper also describes how U-net is applied and how the results is validated.

YOLO V5의 생성 데이터를 이용한 병렬 U-Net 기반 의미론적 분할 방법

조국한,현광민,송영준 한국통신학회 2023 韓國通信學會論文誌 Vol.48 No.3

본 연구에서는 객체 인식 모델인 YOLO(You Only Look Once) V5로 바운딩 박스 이미지를 생성하고 이 이미지를 병렬 U-Net에 학습 데이터로 사용하여 의미론적 분할을 수행하는 시스템을 제안 및 구현한다. YOLO V5 학습에는 yolov5s 모델을 사용하고 차량 및 보행자를 바운딩 박스의 형태로 검출하여 이미지를 생성한다. 이렇게생성된 이미지 데이터는 병렬 U-Net의 학습 데이터로 사용한다. 제안한 병렬 U-Net은 원본 이미지와 YOLO V5 에서 출력한 이미지를 병렬 형태로 입력받아 학습하여 의미론적 분할을 수행한다. 제안한 시스템의 검출 성능을평가하기 위해 기존의 U-Net 및 U-Net3+의 의미론적 분할 결과와 비교하였다. YOLO V5의 학습 데이터로는BDD100K(Berkeley Deep Drive 100K)를 사용하였으며 실험 결과, 병렬 U-Net이 기존의 단일 U-Net보다0.1~0.2, U-Net3+보다 0.03~0.15 향상된 mIoU(Mean Intersection over Union)를 얻을 수 있었다.

전기 정전용량을 기반으로 U-net 모델을 이용한 반도체후단 공정의 잔류물 모니터링

전민호,아닐쿠바,김경연 한국전기전자학회 2024 전기전자학회논문지 Vol.28 No.2

본 논문에서는, 시뮬레이션 상에서 반도체 후단 공정의 프로세스를 구현하고 파이프 내부 상황을 모니터링하기 위해 전기 정전용량을 기반으로 한 U-net 모델을 적용하였다. 배관에 부착된 전극에서 측정한 정전용량 값은 U-net 네트워크 모델의 입력 데이터로사용되며, 모델을 통해 추정한 유전율 분포를 가지고 파이프 단면을 이미지화하였다. 성능 평가를 위해 수치 시뮬레이션 얀에서U-net 모델, FCNN(Fully-connected neural network) 모델, Newton-Raphson 방법으로 재구성한 이미지를 비교한 결과,U-net이 다른 이미지 복원 방식보다 좋은 복원 성능을 보였다. In this study, U-net model based on electrical capacitance is applied to monitor the condition inside thepipeline of semiconductor rear end process implemented in the numerical simulation. Capacitance values measuredfrom electrodes attached to the pipeline is used as input data for the U-net network model and estimated permittivitydistribution by the U-net model is used to reconstructed cross-sectional image at the pipeline. In the numericalsimulation, images reconstructed by U-net model, Fully-connected neural network (FCNN) model and Newton-Raphson method are compared for evaluation. U-net model shows good results as compared to other models.

MEDU-Net+: a novel improved U-Net based on multi-scale encoder-decoder for medical image segmentation

Zhenzhen Yang,Xue Sun,Yongpeng, Yang,Xinyi Wu Korean Society for Internet Information 2024 KSII Transactions on Internet and Information Syst Vol.18 No.7

The unique U-shaped structure of U-Net network makes it achieve good performance in image segmentation. This network is a lightweight network with a small number of parameters for small image segmentation datasets. However, when the medical image to be segmented contains a lot of detailed information, the segmentation results cannot fully meet the actual requirements. In order to achieve higher accuracy of medical image segmentation, a novel improved U-Net network architecture called multi-scale encoder-decoder U-Net+ (MEDU-Net+) is proposed in this paper. We design the GoogLeNet for achieving more information at the encoder of the proposed MEDU-Net+, and present the multi-scale feature extraction for fusing semantic information of different scales in the encoder and decoder. Meanwhile, we also introduce the layer-by-layer skip connection to connect the information of each layer, so that there is no need to encode the last layer and return the information. The proposed MEDU-Net+ divides the unknown depth network into each part of deconvolution layer to replace the direct connection of the encoder and decoder in U-Net. In addition, a new combined loss function is proposed to extract more edge information by combining the advantages of the generalized dice and the focal loss functions. Finally, we validate our proposed MEDU-Net+ MEDU-Net+ and other classic medical image segmentation networks on three medical image datasets. The experimental results show that our proposed MEDU-Net+ has prominent superior performance compared with other medical image segmentation networks.

U-Net 기반 이미지 분할 및 병변 영역 식별을 활용한 반려견 피부질환 검출 모바일 앱

김보경(Bo Kyeong Kim),변재연(Jae Yeon Byun),차경애(Kyung-Ae Cha) 한국산업정보학회 2024 한국산업정보학회논문지 Vol.29 No.4

본 논문은 반려견의 피부질환 발병 여부와 부위를 추론하기 위해서 딥러닝 기반 U-Net 모델을 학습하여 이미지 촬영을 통한 반려견의 피부병 발병 여부와 추론되는 병명을 제공하는 애플리케이션을 개발하였다. U-Net은 의료영상 분야에서 주로 사용되는 영역 분할(Image Segmentation) 기반 학습 모델로써 폴리곤 형태의 특정 이미지 영역을 구분하는 데 효과적이다. 따라서 반려견의 피부 이미지에서 병변 영역 식별에 활용할 수 있다. 본 논문에서는 반려견의 6가지 주요 피부질환을 클래스로 정의하고 이를 분별하는 U-Net 모델을 학습시켰다. 이를 모바일 앱으로 구현하여 간단한 카메라 촬영으로 병변 분석과 예측 작업을 수행하여 결과를 제공한다. 이를 통해서 반려인들은 반려동물의 건강 상태를 관찰하고 조기 진단에 도움이 되는 정보를 얻을 수 있다. 이와 같이 딥러닝을 통해서 반려동물 건강관리에 신속하고 정확한 진단 도구를 제공함으로써 가정에서도 손쉽게 이용할 수 있는 서비스 개발에 중요한 의미를 두고 있다. This paper presents the development of a mobile application that detects and identifies canine skin diseases by training a deep learning-based U-Net model to infer the presence and location of skin lesions from images. U-Net, primarily used in medical imaging for image segmentation, is effective in distinguishing specific regions of an image in a polygonal form, making it suitable for identifying lesion areas in dogs. In this study, six major canine skin diseases were defined as classes, and the U-Net model was trained to differentiate among them. The model was then implemented in a mobile app, allowing users to perform lesion analysis and prediction through simple camera shots, with the results provided directly to the user. This enables pet owners to monitor the health of their pets and obtain information that aids in early diagnosis. By providing a quick and accurate diagnostic tool for pet health management through deep learning, this study emphasizes the significance of developing an easily accessible service for home use.

딥 러닝을 이용한 영상 디블러링을 위한 새로운 U-Net

정우열,김성주,이창우 대한전기학회 2023 전기학회논문지 Vol.72 No.7

Many studies have been conducted for image deblurring, which is classified into non-blind and blind image deblurring techniques. Many iterative methods have been studied based on the maximum-a-posteriori (MAP) framework for image deblurring. Recently, deep learning methods for blind image deblurring have attracted a lot of attention for their excellent performance. In this paper, a method for improving the performance of the blind image deblurring using deep learning is proposed by introducing a new structure of U-Net. U-Net is used as a deep neural network for deep learning in various image processing fields. We propose a new U-Net by using short cut and parallel structure in each stage of contractive and expansive path for U-Net, and pre-processing and post-processing are used for the proposed new U-Net to improve the deblurring performance. Extensive computer simulations are performed to evaluate the image deblurring performance for motion blur and Gaussian blur, and it is shown that the proposed U-Net shows superior image deblurring performance compared to the conventional U-Net.

경량화 U-Net을 사용한 엣지 디바이스용 미세플라스틱 이미지 분할

문상준,최다솜,이광희,정지현,이혜미,박선욱,장경선 한국정보과학회 2024 정보과학회 컴퓨팅의 실제 논문지 Vol.30 No.4

해양 생태계에 부적절한 영향을 끼치는 미세플라스틱을 검출하여 배출되는 양을 줄이는 작업이 필요하다. 미세플라스틱은 현미경 이미지 분할 딥러닝 모델을 적용해 검출할 수 있는데, 정확도를 높이기 위해서는 데이터의 다운샘플링을 지양하는 것이 중요하다. 하지만, 이를 위해서는 일반적으로 모델의 파라미터 및 연산량이 증가하는 문제가 있어 휴대형 장치에 실시간으로 동작하기 어렵다. 따라서 딥러닝 모델을 휴대형 장치를 사용해 현장에서 채취한 시료로부터 즉각 미세플라스틱을 검출하는 과정에는 적용하기 위해서는 데이터의 해상도를 유지하되 경량화 된 모델이 필요하다. 모델 경량화 실험을 위해서 이미지 분할 분야의 대표적인 모델인 U-Net의 합성곱 계층에 기존의 다양한 경량화 방법을 적용하여 U-Net과의 성능을 비교하였다. Depthwise Separable 합성곱 계층을 사용한 경우 U-Net에 비하여 유사한 mIoU 성능을 보이며, 82.6% 감소된 연산량을 보였다. 또 행렬 분해 및 Group 합성곱을 적용한 경우는 U-Net에 비해 7.41%의 mIoU 성능 하락이 있었지만, 99.55% 감소된 연산량을 보인다. 이는 현장에서 즉각적으로 데이터를 취득해야 하는 휴대형 장치에 적용해 이점을 얻을 수 있을 것으로 생각된다. There is a need to detect microplastics that adversely affect marine ecosystems and reduce their emissions. Microplastics can be detected by applying deep learning models to segment microscopic images. While it is important to avoid downsampling the data to improve accuracy, this usually requires an increase in model parameters and computation, making it difficult to operate in real-time on mobile devices. Therefore, to apply deep learning models to the process of instant microplastic detection from samplescollected in the field using mobile devices, a lightweight model is required while maintaining the resolution of the data. For the model lightweight experiment, we applied various existing lightweight methods to the convolution layer of U-Net, a representative model in the image segmentation field, and compared its performance with U-Net. The Depthwise Separable convolution layer shows mIoU performance that is comparable to that of U-Net, with 82.6% less computation. In addition, the Matrix Factorization and Group convolution layers show 99.55% less computation, although there is a 7.41% mIoU performance drop compared to U-Net. This is thought to be beneficial for mobile devices that require immediate data acquisition in the field.

SegNet과 U-Net을 활용한 동남아시아 지역 홍수탐지

김준우,전현균,김덕진 대한원격탐사학회 2020 大韓遠隔探査學會誌 Vol.36 No.5

Flood monitoring using satellite data has been constrained by obtaining satellite images for flood peak and accurately extracting flooded areas from satellite data. Deep learning is a promising method for satellite image classification, yet the potential of deep learning-based flooded area extraction using SAR data remained uncertain, which has advantages in obtaining data, comparing to optical satellite data. This research explores the performance of SegNet and U-Net on image segmentation by extracting flooded areas in the Khorat basin, Mekong river basin, and Cagayan river basin in Thailand, Laos, and the Philippines from Sentinel-1 A/B satellite data. Results show that Global Accuracy, Mean IoU, and Mean BF Score of SegNet are 0.9847, 0.6016, and 0.6467 respectively, whereas those of U-Net are 0.9937, 0.7022, 0.7125. Visual interpretation shows that the classification accuracy of U-Net is higher than SegNet, but overall processing time of SegNet is around three times faster than that of U-Net. It is anticipated that the results of this research could be used when developing deep learning-based flood monitoring models and presenting fully automated flooded area extraction models. 홍수 발생 시 위성영상을 활용하여 침수된 지역을 추출하는 것은 홍수 발생 기간 내의 위성영상 취득과영상에 나타난 침수구역의 정확한 분류 등에서 많은 어려움이 존재한다. 딥러닝은 전통적인 영상분류기법들에 비해 보다 정확도가 높은 위성영상분류기법으로 주목받고 있지만, 광학영상에 비해 홍수 발생 시 위성영상의 취득이 용이한 SAR 영상의 분류 잠재력은 아직 명확히 규명되지 않았다. 본 연구는 대표적인 의미론적 영상 분할을 위한 딥러닝 모델인 SegNet과 U-Net을 활용하여 동남아시아의 라오스, 태국, 필리핀의 대표적인 홍수 발생지역인 코랏 유역(Khorat basin), 메콩강 유역(Mekong river basin), 카가얀강 유역(Cagayan river basin)에대해 Sentinel-1 A/B 위성영상으로부터 침수지역 추출을 실시하였다. 분석결과 침수지역 탐지에서 SegNet의 Global Accuracy, Mean IoU, Mean BF Score는 각각 0.9847, 0.6016, 0.6467로 나타났으며, U-Net의Global Accuracy, Mean IoU, Mean BF Score는 각각 0.9937, 0.7022, 0.7125로 나타났다. 국지적 분류결과 확인을 위한 육안검증에서 U-Net이 SegNet에 비해 보다 높은 분류 정확도를 보여주었지만, 모델의 훈련에 필요한 시간은 67분 17초와187분 19초가 각각 소요되어 SegNet이 U-Net에 비해 약 3배 정도 빠른 처리속도를 보여주었다. 본 연구의 결과는 향후 딥러닝 기법을 활용한 SAR 영상기반의 홍수탐지 모델과 실무적으로 활용이 가능한 자동화된 딥러닝기반의 수계탐지 기법의 제시를 위한 중요한 참고자료로 활용될 수 있을 것으로 판단된다.

갑상선 초음파 영상의 평활화 알고리즘에 따른 U-Net 기반 학습 모델 평가

정무진(Moo-Jin Jeong),오주영(Joo-Young Oh),박훈희(Hoon-Hee Park),이주영(Joo-Young Lee) 대한방사선과학회(구 대한방사선기술학회) 2024 방사선기술과학 Vol.47 No.1

This study aims to evaluate the performance of the U-Net based learning model that may vary depending on the histogram equalization algorithm. The subject of the experiment were 17 radiology students of this college, and 1,727 data sets in which the region of interest was set in the thyroid after acquiring ultrasound image data were used. The training set consisted of 1,383 images, the validation set consisted of 172 and the test data set consisted of 172. The equalization algorithm was divided into Histogram Equalization(HE) and Contrast Limited Adaptive Histogram Equalization(CLAHE), and according to the clip limit, it was divided into CLAHE8-1, CLAHE8-2. CLAHE8-3. Deep Learning was learned through size control, histogram equalization, Z-score normalization, and data augmentation. As a result of the experiment, the Attention U-Net showed the highest performance from CLAHE8-2 to 0.8355, and the U-Net and BSU-Net showed the highest performance from CLAHE8-3 to 0.8303 and 0.8277. In the case of mIoU, the Attention U-Net was 0.7175 in CLAHE8-2, the U-Net was 0.7098 and the BSU-Net was 0.7060 in CLAHE8-3. This study attempted to confirm the effects of U-Net, Attention U-Net, and BSU-Net models when histogram equalization is performed on ultrasound images. The increase in Clip Limit can be expected to increase the ROI match with the prediction mask by clarifying the boundaries, which affects the improvement of the contrast of the thyroid area in deep learning model learning, and consequently affects the performance improvement.