U-Net 및 U-Net++ 구조 기반의 초단기 레이더 강우예측 모델 성능 비교

정민도,윤광석,권현한 한국수자원학회 2024 한국수자원학회논문집 Vol.57 No.11

본 연구에서는 딥러닝 기반의 U-Net++ 모형을 활용하여 강우 레이더 예측 모델을 개발하고, 기존의 U-Net 모형과의 성능을 정량적으로 비교하였다. 강우 예측의 성능 평가는 CSI(Critical Success Index)와 RMSE(Root Mean Square Error)를 이용하여 강우 임계치에 따라 선행시간별로 수행되었다. 연구 결과, U-Net++ 모형은 U-Net 모형에 비해 RMSE가 전반적으로 낮아, 양적 예측 성능이 향상되었음을 확인하였다. 반면, CSI의 경우 기존 U-Net 모형이 더 높은 값을 보여 강우 발생 여부 예측에 있어 우수한 성능을 나타냈다. 그러나 임계치가 커지고 선행시간이 증가함에 따라 두 모델 모두 CSI가 감소하고 RMSE가 증가하는 경향을 보였다. 또한, 소양강 유역의 유역 면적 강수량을 지상 강우, 강우 레이더, U-Net++ 모형, 그리고 U-Net 모형을 활용하여 비교하였다. 총 8개의 강우사상을 대상으로 10분 간격으로 누적 유역 면적 강수량을 산정한 결과, U-Net++ 모형은 선행시간이 길어질수록 다소 과대 추정되는 경향이 있었지만, 60분까지의 누적 유역 면적 강수량 예측 성능에서는 U-Net 모형보다 우수함을 보였다. 특히, 강우량이 상대적으로 많은 사상에서 U-Net++ 모형은 지상 강우 및 강우 레이더와의 높은 유사도를 나타내었으며, RMSE 분석에서도 더 낮은 중앙값과 적은 변동성을 보여 예측 성능이 우수함을 확인하였다. This study developed a rainfall radar nowcasting model using the deep learning based U-Net++ model and quantitatively compared its performance with the U-Net model. Performance evaluation of rainfall prediction was performed by the lead time according to the rainfall threshold using CSI(Critical success index), RMSE(Root Mean Square Error). As a result of the study, it was confirmed that the overall RMSE of the U-Net++ model was lower than that of the U-Net model, and thed quantitative prediction performance of rainfall was improved. On the other hand, in the case of CSI, the existing U-Net model showed a higher value, showing excellent performance in predicting the occurrence of rainfall. However, both models showed a tendency to decrease CSI and increase RMSE as the threshold increased and the lead time increased. In addition, the areal rainfall in the Soyang river basin was compared using ground rainfall, radar data, U-Net model, and U-Net++ model. As a result of calculating cumulative areal rainfall every 10 minutes for a total of 8 rainfall events, the U-Net++ model tended to be slightly overestimated as the lead time increased, but it was shown to be superior to the U-Net model in the cumulative areal rainfall prediction performance up to 60 minutes. In particular, the U-Net++ model showed high similarity to ground rainfall and rainfall and radar data in events with relatively high rainfall, and the RMSE analysis also showed lower median and less variability, confirming excellent prediction performance.

YOLO V5의 생성 데이터를 이용한 병렬 U-Net 기반 의미론적 분할 방법

조국한,현광민,송영준 한국통신학회 2023 韓國通信學會論文誌 Vol.48 No.3

본 연구에서는 객체 인식 모델인 YOLO(You Only Look Once) V5로 바운딩 박스 이미지를 생성하고 이 이미지를 병렬 U-Net에 학습 데이터로 사용하여 의미론적 분할을 수행하는 시스템을 제안 및 구현한다. YOLO V5 학습에는 yolov5s 모델을 사용하고 차량 및 보행자를 바운딩 박스의 형태로 검출하여 이미지를 생성한다. 이렇게생성된 이미지 데이터는 병렬 U-Net의 학습 데이터로 사용한다. 제안한 병렬 U-Net은 원본 이미지와 YOLO V5 에서 출력한 이미지를 병렬 형태로 입력받아 학습하여 의미론적 분할을 수행한다. 제안한 시스템의 검출 성능을평가하기 위해 기존의 U-Net 및 U-Net3+의 의미론적 분할 결과와 비교하였다. YOLO V5의 학습 데이터로는BDD100K(Berkeley Deep Drive 100K)를 사용하였으며 실험 결과, 병렬 U-Net이 기존의 단일 U-Net보다0.1~0.2, U-Net3+보다 0.03~0.15 향상된 mIoU(Mean Intersection over Union)를 얻을 수 있었다.

전기 정전용량을 기반으로 U-net 모델을 이용한 반도체후단 공정의 잔류물 모니터링

전민호,아닐쿠바,김경연 한국전기전자학회 2024 전기전자학회논문지 Vol.28 No.2

본 논문에서는, 시뮬레이션 상에서 반도체 후단 공정의 프로세스를 구현하고 파이프 내부 상황을 모니터링하기 위해 전기 정전용량을 기반으로 한 U-net 모델을 적용하였다. 배관에 부착된 전극에서 측정한 정전용량 값은 U-net 네트워크 모델의 입력 데이터로사용되며, 모델을 통해 추정한 유전율 분포를 가지고 파이프 단면을 이미지화하였다. 성능 평가를 위해 수치 시뮬레이션 얀에서U-net 모델, FCNN(Fully-connected neural network) 모델, Newton-Raphson 방법으로 재구성한 이미지를 비교한 결과,U-net이 다른 이미지 복원 방식보다 좋은 복원 성능을 보였다. In this study, U-net model based on electrical capacitance is applied to monitor the condition inside thepipeline of semiconductor rear end process implemented in the numerical simulation. Capacitance values measuredfrom electrodes attached to the pipeline is used as input data for the U-net network model and estimated permittivitydistribution by the U-net model is used to reconstructed cross-sectional image at the pipeline. In the numericalsimulation, images reconstructed by U-net model, Fully-connected neural network (FCNN) model and Newton-Raphson method are compared for evaluation. U-net model shows good results as compared to other models.

MEDU-Net+: a novel improved U-Net based on multi-scale encoder-decoder for medical image segmentation

Zhenzhen Yang,Xue Sun,Yongpeng, Yang,Xinyi Wu Korean Society for Internet Information 2024 KSII Transactions on Internet and Information Syst Vol.18 No.7

The unique U-shaped structure of U-Net network makes it achieve good performance in image segmentation. This network is a lightweight network with a small number of parameters for small image segmentation datasets. However, when the medical image to be segmented contains a lot of detailed information, the segmentation results cannot fully meet the actual requirements. In order to achieve higher accuracy of medical image segmentation, a novel improved U-Net network architecture called multi-scale encoder-decoder U-Net+ (MEDU-Net+) is proposed in this paper. We design the GoogLeNet for achieving more information at the encoder of the proposed MEDU-Net+, and present the multi-scale feature extraction for fusing semantic information of different scales in the encoder and decoder. Meanwhile, we also introduce the layer-by-layer skip connection to connect the information of each layer, so that there is no need to encode the last layer and return the information. The proposed MEDU-Net+ divides the unknown depth network into each part of deconvolution layer to replace the direct connection of the encoder and decoder in U-Net. In addition, a new combined loss function is proposed to extract more edge information by combining the advantages of the generalized dice and the focal loss functions. Finally, we validate our proposed MEDU-Net+ MEDU-Net+ and other classic medical image segmentation networks on three medical image datasets. The experimental results show that our proposed MEDU-Net+ has prominent superior performance compared with other medical image segmentation networks.

SegNet과 U-Net을 활용한 동남아시아 지역 홍수탐지

김준우,전현균,김덕진 대한원격탐사학회 2020 대한원격탐사학회지 Vol.36 No.5

Flood monitoring using satellite data has been constrained by obtaining satellite images for flood peak and accurately extracting flooded areas from satellite data. Deep learning is a promising method for satellite image classification, yet the potential of deep learning-based flooded area extraction using SAR data remained uncertain, which has advantages in obtaining data, comparing to optical satellite data. This research explores the performance of SegNet and U-Net on image segmentation by extracting flooded areas in the Khorat basin, Mekong river basin, and Cagayan river basin in Thailand, Laos, and the Philippines from Sentinel-1 A/B satellite data. Results show that Global Accuracy, Mean IoU, and Mean BF Score of SegNet are 0.9847, 0.6016, and 0.6467 respectively, whereas those of U-Net are 0.9937, 0.7022, 0.7125. Visual interpretation shows that the classification accuracy of U-Net is higher than SegNet, but overall processing time of SegNet is around three times faster than that of U-Net. It is anticipated that the results of this research could be used when developing deep learning-based flood monitoring models and presenting fully automated flooded area extraction models. 홍수 발생 시 위성영상을 활용하여 침수된 지역을 추출하는 것은 홍수 발생 기간 내의 위성영상 취득과영상에 나타난 침수구역의 정확한 분류 등에서 많은 어려움이 존재한다. 딥러닝은 전통적인 영상분류기법들에 비해 보다 정확도가 높은 위성영상분류기법으로 주목받고 있지만, 광학영상에 비해 홍수 발생 시 위성영상의 취득이 용이한 SAR 영상의 분류 잠재력은 아직 명확히 규명되지 않았다. 본 연구는 대표적인 의미론적 영상 분할을 위한 딥러닝 모델인 SegNet과 U-Net을 활용하여 동남아시아의 라오스, 태국, 필리핀의 대표적인 홍수 발생지역인 코랏 유역(Khorat basin), 메콩강 유역(Mekong river basin), 카가얀강 유역(Cagayan river basin)에대해 Sentinel-1 A/B 위성영상으로부터 침수지역 추출을 실시하였다. 분석결과 침수지역 탐지에서 SegNet의 Global Accuracy, Mean IoU, Mean BF Score는 각각 0.9847, 0.6016, 0.6467로 나타났으며, U-Net의Global Accuracy, Mean IoU, Mean BF Score는 각각 0.9937, 0.7022, 0.7125로 나타났다. 국지적 분류결과 확인을 위한 육안검증에서 U-Net이 SegNet에 비해 보다 높은 분류 정확도를 보여주었지만, 모델의 훈련에 필요한 시간은 67분 17초와187분 19초가 각각 소요되어 SegNet이 U-Net에 비해 약 3배 정도 빠른 처리속도를 보여주었다. 본 연구의 결과는 향후 딥러닝 기법을 활용한 SAR 영상기반의 홍수탐지 모델과 실무적으로 활용이 가능한 자동화된 딥러닝기반의 수계탐지 기법의 제시를 위한 중요한 참고자료로 활용될 수 있을 것으로 판단된다.

딥 러닝을 이용한 영상 디블러링을 위한 새로운 U-Net

정우열,김성주,이창우 대한전기학회 2023 전기학회논문지 Vol.72 No.7

Many studies have been conducted for image deblurring, which is classified into non-blind and blind image deblurring techniques. Many iterative methods have been studied based on the maximum-a-posteriori (MAP) framework for image deblurring. Recently, deep learning methods for blind image deblurring have attracted a lot of attention for their excellent performance. In this paper, a method for improving the performance of the blind image deblurring using deep learning is proposed by introducing a new structure of U-Net. U-Net is used as a deep neural network for deep learning in various image processing fields. We propose a new U-Net by using short cut and parallel structure in each stage of contractive and expansive path for U-Net, and pre-processing and post-processing are used for the proposed new U-Net to improve the deblurring performance. Extensive computer simulations are performed to evaluate the image deblurring performance for motion blur and Gaussian blur, and it is shown that the proposed U-Net shows superior image deblurring performance compared to the conventional U-Net.

경량화 U-Net을 사용한 엣지 디바이스용 미세플라스틱 이미지 분할

문상준,최다솜,이광희,정지현,이혜미,박선욱,장경선 한국정보과학회 2024 정보과학회 컴퓨팅의 실제 논문지 Vol.30 No.4

해양 생태계에 부적절한 영향을 끼치는 미세플라스틱을 검출하여 배출되는 양을 줄이는 작업이 필요하다. 미세플라스틱은 현미경 이미지 분할 딥러닝 모델을 적용해 검출할 수 있는데, 정확도를 높이기 위해서는 데이터의 다운샘플링을 지양하는 것이 중요하다. 하지만, 이를 위해서는 일반적으로 모델의 파라미터 및 연산량이 증가하는 문제가 있어 휴대형 장치에 실시간으로 동작하기 어렵다. 따라서 딥러닝 모델을 휴대형 장치를 사용해 현장에서 채취한 시료로부터 즉각 미세플라스틱을 검출하는 과정에는 적용하기 위해서는 데이터의 해상도를 유지하되 경량화 된 모델이 필요하다. 모델 경량화 실험을 위해서 이미지 분할 분야의 대표적인 모델인 U-Net의 합성곱 계층에 기존의 다양한 경량화 방법을 적용하여 U-Net과의 성능을 비교하였다. Depthwise Separable 합성곱 계층을 사용한 경우 U-Net에 비하여 유사한 mIoU 성능을 보이며, 82.6% 감소된 연산량을 보였다. 또 행렬 분해 및 Group 합성곱을 적용한 경우는 U-Net에 비해 7.41%의 mIoU 성능 하락이 있었지만, 99.55% 감소된 연산량을 보인다. 이는 현장에서 즉각적으로 데이터를 취득해야 하는 휴대형 장치에 적용해 이점을 얻을 수 있을 것으로 생각된다. There is a need to detect microplastics that adversely affect marine ecosystems and reduce their emissions. Microplastics can be detected by applying deep learning models to segment microscopic images. While it is important to avoid downsampling the data to improve accuracy, this usually requires an increase in model parameters and computation, making it difficult to operate in real-time on mobile devices. Therefore, to apply deep learning models to the process of instant microplastic detection from samplescollected in the field using mobile devices, a lightweight model is required while maintaining the resolution of the data. For the model lightweight experiment, we applied various existing lightweight methods to the convolution layer of U-Net, a representative model in the image segmentation field, and compared its performance with U-Net. The Depthwise Separable convolution layer shows mIoU performance that is comparable to that of U-Net, with 82.6% less computation. In addition, the Matrix Factorization and Group convolution layers show 99.55% less computation, although there is a 7.41% mIoU performance drop compared to U-Net. This is thought to be beneficial for mobile devices that require immediate data acquisition in the field.

이중 분기 디코더를 사용하는 복소 중첩 U-Net 기반 음성 향상 모델

황서림,박성욱,박영철 한국음향학회 2024 韓國音響學會誌 Vol.43 No.2

본 논문에서는 이중 분기 디코더를 갖는 복소 중첩 U-Net 기반의 새로운 음성 향상 모델을 제안하였다. 제안된모델은 음성 신호의 크기와 위상 성분을 동시에 추정할 수 있도록 복소 중첩 U-Net으로 구성되며, 디코더는 스펙트럼사상과 시간 주파수 마스킹을 각각의 분기에서 수행하는 이중 분기 디코더 구조를 갖는다. 이때, 이중 분기 디코더 구조는 단일 디코더 구조에 비하여, 음성 정보의 손실을 최소화하면서 잡음을 효과적으로 제거할 수 있도록 한다. 실험은음성 향상 모델 학습을 위해 보편적으로 사용되는 VoiceBank + DEMAND 데이터베이스 상에서 이루어졌으며, 다양한 객관적 평가 지표를 통해 평가되었다. 실험 결과, 이중 분기 디코더를 사용하는 복소 중첩 U-Net 기반 음성 향상 모델은 기존의 베이스라인과 비교하여 Perceptual Evaluation of Speech Quality(PESQ) 점수가 0.13가량 증가하였으며, 최근 제안된 음성 향상 모델들보다도 높은 객관적 평가 점수를 보였다. This paper proposes a new speech enhancement model based on a complex nested U-Net with a dual-branch decoder. The proposed model consists of a complex nested U-Net to simultaneously estimate the magnitude and phase components of the speech signal, and the decoder has a dual-branch decoder structure that performs spectral mapping and time-frequency masking in each branch. At this time, compared to the single-branch decoder structure, the dual-branch decoder structure allows noise to be effectively removed while minimizing the loss of speech information. The experiment was conducted on the VoiceBank + DEMAND database, commonly used for speech enhancement model training, and was evaluated through various objective evaluation metrics. As a result of the experiment, the complex nested U-Net-based speech enhancement model using a dual-branch decoder increased the Perceptual Evaluation of Speech Quality (PESQ) score by about 0.13 compared to the baseline, and showed a higher objective evaluation score than recently proposed speech enhancement models.

갑상선 초음파 영상의 평활화 알고리즘에 따른 U-Net 기반 학습 모델 평가

정무진(Moo-Jin Jeong),오주영(Joo-Young Oh),박훈희(Hoon-Hee Park),이주영(Joo-Young Lee) 대한방사선과학회(구 대한방사선기술학회) 2024 방사선기술과학 Vol.47 No.1

This study aims to evaluate the performance of the U-Net based learning model that may vary depending on the histogram equalization algorithm. The subject of the experiment were 17 radiology students of this college, and 1,727 data sets in which the region of interest was set in the thyroid after acquiring ultrasound image data were used. The training set consisted of 1,383 images, the validation set consisted of 172 and the test data set consisted of 172. The equalization algorithm was divided into Histogram Equalization(HE) and Contrast Limited Adaptive Histogram Equalization(CLAHE), and according to the clip limit, it was divided into CLAHE8-1, CLAHE8-2. CLAHE8-3. Deep Learning was learned through size control, histogram equalization, Z-score normalization, and data augmentation. As a result of the experiment, the Attention U-Net showed the highest performance from CLAHE8-2 to 0.8355, and the U-Net and BSU-Net showed the highest performance from CLAHE8-3 to 0.8303 and 0.8277. In the case of mIoU, the Attention U-Net was 0.7175 in CLAHE8-2, the U-Net was 0.7098 and the BSU-Net was 0.7060 in CLAHE8-3. This study attempted to confirm the effects of U-Net, Attention U-Net, and BSU-Net models when histogram equalization is performed on ultrasound images. The increase in Clip Limit can be expected to increase the ROI match with the prediction mask by clarifying the boundaries, which affects the improvement of the contrast of the thyroid area in deep learning model learning, and consequently affects the performance improvement.

CT 영상에서 웨이블렛 변환 기반 U-Net GAN 모델을 이용한 잡음제거

마동효,박지완,임동훈 한국데이터정보과학회 2025 한국데이터정보과학회지 Vol.36 No.2

CT 영상에서 잡음제거는 방사선으로부터 환자 보호와 고품질 영상복원을 위해 중요한 기술이다. 본 논문에서는 CT 영상에서 웨이블릿 변환 기반 U-Net GAN (wavelet transform-based U-Net GAN) 모델, 즉 WT-UNetGAN 모델을 제안하여 잡음 제거하고자 한다. 제안된 WT-UNetGAN 모델의 생성자 (generator)는 기존 U-Net 구조에 긴 스킵 연결 (long skip connection)을 추가한 구조이고, 판별자 (discriminator)는 변형 가능 컨벌루션 층 (deformable convolution layer)을 갖고 있는 patchGAN 구조이고, 손실함수는 기존의 GAN 학습의 불안정을 완화하기 위해 GAN 손실 (adversarial loss)와 $L _{1}$ 손실함수의 가중합 형태이다. 본 논문에서 제안된 WT-UNetGAN 모델의 성능 평가를 위해 여러 가지 잡음 즉, 가우시안 잡음 (gaussian noise), 포아송 잡음 (poisson noise), 그리고 스펙클 잡음 (speckle noise)에 의해 훼손된 CT 영상에서 기존의 전통적인 방법인 BM3D, CNN을 활용한 DnCNN, 표준 DCGAN, U-Net GAN 그리고 웨이블렛 기반 DCGAN과 성능 비교하였다. 성능 실험 결과, 제안된 WT-UNetGAN 모델은 정성적 평가에서 높은 잡음제거 능력을 보였고, PSNR (peak signal-to-noise ratio)과 SSIM (structural similarity index measure) 척도에 의한 정량적 평가에서도 높은 수치를 보였다. CT image denoising is an important technology for protecting patients from radiation and restoring high-quality images. In this paper, we propose a wavelet transform-based U-Net GAN model, or WT-UNetGAN model, to remove noise from CT images. The proposed WT-UNetGAN model's generator is a structure that adds a long skip connection to the existing U-Net structure, the discriminator is a patchGAN structure with a deformable convolution layer, and the loss function is a weighted sum of the GAN loss (adversarial loss) and the loss function to alleviate the instability of the existing GAN learning. In order to evaluate the performance of the proposed WT-UNetGAN model in this paper, we compared its performance with that of the conventional BM3D, DnCNN using CNN, standard DCGAN, U-Net GAN, and wavelet-based DCGAN on CT images corrupted by various noises, namely, gaussian noise, poisson noise, and speckle noise. The performance experimental results show that the proposed WT-UNetGAN model exhibits high noise removal capability in qualitative evaluation, and also shows high values in quantitative evaluation by PSNR (peak signal-to-noise ratio) and SSIM (structural similarity index measure.