약지도 음향 이벤트 검출을 위한 파형 기반의 종단간 심층 콘볼루션 신경망에 대한 연구

이석진,김민한,정영호 한국음향학회 2020 韓國音響學會誌 Vol.39 No.1

In this paper, the deep convolutional neural network for sound event detection is studied. Especially, the end-to-end neural network, which generates the detection results from the input audio waveform, is studied for weakly supervised problem that includes weakly-labeled and unlabeled dataset. The proposed system is based on the network structure that consists of deeply-stacked 1-dimensional convolutional neural networks, and enhanced by the skip connection and gating mechanism. Additionally, the proposed system is enhanced by the sound event detection and post processings, and the training step using the mean-teacher model is added to deal with the weakly supervised data. The proposed system was evaluated by the Detection and Classification of Acoustic Scenes and Events (DCASE) 2019 Task 4 dataset, and the result shows that the proposed system has F1-scores of 54 % (segment-based) and 32 % (event-based). 본 논문에서는 음향 이벤트 검출을 위한 심층 신경망에 대한 연구를 진행하였다. 특히 약하게 표기된 데이터 및 표기되지 않은 훈련 데이터를 포함하는 약지도 문제에 대하여, 입력 오디오 파형으로부터 이벤트 검출 결과를 얻어 내는 종단간 신경망을 구축하는 연구를 진행하였다. 본 연구에서 제안하는 시스템은 1차원 콘볼루션 신경망을 깊게 적층하는 구조를 기반으로 하였으며, 도약 연결 및 게이팅 메커니즘 등의 추가적인 구조를 통해 성능을 개선하였다. 또한 음향 구간 검출 및 후처리를 통하여 성능을 향상시켰으며, 약지도 데이터를 다루기 위하여 평균-교사 모델을 적용 하여 학습하는 과정을 도입하였다. 본 연구에서 고안된 시스템을 Detection and Classification of Acoustic Scenes and Events(DCASE) 2019 Task 4 데이터를 이용하여 평가하였으며, 그 결과 약 54 %의 구간-기반 F1-score 및 32 %의 이벤트-기반 F1-score를 얻을 수 있었다.

오디오 전처리 방법에 따른 콘벌루션 신경망의 환경음 분류 성능 비교

오원근 한국음향학회 2020 韓國音響學會誌 Vol.39 No.3

This paper presents the effect of the feature extraction methods used in the audio preprocessing on the classification performance of the Convolutional Neural Networks (CNN). We extract mel spectrogram, log mel spectrogram, Mel Frequency Cepstral Coefficient (MFCC), and delta MFCC from the UrbanSound8K dataset, which is widely used in environmental sound classification studies. Then we scale the data to 3 distributions. Using the data, we test four CNNs, VGG16, and MobileNetV2 networks for performance assessment according to the audio features and scaling. The highest recognition rate is achieved when using the unscaled log mel spectrum as the audio features. Although this result is not appropriate for all audio recognition problems but is useful for classifying the environmental sounds included in the Urbansound8K. 본 논문에서는 딥러닝(deep learning)을 이용하여 환경음 분류 시 전처리 단계에서 사용하는 특징 추출 방법이 콘볼루션 신경망의 분류 성능에 미치는 영향에 대해서 다루었다. 이를 위해 환경음 분류 연구에서 많이 사용되는 UrbanSound8K 데이터셋에서 멜 스펙트로그램(mel spectrogram), 로그 멜 스펙트로그램(log mel spectrogram), Mel Frequency Cepstral Coefficient(MFCC), 그리고 delta MFCC를 추출하고 각각을 3가지 분포로 스케일링하였 다. 이 데이터를 이용하여 4 종의 콘볼루션 신경망과 이미지넷에서 좋은 성능을 보였던 VGG16과 MobileNetV2 신경 망을 학습시킨 다음 오디오 특징과 스케일링 방법에 따른 인식률을 구하였다. 그 결과 인식률은 스케일링하지 않은 로 그 멜 스펙트럼을 사용했을 때 가장 우수한 것으로 나타났다. 도출된 결과를 모든 오디오 인식 문제로 일반화하기는 힘들지만, Urbansound8K의 환경음이 포함된 오디오를 분류할 때는 유용하게 적용될 수 있을 것이다.

딥러닝 기반 앙상블을 이용한 마스크 착용 상태 검출 기술 연구

신선우(Sunwoo Shin),정우성(Woosung Chung),이태민(Taemin Lee),서상현(Sanghyun Seo) 한국디지털콘텐츠학회 2021 한국디지털콘텐츠학회논문지 Vol.22 No.11

딥스택 인공신경망을 이용한 터보팬 엔진 유효수명의 예측

홍창우(Chang Woo, Hong),이광석(Kwangsuk Lee),김재경(Jae-Kyeoung Kim),고민승(Min-seung Ko),오경원(Kyungwon Oh),허견(Kyeon Hur) 한국추진공학회 2019 한국추진공학회 학술대회논문집 Vol.2019 No.11

딥러닝을 활용한 해양오염 예측도구 개발 및 적용 연구 (Ⅰ)

김태윤,진대용,이어진,권경환 한국환경정책평가연구원 2020 기본연구보고서 Vol.2020 No.-

Ⅰ. 연구의 배경 및 목적 ㅇ 해양에서 다양한 개발사업이 이루어지고 있으며 개발로 인한 환경적 영향을 예측·평가하여 저감방안을 마련하고 있음 ㅇ 복잡한 해양환경적 특성으로 인해 개발사업이 해양환경에 미치는 영향을 파악하는 데는 한계가 있음 ㅇ 해양환경 정보화플랫폼의 자료, 위성자료, 기존의 수치모형에서 계산된 방대한 물리적 자료를 딥러닝 기술에 적용하여 해양오염 예측 도구를 개발하고자 함 Ⅱ. 국내외 현황 및 사례 분석 ㅇ 해양 분야에서 딥러닝을 활용한 연구를 예측(결측치 보정 포함) 및 분류 연구로 구분하여 정리함 ㅇ 해양 분야가 아닌 타 분야에서 딥러닝을 활용한 연구도 정리함 Ⅲ. 연구 방법론 1. 해양환경자료 ㅇ 해양환경, 해양생태, 해양보호구역, 해양환경정보지도, 폐기물해양배출, 해양쓰레기, 해역이용영향평가 등과 관련된 다양한 자료를 제공하는 해양환경정보포털(MEIS)의 자료를 검토함 ㅇ 2010년부터 천리안 위성(COMS: Communication, Ocean and Meteorological Satellite)을 통하여 해양관측을 수행하고 있으며, 위성으로부터 제공되는 자료를 조사함 2. 수치모형 ㅇ 해양의 유동, 지형, 파랑, 수질까지 다양한 영역의 해양환경 변화를 파악할 수 있는 수치모형 중에 연안역에서 널리 사용되는 Delft3D를 소개함 3. 딥러닝 모델 ㅇ 딥러닝 알고리즘은 입력 데이터의 형태에 따라 활용할 수 있는 모형이 다르기 때문에 주요 모형에 대해서만 설명함 ㅇ 딥러닝 모형이 사용된 연구 사례를 소개함 Ⅳ. 적용 및 검증 1. 파랑 예측 ㅇ 딥러닝의 적용 사례연구로서 외해에서 장기간 관측된 파랑 및 기상자료와 딥러닝 기법을 활용하여 해안역 인근의 일 년간의 파랑을 예측함 ㅇ 60km 이상 이격된 해역의 기상정보와 파랑정보를 활용하여 해안가 인접지역의 파랑 자료를 간접적으로 추정할 수 있음 2. 농도 확산 ㅇ 파랑 예측 사례는 단일지점의 자료를 이용하여 추정값을 산출하였다면 금번 사례연구는 공간적 자료를 활용하여 딥러닝 기법의 효율성을 검증함 3. 실해역 적용 ㅇ 연구해역에서 시공간적인 물리 인자를 생성하기 위하여 수치모형을 구동하고 위성관측자료를 활용하여 용존 유기물질, 클로로필-a, 총부유물질, 수중 가시거리에 대한 공간 자료를 생성함 ㅇ CNN 모형을 활용하여 딥러닝 모형을 구축하고 클로로필-a를 추정함 Ⅴ. 결론 및 제언 ㅇ 다양한 분야에 적용되고 있는 딥러닝 기술을 활용하여 연안역에서 플랑크톤 시·공간적 변화를 예측하는 도구를 개발함 ㅇ 개발된 예측모형에 대한 정확도 및 신뢰성을 높이기 위하여 추가적인 연구 및 분석이 필요함 ㅇ 딥러닝 예측 기술의 추가적인 개발은 기존 기술과 함께 시너지 효과를 발생시켜 환경정책계획 수립에 기여할 수 있음 Ⅰ. Aims and Purposes of the Research ㅇ Various development projects in the coastal areas have been carried out, and mitigation methods to reduce their impact on the environment have been under development based on the prediction and evaluation. ㅇ There are many limitations in understanding the impacts of development projects on the marine environment. ㅇ We intend to develop a marine pollution prediction tool by applying data from the Marine Environment Information System (MEIS), satellite data, and physical data calculated from the numerical model to deep learning technology. Ⅱ. Domestic and Foreign Status and Case Analysis ㅇ Deep learning studies applied in the marine field were classified and organized into prediction (including missing value correction) and classification studies. ㅇ Deep learning research conducted in fields other than the marine field is also briefly summarized. Ⅲ. Methods 1. Marine environment data ㅇ Data from the MEIS which provides various data related to the marine environment, marine ecology, marine protected areas, marine environment information map, and marine waste discharge were investigated. ㅇ Satellite data produced through the Communication, Ocean and Meteorological Satellite (COMS) operated since 2010 were reviewed. 2. Numerical model ㅇ Delft3D, widely used in coastal areas, is described as a numerical model that simulates changes in the marine environment such as hydrodynamics, sediment transport, waves, and water quality. 3. Deep learning model ㅇ In regard to deep learning models, only the main models are explained because the models that can be used are different depending on the type of input data. ㅇ We introduced research cases to which deep learning models are applied. Ⅳ. Application and Verification 1. Wave prediction ㅇ As a case study of the application of the deep learning model, the waves for a year near the coastal area were predicted using the deep learning model. ㅇ It is possible to indirectly estimate the wave data adjacent to the coast using the meteorological and wave information from the open sea 60 km away. 2. Diffusion experiment ㅇ In the case of wave prediction, the model predicted waves using data from a single point, but this case study showed that the deep learning model is also effective for spatial data prediction. 3. Application to actual sea areas ㅇ Using a numerical model for the study area, spatial and temporal physical data were generated. In addition, data on dissolved organic matter, chlorophyll-a, total suspended sediment, and visibility were generated from satellite ocean color observations. ㅇ A deep learning model was constructed using the CNN technique and chlorophyll-a was estimated. Ⅴ. Conclusion and Suggestion ㅇ A tool for predicting plankton changes in coastal areas was developed using deep learning technology ㅇ Further research and analysis are required to increase the accuracy and reliability of the developed prediction tool in this study ㅇ Additional development of deep learning prediction tool can contribute to establishing effective environmental policy plans by generating synergies with existing tools

A Real-time Citrus Segmentation and Detection System using Mask R-CNN

Jin-Won Kim(김진원),Malrey Lee(이말례) 한국디지털콘텐츠학회 2018 한국디지털콘텐츠학회논문지 Vol.19 No.12

핵의학 감마카메라 정도관리의 딥러닝 적용

정의환(Euihwan Jeong),오주영(Joo-Young Oh),이주영(Joo-Young Lee),박훈희(Hoon-Hee Park) 대한방사선과학회(구 대한방사선기술학회) 2020 방사선기술과학 Vol.43 No.6

In the field of nuclear medicine, errors are sometimes generated because the assessment of the uniformity of gamma cameras relies on the naked eye of the evaluator. To minimize these errors, we created an artificial intelligence model based on CNN algorithm and wanted to assess its usefulness. We produced 20,000 normal images and partial cold region images using Python, and conducted artificial intelligence training with Resnet18 models. The training results showed that accuracy, specificity and sensitivity were 95.01%, 92.30%, and 97.73%, respectively. According to the results of the evaluation of the confusion matrix of artificial intelligence and expert groups, artificial intelligence was accuracy, specificity and sensitivity of 94.00%, 91.50%, and 96.80%, respectively, and expert groups was accuracy, specificity and sensitivity of 69.00%, 64.00%, and 74.00%, respectively. The results showed that artificial intelligence was better than expert groups. In addition, by checking together with the radiological technologist and AI, errors that may occur during the quality control process can be reduced, providing a better examination environment for patients, providing convenience to radiologists, and improving work efficiency.

전경 객체의 3차원 복원 정밀도 향상 기법 분석

박지찬(Jichan Park),반유석(Yuseok Ban) 한국정보통신학회 2023 한국정보통신학회논문지 Vol.27 No.4

딥러닝 기술의 발전으로 2차원 영상으로부터 3차원 정보를 정밀하게 생성함으로써 높은 품질의 3차원 복원을 수행하는 기술이 발전하고 있다. 3차원 복원 기술이 일반적으로 갖는 느린 학습 속도의 단점을 개선하기 위해 다양한 연구가 진행되고 있다. 또한, 전경의 3차원 복원 정밀도를 향상시키기 위한 연구가 다양하게 시도되고 있다. 본 논문에서는 배경 영역을 제거하여 전경 영역만을 분리했을 때의 3차원 복원을 세분하여 정량적 및 정성적으로 비교·분석하였다. 실험 결과를 토대로 충분한 외관 특징이 확보 가능한 전경에 대해서 전경을 분리하여 학습하는 것과 학습 영상이 부족한 환경에 대해서 전경 영역을 선택적으로 학습하는 것이 효과적임을 확인했다. Due to the rapid advancement of deep learning techniques, high-quality 3D reconstruction methods that generate precise 3D information from 2D images have been proposed. However, the long duration for model learning has been a major drawback of 3D reconstruction techniques, and many studies have been conducted to address this issue. In addition, there are many ongoing studies to enhance the precision of the 3D reconstruction for a foreground object. This paper conducts quantitative and qualitative comparisons and analyzes the 3D restoration of an object while matting the foreground areas but excluding the background areas from participating in the learning process. Based on experimental results, it has been noted that it is effective to separate foreground objects with sufficient visual features from background areas and to selectively train the foreground information in the condition of insufficient training data.

딥러닝를 사용한 온라인 게임에서의 욕설 탐지

박성희(Sunghee Park),김휘강(Huy Kang Kim),우지영(Jiyoung Woo) 한국컴퓨터정보학회 2019 한국컴퓨터정보학회 학술발표논문집 Vol.27 No.2

전력 사용량 데이터 패턴 분석을 위한 시계열 이미지 생성 방안 연구

윤준철(Junchurl Yoon),오상원(Sangwon Oh),김진술(Jinsul Kim) 한국디지털콘텐츠학회 2022 한국디지털콘텐츠학회논문지 Vol.23 No.8