새소리 인식 end-to-end framewor : data pipeline과 transfer learning의 효용성 검증

국문 초록 (Abstract)

본 논문에서는 새소리 인식을 위한 End to End Framework를 제안한다. 제안한 framework의 특징은 크게 (1) 새소리 학습과 인식이 일련의 과정이 될 수 있도록 하는 data pipeline과 (2) 새소리 분류에 적합한 feature extraction과 transfer learning 기반 모델로 분류하는 것으로 나누어진다. Data pipeline은 training process와 recognition process로 구성되어 있는데, training process는 xeno-canto와 interface 하고 있어 빅데이터 기반으로 학습을 하고 recognition process는 입력된 새소리에 대해 인식한 결과를 보여주게 된다. 새소리 분류에 적합한 feature extraction과 딥러닝 모델은 실험을 통해 선정하였다. Feature extraction 선정 시 음향신호의 특징을 잘 추출해주는 Mel Spectrogram과 STFT Spectrogram, Wav2vec 2.0을 비교하는 실험을 하였고 사람의 청각을 모사한 Mel Spectrogram이 가장 좋은 성능을 보여주었다. 딥러닝 모델 선정 시 ResNet50 pretrain한 모델과 ResNet50 weight를 Random Initialization한 모델, CNN모델을 비교하는 실험을 하였고 transfer learning 기반인 ResNet50 pretrain한 모델이 가장 좋은 성능을 보여주었다. 본 논문에서는 아메리카 대륙 20종의 새소리를 분류하였고 15 epoch에서 loss와 accuracy는 (0.814, 77.901%) 라는 실험결과를 보여준다.

다국어 초록 (Multilingual Abstract)

In this dissertation, we propose an End-to-End Framework for bird sound recognition. The features of the proposed framework are largely divided into (1) data pipeline that allows bird sound learning and recognition to be a series of processes, and (2) feature extraction and transfer learning-based models suitable for bird sound classification. Data pipeline consists of a training process and a recognition process. The training process is interfacing with xeno-canto, so it learns based on big data, and the recognition process shows the result of recognizing the input bird sound. Feature extractions and deep learning models suitable for bird sound classification were selected through experiments. When selecting a feature extraction, an experiment was conducted to compare Mel Spectrogram, STFT Spectrogram, and Wav2vec 2.0, which extract the characteristics of sound signals well, and Mel Spectrogram, which simulates human hearing, showed the best performance. When selecting a deep learning model, an experiment was conducted to compare the ResNet50 pretrain model, the ResNet50 weight randomly initialized model, and the ResNet50 pretrain model, which is based on transfer learning, showed the best performance. In this dissertation, we classify the sounds of 20 species of birds in the Americas and show the experimental results of loss and accuracy (0.814, 77.901%) at 15 epochs.