사전 훈련된 DCNN을 이용한 얼굴 표정 인식 모듈 개발 및 응용 = Development of facial expression recognition module by using a pre-trained DCNN and its application

국문 초록 (Abstract)

의료 기술의 발달로 인류의 수명이 연장되면서 노인성 질환이 중요한 사회 문제로 등장하였다. 그 중 치매는 인지 능력의 감소를 동반하여 일상생활이나 사회생활에 큰 장애가 되고 있다. 이 논문에서는 사전 훈련된 DCNN을 이용하여 얼굴 표정 인식 모듈을 개발하고 초기 치매 환자를 위한 디지털 어시스턴트 시스템을 보완하였다. 얼굴 표정 인식 모듈은 치매 환자에게 감정 지향적인 치료 방법을 제공하고, 데이터를 수집하여 차후 연구에 활용하기 위한 인터페이스 역할을 한다. 최근 뛰어난 성능이 입증된 deep learning을 기반으로 Google TensorFlow 개발 툴과 Deep Convolutional Neural Network 모델, extended Cohn-Kanade dataset을 사용하여 얼굴 표정 인식 모델을 개발하였다. 실험은 크게 실험용 데이터 세트를 이용하여 직접 훈련 및 평가시킨 모델과 AUS 방법을 적용시킨 모델, transfer learning 이론을 적용시켜 pre-trained 모델을 활용한 모델로 구분 지어진다. 실험 결과, pre-trained 모델을 활용하여 개발한 얼굴 표정 인식 모듈이 8가지 얼굴 표정(neutral, angry, contempt, disgust, fear, happy, sadness, surprise) 인식률 88.74%, 6가지 얼굴 표정(angry, disgust, fear, happy, sadness, surprise) 인식률 99.02%로 가장 뛰어난 성능을 보였다.

다국어 초록 (Multilingual Abstract)

Elderly diseases have become important social problems as the life span of mankind has been extended due to the development of medical technology. Among them, dementia is accompanied by a decrease in cognitive ability, which is a serious obstacle to daily life and social life. In this paper, we developed a facial expression recognition module by using pre-trained DCNN and supplement the digital assistant system for early dementia patients. The Facial expression recognition module provides an emotion-oriented treatment method for dementia patients and serves as an interface to collect data and utilize it for future research. Based on deep learning, we developed a facial expression recognition model using Google TensorFlow development tool, Deep Convolutional Neural Network model, and extended Cohn-Kanade dataset. Experiments are largely classified into models that are directly trained and evaluated using experimental data sets, models using the AUS method, and models using the pre-trained model by applying the transfer learning theory. Experimental
results show that the facial expression recognition module developed using the pre-trained model has the highest recognition rate of eight facial expressions 88.74% and six facial expressions 99.02%.
keywords: early dementia, digital assistant system, deep convolutional neural network, facial expression recognition

목차 (Table of Contents)

• I. 서론 1
• Ⅱ. 관련 연구 3
• Ⅲ. 디지털 어시스턴트 시스템 7
• Ⅳ. 얼굴 표정 인식 11
• 1. 개발 12
• 2. 실험 및 결과 18
• 3. 시스템 적용 29
• V. 결론 32
• Ⅵ. 참고문헌 34
• 국문초록 37
• 영문초록 38