마스크 영역 분할을 이용한 얼굴 표정인식

이승호(Seung Ho Lee) 한국정보통신학회 2023 한국정보통신학회논문지 Vol.27 No.4

얼굴 표정인식(facial expression recognition)은 인간 중심의 사람-기계 인터페이스에서 가장 중요한 요소기술 중 하나이다. 마스크 착용 얼굴의 경우 얼굴 하관이 대부분 가려져 충분한 양의 분별 특징정보(discriminative feature)를 추출하기 어려우며, 마스크 착용 여부 및 마스크 패턴(형태, 크기, 무늬 등)의 다양성은 인식 정확도를 저해시키는 방해요소로 작용할 수 있다. 본 논문에서는 마스크 착용으로 인한 영향을 감소시키기 위한 얼굴 표정인식 방법을 제안한다. 먼저 마스크 착용 여부에 의한 불일치를 감소시키기 위해 마스크를 착용한 테스트 얼굴에 대해 표정인식을 수행할 때 학습용 얼굴 이미지들에 마스크를 합성한다. 그리고 마스크 패턴의 다양성에 의한 불일치를 최소화하기 위해 테스트 및 학습용 얼굴 이미지들에서 이미지 분할을 적용하여 추출된 마스크 영역을 제거하여 검정색으로 표시한다. 마스크 영역이 제거된 테스트 얼굴 이미지를 동일한 방식으로 전처리 된 학습용 얼굴 이미지들의 최적 조합으로 복원(reconstruction)한 뒤 복원 기여도가 가장 높은 클래스를 찾음으로써 테스트 얼굴 이미지의 감정 클래스를 결정한다. 제안하는 방법은 6가지의 대표 감정에 대해 70% 이상의 마스크 얼굴 표정인식 정확도를 달성하였으며 이는 학습용 얼굴 이미지들이 마스크 미착용인 경우에 비해 46% 정도 높은 수치이다. Facial expression recognition is one of the most important technologies in human-machine interface. For the case of masked face image, it is difficult to extract discriminating features as a large facial part is occluded. Moreover, a variety of mask patterns could degrade the recognition rate. In this paper, a facial expression recogition method is proposed aiming to reduce the effect of wearing masks. In the proposed method, to deal with the mismatch due to masked test faces, mask images are synthesized with the training face images. After that, for each of the test and training face images, the mask region is segmented and eliminated. A proprecessed test face image is recontructed with an optimal combination of the preprocessed training face images, and categorized into an emotion class by finding the most contributing class during the reconstruction. The proposed method achieves 70% in recognition rate where about 46% improvement can be achieved compared to the case of unmasked training faces.

컨볼루션 오토인코더를 이용한 마스크 착용 얼굴 이미지 생성

이승호 한국정보통신학회 2022 한국정보통신학회논문지 Vol.26 No.8

Researches of face recognition on masked faces have been increasingly important due to the COVID-19 pandemic. To realize a stable and practical recognition performance, large amount of facial image data should be acquired for the purpose of training. However, it is difficult for the researchers to obtain masked face images for each human subject. This paper proposes a novel method to synthesize a face image and a virtual mask pattern. In this method, a pair of masked face image and unmasked face image, that are from a single human subject, is fed into a convolutional autoencoder as training data. This allows learning the geometric relationship between face and mask. In the inference step, for a unseen face image, the learned convolutional autoencoder generates a synthetic face image with a mask pattern. The proposed method is able to rapidly generate realistic masked face images. Also, it could be practical when compared to methods which rely on facial feature point detection. 코로나19 팬데믹으로 인해 마스크 착용이 일상화되면서 마스크 착용 얼굴을 식별하는 얼굴인식 연구에 대한 중요도가 높아지고 있다. 안정된 얼굴인식 성능을 위해서는 인식 대상에 대한 풍부한 학습용 이미지 확보가 필요하지만 인물 별로 마스크 착용 얼굴 이미지를 다량 확보하는 것은 쉽지 않다. 본 논문에서는 마스크 미착용 얼굴 이미지에 가상의 마스크 패턴을 합성하는 새로운 방법을 제안한다. 제안 방법은 동일 인물에 대해 마스크 미착용 얼굴 이미지와 마스크 착용 얼굴 이미지를 쌍으로 컨볼루션 오토인코더에 입력하여 얼굴과 마스크의 기하학적 관계를 학습한다. 학습이 완료된 컨볼루션 오토인코더는 학습에 사용되지 않은 새로운 마스크 미착용 얼굴 이미지에 가상의 마스크 패턴을 자연스러운 형태로 합성해준다. 제안 방법은 고속으로 대량의 마스크 착용 얼굴 이미지를 생성할 수 있으며, 얼굴 특징점 추출에 기반하는 마스크 합성 방법에 비해 실용적이다.

다중 분류기 융합에 기반한 마스크 얼굴 표정인식

이승호(Seung Ho Lee) 한국정보통신학회 2023 한국정보통신학회논문지 Vol.27 No.7

얼굴 표정인식(facial expression recognition)은 감성 컴퓨팅의 핵심적인 기술 분야로 개인화된 맞춤 교육을 위한 학습자의 집중도 분석이나 스마트 자동차에서의 운전자의 졸음운전 감지 등 다양한 응용에 활용되고 있다. 코로나19 팬데믹이 시작된 이후로 마스크 착용이 일상화됨에 따라 마스크 착용 얼굴에 대한 표정인식 기술에 대한 요구도 높아졌다. 마스크 착용 얼굴은 얼굴 하관이 대부분 가려져 충분한 양의 분별 특징정보를 추출하기 어려워서 정교한 분류 기법이 필요하다. 본 논문에서는 CNN(Convolutional Neural Network) 분류기와 최적 얼굴 복원 기반 분류기에서 출력된 클래스별 예측 점수를 가중 합산하여 최종 표정 클래스(예 : Surprise)를 판정하는 마스크 얼굴 표정인식 방법을 제안한다. 얼굴 표정인식에서 널리 사용되고 있는 데이터셋인 CK+ 및 MMI의 얼굴 이미지들에 가상의 마스크 이미지를 합성하여 실험을 수행한 결과 제안하는 다중 분류기 융합 기반 방법은 각각 70% 및 62%의 인식 정확도를 달성하였으며 이는 최신 마스크 얼굴 표정인식 방법에 사용된 분류기의 인식 정확도에 비해서도 약 7%p 높은 것이다. Facial expression recognition has been a core technology in affective computing and used in various applications such as analyzing the concentration of students for personalized education and detecting drowsy driving of drivers in smart cars. Since COVID-19 pandemic started and wearing masks became common, there has been increasing demand for recognizing masked faces. However, because most of the lower facial part is occluded when wearing mask, it is difficult to extract discriminative feature information. Thus, a sophisticated classifier is required. This paper proposes an expression recognition method for masked face, which fuses prediction scores from multiple complementary classifiers, i.e., CNN and optimal facial reconstruction based classifiers. Experiments were performed by synthesizing mask image into the face images of the CK+ and MMI which were the widely used datasets in facial expression recognition. The proposed method achieved the accuracies of 70% and 63%, respectively and 7% improvements were obtained compared to using the classifier adopted in the recently proposed method.

Masked Face Recognition via a Combined SIFT and DLBP Features Trained in CNN Model

Aljarallah, Nahla Fahad,Uliyan, Diaa Mohammed International Journal of Computer ScienceNetwork S 2022 International journal of computer science and netw Vol.22 No.6

The latest global COVID-19 pandemic has made the use of facial masks an important aspect of our lives. People are advised to cover their faces in public spaces to discourage illness from spreading. Using these face masks posed a significant concern about the exactness of the face identification method used to search and unlock telephones at the school/office. Many companies have already built the requisite data in-house to incorporate such a scheme, using face recognition as an authentication. Unfortunately, veiled faces hinder the detection and acknowledgment of these facial identity schemes and seek to invalidate the internal data collection. Biometric systems that use the face as authentication cause problems with detection or recognition (face or persons). In this research, a novel model has been developed to detect and recognize faces and persons for authentication using scale invariant features (SIFT) for the whole segmented face with an efficient local binary texture features (DLBP) in region of eyes in the masked face. The Fuzzy C means is utilized to segment the image. These mixed features are trained significantly in a convolution neural network (CNN) model. The main advantage of this model is that can detect and recognizing faces by assigning weights to the selected features aimed to grant or provoke permissions with high accuracy.

Study On Masked Face Detection And Recognition using transfer learning

NaeJoung Kwak,DongJu Kim 국제문화기술진흥원 2022 International Journal of Advanced Culture Technolo Vol.10 No.1

COVID-19 is a crisis with numerous casualties. The World Health Organization (WHO) has declared the use of masks as an essential safety measure during the COVID-19 pandemic. Therefore, whether or not to wear a mask is an important issue when entering and exiting public places and institutions. However, this makes face recognition a very difficult task because certain parts of the face are hidden. As a result, face identification and identity verification in the access system became difficult. In this paper, we propose a system that can detect masked face using transfer learning of Yolov5s and recognize the user using transfer learning of Facenet. Transfer learning preforms by changing the learning rate, epoch, and batch size, their results are evaluated, and the best model is selected as representative model. It has been confirmed that the proposed model is good at detecting masked face and masked face recognition.

실험적 방법으로 탐색한 마기꾼 효과의 원인

권유안(Youan Kwon) 한국자료분석학회 2023 Journal of the Korean Data Analysis Society Vol.25 No.3

과거 위생 마스크(이하 마스크) 착용은 부정적 정보를 내포하고 있었다. 그러나 COVID-19 팬데믹 이후 마스크 착용이 의무화 되면서 마스크 착용과 부정적 이미지는 반감되고 역전되어 소위 ‘마기꾼 효과(마스크로 가려진 얼굴이 더 매력적으로 보이는 착각)’가 나타났다. 이에 몇몇 연구들이 마스크 착용 자가 미착용자보다 긍정적 인상을 주는 원인에 대해 연구하였지만, 대부분 심리적 요인이 아니라 사회적 요인으로 그 효과를 설명하였다. 또한 연구 방법론적으로도 다소 부족한 점이 있어 본 연구는 기존의 연구를 보완하여 마기꾼 효과의 원인을 규명하려 시도하였다. 본 연구와 기존 연구와의 방법론적 차이점은 얼굴의 매력도, 친절도, 공격성, 인상의 부드러움을 추가로 물었다는 점이고 또한 마스크를 착용한 얼굴을 보고 마스크를 착용하지 않은 얼굴이 어떤 얼굴인지 선택지 중에서 선택하게 한 점이다. 만약 이 유도되지 않은 선택이 다른 다수에 의해 이미 매력적인 얼굴로 평가된 얼굴이라면 기존 연구 결과를 보다 강화하는 결과일 것이다. 그러나 연구결과 약 50% 사람들이 부드러운 인상이거나 친절한 인상의 맨 얼굴을 선택했고 매력적인 얼굴로는 약 38%만을 선택했다. 이 결과를 근거로 기존 연구의 단점과 마기꾼 효과의 원인을 논의하였다. In the past, wearing a sanitary mask contained negative information. However, as wearing a mask became mandatory after the COVID-19 pandemic, wearing a mask and negative images were halved and reversed, resulting in the so-called “mask fishing effect (the illusion that a face covered by a mask looks more attractive).“ Although several studies have studied the causes of the mask fishing effect, there are some shortcomings in the methodology. so this study attempted to determine the cause of the mask fishing effect by supplementing existing studies. The methodological difference between this study and previous studies is that the current study asked participants to choose an unmasked face among unmasked faces from a masked face. If this unguided choice was a face that had already been rated as attractive by many others, the results would strengthen the existing findings. However, about 50% of participants chose the unmasked face with the soft or kind impression, and only about 38% chose the attractive face. Based on these results, the present study discuss the possible causes of the mask fishing effect.

Social Anxiety and Facial Emotion Recognition with and without Face Mask-Wearing

김규리,현명호 한국임상심리학회 2024 Korean Journal of Clinical Psychology Vol.43 No.2

This study examined social anxiety and facial emotion recognition with and without face mask-wearing in a social threat sit- uation. A total of 309 adult males and females were screened using the Korean version of the Social Avoidance and Distress Scale (K-SADS) and the Korean version of the Center for Epidemiologic Studies Depression Scale-Revised (K-CES-DR). Of the participants, 56 individuals were divided into the social anxiety and non-social anxiety groups. Both groups were then ex- posed to threatening social situations. Using the signal detection theory, the sensitivity and cognitive bias in emotion recogni- tion with and without face mask-wearing was examined. Results showed that the social anxiety group had significantly lower perceptual sensitivity and more negative interpretation bias to faces, with or without face masks. Specifically, the perceptual sensitivity was significantly lower to faces with masks; however, there was no significant difference in interpretation bias. Al- though both groups showed no significant difference in reaction time with the emotional expression on masked faces, the so- cial anxiety group responded faster to faces wearing masks. As this is the first prospective study to investigate facial emotion recognition with face mask-wearing related to social anxiety, it provides valuable insight and data for future research.

Facial Recognition Algorithm Based on Edge Detection and Discrete Wavelet Transform

Chang, Min-Hyuk,Oh, Mi-Suk,Lim, Chun-Hwan,Ahmad, Muhammad-Bilal,Park, Jong-An Institute of Control 2001 Transaction on control, automation and systems eng Vol.3 No.4

In this paper, we proposed a method for extracting facial characteristics of human being in an image. Given a pair of gray level sample images taken with and without human being, the face of human being is segmented from the image. Noise in the input images is removed with the help of Gaussian filters. Edge maps are found of the two input images. The binary edge differential image is obtained from the difference of the two input edge maps. A mask for face detection is made from the process of erosion followed by dilation on the resulting binary edge differential image. This mask is used to extract the human being from the two input image sequences. Features of face are extracted from the segmented image. An effective recognition system using the discrete wave let transform (DWT) is used for recognition. For extracting the facial features, such as eyebrows, eyes, nose and mouth, edge detector is applied on the segmented face image. The area of eye and the center of face are found from horizontal and vertical components of the edge map of the segmented image. other facial features are obtained from edge information of the image. The characteristic vectors are extrated from DWT of the segmented face image. These characteristic vectors are normalized between +1 and -1, and are used as input vectors for the neural network. Simulation results show recognition rate of 100% on the learned system, and about 92% on the test images.

증강현실 얼굴인식기술을 활용한 한.중.일 탈 문화 체험 콘텐츠 설계 및 제작

김태환 한국디지털콘텐츠학회 2022 한국디지털콘텐츠학회논문지 Vol.23 No.12

The cultures of Korea, China and Japan are unique, but have always been closely related, sharing and influencing each other. Due to the recent COVID-19 pandemic, the cultural interaction between the three countries has been limited for the past few years. Hence non face-to-face methods of communication such as video conferencing, broadcasting and publishing content have replaced traditional methods. During the Fourth Industrial Revolution, the demand for virtual reality (VR), augmented reality (AR) has been increasing, therefore a lot of research and development for traditional cultural content and cultural exchange is being undertaken. However, the content being developed is mostly limited to only the sharing of information, and there is a lack of interactive cultural content to meet user demand. Unlike virtual reality, augmented reality can be easily used by anyone with a smartphone. Therefore, in this study, we intend to develop realistic, culturally interactive content using AR technology that anyone can use, and share our experience to expand development of realistic content. 한.중.일 문화는 많은 유사성과 독창성을 가지고, 오랜 기간 밀접한 관계를 맺으며 교류해왔다. 최근 몇 년간 COVID-19의 영향은 해외 문화교류에 많은 제약을 주었고, 이로 인하여 화상을 통한 회의나, 방송, 콘텐츠와 같은 비대면 방식이 이를 대신하게 되었다. 4차 산업혁명의 영향으로 가상현실, 증강현실에 대한 기술발전과 수요가 늘면서, 문화유산의 개발과 교류를 위한 콘텐츠의 다양한 연구와 개발이 진행되고 있는데, 대부분 문화유산의 정보 전달에 국한되어 있고, 사용자 요구에 맞는 상호작용이 가능한 실감형 콘텐츠는 여전히 부족하다. 증강현실은 가상현실과는 다르게, 대부분 스마트폰에서 구동 가능하여, 누구나 쉽게 이용할 수 있다. 이에 본 연구에서는 증강현실 기술을 활용하여 누구나 쉽게 이용할 수 있는 실감형 문화체험 콘텐츠를 제작하고, 경험을 공유함으로써 실감형 콘텐츠 확산에 도움이 되고자 한다.

마스크 착용에 적응적인 얼굴인식 방법

이승호 한국정보통신학회 2023 한국정보통신학회논문지 Vol.27 No.3

Face recognition (FR) has been used in various applications, such as user authentication in smart devices, access control in building, and intelligent surveillance system, and so on. Research of masked FR has become increasingly important due to the COVID-19 pandemic. In masked FR, mismatch between test face image (with mask) and training face images (without masks) could be often encountered, which could significantly degrade recognition rate. To cope with this problem, the proposed method exploits training data augmentation by synthesizing masks with unmasked face images. For a masked or unmasked test face image, reconstruction error is computed per each person class for the optimal combination of the face images in the training data. The person class is determined by finding the minimum reconstruction error. The proposed method does not require prior knowledge about whether the test face image has mask or not. Recognition rates of 82% and 75% have been achieved for masked and unmasked test face images, respectively. 얼굴인식(face recognition)은 스마트 기기의 사용자 인증, 건물 출입 통제, 지능형 감시 시스템 등에 널리 활용되는 생체인식 기술이다. 코로나19 팬데믹 이후로 마스크 착용이 일상화되면서 마스크 착용 얼굴을 식별하는 마스크 얼굴인식 연구에 대한 중요도가 높아지고 있다. 마스크 얼굴인식에서는 테스트 얼굴 이미지는 마스크 착용이 많은 반면 학습용 얼굴 이미지는 마스크 미착용이 많아서 마스크 착용 여부로 인한 불일치가 발생하고 이는 인식 정확도 저하로 이어지기 쉽다. 본 논문에서 제안하는 마스크 얼굴인식 방법은 앞서 언급한 문제를 극복하기 위해 마스크 미착용 학습용 얼굴 이미지들에 마스크를 합성하여 마스크 착용/미착용 쌍으로 증강된 학습셋을 구성한다. 그리고 마스크 착용 여부를 알 수 없는 테스트 얼굴 이미지를 마스크 착용/미착용 쌍의 학습용 얼굴 이미지들의 최적 조합으로 복원(reconstruction)한 뒤(인물 별로 수행) 복원 오류가 최소인 인물 클래스를 찾아 어떤 인물에 해당하는지 최종 판정한다. 제안하는 방법은 테스트 얼굴 이미지의 마스크 착용 여부와 관계 없이 사용할 수 있다는 장점이 있으며 마스크 착용 시 약 82%, 미착용 시 약 75%의 인식 정확도를 달성하였다.