아동학대 경험에 따른 얼굴표정 정서인식의 차이

하혜주(Ha, Hyeju),심은정(Shim, Eun-Jung) 한국청소년정책연구원 2018 한국청소년연구 Vol.29 No.2

본 연구는 아동학대 경험, 특히 학대 유형에 따른 얼굴표정 정서인식의 차이를 확인하였다. 아동기피학대 경험 척도 점수로 아동학대 유형을 학대(n =9), 학대 및 방임(n =10) 및 통제(n =15)의 세 집단으로 구성하였다. 세 집단을 대상으로 상향 및 하향과제로 구성된 몰핑된 얼굴 과제를 실시하였다. 상향과제에서는 정서가가 0%인 중립 얼굴표정에서 100%인 극단 얼굴표정까지 2% 간격으로 몰핑한 네 가지 얼굴표정(i.e., 기쁨, 분노, 두려움, 슬픔) 자극을 순차적으로 제시하여, 정서를 인식한 시점의 정서 강도 및 인식한 정서 유형을 측정하였다. 하향과제에서는 극단 얼굴표정을 제시하여 인식한 정서 유형을 측정한 후, 극단에서 중립 얼굴표정으로 변하는 과정에서 정서가 사라졌다고 인식하는 강도를 측정하였다. 아동학대 유형에 따른 얼굴표정 정서인식 관련 측정치 분석 결과, 학대집단과 학대 및 방임집단은 통제집단에 비해 슬픔 표정에 대한 정서인식 정확성이 낮았으며, 이를 분노로 오해석하는 경향이 유의하였다. 더불어 학대 및 방임집단은 학대집단에 비해 기쁨 표정에 대한 낮은 정서인식 정확성을 보였으며, 기쁨을 분노로 오해석하였다. 반면 정서인식 민감성에서는 세 집단 간 유의한 차이가 없었다. 본 연구의 결과는 아동학대를 경험한 성인이 얼굴표정 정서인식에서 보이는 분노에 대한 편향 가능성과 학대와 방임을 함께 경험한 사람들이 더 심각한 양상의 정서인식 편향을 보일 가능성을 시사한다. 얼굴표정 정서인식과 심리사회적 부적응 및 정신 병리의 관련성을 고려할 때, 아동학대 경험이 있는 개인에게 나타나는 얼굴표정 정서인식 편향을 다루는 개입이 필요하다. This study investigated whether experience of childhood maltreatment affected facial emotion recognition, and whether this impact differed depending on the type of maltreatment. Two groups that experienced maltreatment (an abuse only group (n=9) and a group with both abuse and neglect (n=10)) and a control group without the experience of maltreatment (n=15) were classified. These groups participated in ascending and descending morphed facial tasks. In the ascending task, sequences of neutral faces slowly changing to full-intensity happy, angry, fearful, and sad expressions were presented, and the participants were asked to respond when they identified emotions in facial expression. In the descending task, the same stimuli were presented in reverse order, and participants responded when they recognized the disappearance of an emotion in facial expression. The results indicated that participants with a history of childhood maltreatment were less accurate in recognizing sad expressions than the control group, and more likely to misinterpret sad facial expressions as angry ones. Moreover, compared to the abuse only group, the group with both abuse and neglect showed a lower level of emotion recognition accuracy with regard to happy facial expressions, and were more likely to misinterpret happy facial expressions as angry ones. There were no significant differences between the groups in emotion intensity. The results suggest that childhood experiences of maltreatment are associated with facial emotion recognition biases in adulthood, especially in terms of anger. Furthermore, adults with a history of both abuse and neglect have more severe biases than individuals with only experiences of abuse. The current results warrant the need for addressing facial emotional recognition biases in individuals with experiences of childhood maltreatment, given its significant association with psychosocial maladjustment and psychopathology.

특징점기반 Gabor 및 LBP 피쳐를 이용한 얼굴 인식

김진호(Jin-Ho Kim) 한국콘텐츠학회 2013 한국콘텐츠학회논문지 Vol.13 No.1

얼굴 영상 데이터베이스에서 제공하는 눈 좌표에 의존해서 부분 자동 얼굴 인식 알고리즘을 설계 구현하면 실 환경 얼굴 인식 시스템에서는 눈 좌표 추출 알고리즘의 정확도에 따라 인식 성능이 달라질 수 있다. 본 논문에서는 얼굴의 눈, 코, 입 및 윤곽선 정보를 바탕으로 설정한 특징점 기반의 얼굴 모델 그래프를 생성하여 얼굴 영상에 정합시키고 각 특징점에서 Gabor 및 LBP 피쳐를 추출해서 결합하는 방식의 완전 자동 얼굴 인식 알고리즘을 제안하였다. 본 알고리즘에서는 완전 자동으로 얼굴 영상에 얼굴 모델 그래프를 맞출 뿐만 아니라 기존의 Gabor 피쳐에 LBP 피쳐를 추가함으로써 인식 성능을 극대화 시킬 수 있도록 하였다. 제안한 알고리즘을 FERET 데이터베이스에 적용해 본 결과 1,000명 이상의 얼굴을 실시간으로 인식할 수 있었고 각 데이터 집합에 대해서 우수한 인식 성능을 얻을 수 있었다. The accuracy of a real facial recognition system can be varied according to the accuracy of the eye detection algorithm when we design and implement a semi-automatic facial recognition algorithm depending on the eye position of a database. In this paper, a fully automatic facial recognition algorithm is proposed such that Gabor and LBP features are extracted from fiducial points of a face graph which was created by using fiducial points based on the eyes, nose, mouth and border lines of a face, fitted on the face image. In this algorithm, the recognition performance could be increased because a face graph can be fitted on a face image automatically and fiducial points based LPB features are implemented with the basic Gabor features. The simulation results show that the proposed algorithm can be used in real-time recognition for more than 1,000 faces and produce good recognition performance for each data set.

얼굴인식에 관한 법적 쟁점 -해외에서의 논의를 중심으로-

이건수 사단법인 한국법이론실무학회 2022 법률실무연구 Vol.10 No.4

Recently, face recognition technology has been introduced in all kinds of life situations. Face authentication is a type of biometric authentication that confirms identity based on the location and size of the eyes, nose, and mouth. The personal image stored in the database and the subject's face image taken with the camera are collated and authenticated. It has the characteristic of being able to quickly perform identity verification without contact. In China, for example, digitization is progressing rapidly and facial recognition technology is also being used to counter the novel coronavirus. In places where large numbers of people gather, surveillance cameras and temperature sensors detect people with high body temperatures, and facial recognition systems identify people. Results will be communicated to local authorities and steps are being taken to conduct COVID-19 testing on specific individuals. In addition, in Japan, facial recognition is being used in various situations, such as airports, commercial facilities, amusement parks, large-scale events, retail store settlements, and immigration systems in offices, utilizing the fact that individuals can be identified smoothly. On the other hand, because it is smooth, our faces are sometimes used for crime prevention and marketing purposes, such as surveillance cameras on street corners, even if we are not conscious of it. Facial recognition technology is poised to make the world a better place, but extensive training in ethical implementation is needed to ensure that businesses can safely adopt this AI biometric technology for the comfort of everyone and everywhere. The possibilities of facial recognition are beyond imagination. For example, you can automate office access control to keep your employees safe. Retailers can provide a stronger customer experience in their stores. It can simplify access control for many restricted areas during manufacturing. Banks and Fintech companies are introducing much stronger authentication and cutting-edge security controls. These are just the tip of the iceberg. Facial recognition is the future of AI biometric technology. The industry must provide consumers with the right information, expose many widespread fakes about technology, and explain the potential benefits of positive value. We also need to properly regulate innovation so that it can embrace many benefits without hindrance. In this study on the prospect of face recognition, the application and implementation of face recognition technology in various industries and public fields were introduced and legal issues were reviewed. 최근에는 모든 종류의 생활 상황에서 얼굴인식 기술이 도입되고 있다. 얼굴인증은 눈, 코, 입 등의 위치와 크기에 따라 신원인지 여부를 확인하는 생체인증의 한 유형이다. 데이터베이스에 저장된 개인 이미지와 카메라로 촬영한 대상자의 얼굴 이미지가 대조되고 인증된다. 접촉없이 신속하게 신원확인을 수행할 수 있다는 특징이 있다. 예를 들어, 중국에서는 디지털화가 빠르게 진행되고 있으며 신종 코로나 바이러스에 대응하기 위해 얼굴인식 기술도 사용되고 있다. 많은 사람들이 모이는 곳에서는 감시 카메라와 온도 센서가 높은 체온을 가진 사람들을 감지하고 얼굴인식 시스템을 통해 사람들을 식별한다. 결과는 지방 당국에 전달되며 특정 인물에 대한 COVID-19 검사를 실시하기 위한 조치가 취해지고 있다. 또한 일본에서도 개인을 원활하게 식별할 수 있다는 사실을 활용해 공항, 상업시설, 놀이공원, 대규모 행사, 소매점 정산, 사무실의 출입국 관리 시스템 등 다양한 상황에서 얼굴인식이 활용되고 있다. 반면에, 매끄럽기 때문에 우리가 그것을 의식하지 않더라도 거리 모퉁이에 있는 감시 카메라와 같은 범죄예방 및 마케팅 목적으로 우리의 얼굴이 사용되는 경우가 있다. 안면인식 기술은 세상을 더 나은 곳으로 만들 태세이지만, 기업이 모든 사람과 모든 곳에서 편안하게 사용할 수 있도록 이 AI 생체인식 기술을 안전하게 채택할 수 있도록 윤리적 구현에 대한 광범위한 교육이 필요하다. 얼굴인식의 가능성은 상상을 초월한다. 예를 들어, 사무실 액세스 제어를 자동화하여 직원의 안전을 유지할 수 있다. 소매업체는 매장에서 더 강력한 고객경험을 제공할 수 있다. 제조과정에서 많은 제한 구역에 대한 액세스 제어를 단순화 할 수 있다. 은행과 핀테크 회사는 훨씬 더 강력한 인증과 최첨단 보안 제어를 도입하고 있다. 이것들은 빙산의 일각에 불과하다. 얼굴인식은 AI 생체인식 기술의 미래이다. 업계는 소비자에게 올바른 정보를 제공하고, 기술에 대한 많은 광범위한 가짜를 폭로하고, 긍정적 인 가치의 잠재적 인 이점을 설명해야 한다. 우리는 또한 혁신이 방해받지 않고 많은 혜택을 받아들일 수 있도록 적절하게 규제해야 한다. 얼굴인식 전망에 관한 이 연구에서는 다양한 산업 및 공적 분야에서 안면인식 기술의 응용 프로그램과 구현 시 고려해야 할 사항을 소개하고 법적 쟁점을 검토하였다.

다중 분류기 융합에 기반한 마스크 얼굴 표정인식

이승호(Seung Ho Lee) 한국정보통신학회 2023 한국정보통신학회논문지 Vol.27 No.7

얼굴 표정인식(facial expression recognition)은 감성 컴퓨팅의 핵심적인 기술 분야로 개인화된 맞춤 교육을 위한 학습자의 집중도 분석이나 스마트 자동차에서의 운전자의 졸음운전 감지 등 다양한 응용에 활용되고 있다. 코로나19 팬데믹이 시작된 이후로 마스크 착용이 일상화됨에 따라 마스크 착용 얼굴에 대한 표정인식 기술에 대한 요구도 높아졌다. 마스크 착용 얼굴은 얼굴 하관이 대부분 가려져 충분한 양의 분별 특징정보를 추출하기 어려워서 정교한 분류 기법이 필요하다. 본 논문에서는 CNN(Convolutional Neural Network) 분류기와 최적 얼굴 복원 기반 분류기에서 출력된 클래스별 예측 점수를 가중 합산하여 최종 표정 클래스(예 : Surprise)를 판정하는 마스크 얼굴 표정인식 방법을 제안한다. 얼굴 표정인식에서 널리 사용되고 있는 데이터셋인 CK+ 및 MMI의 얼굴 이미지들에 가상의 마스크 이미지를 합성하여 실험을 수행한 결과 제안하는 다중 분류기 융합 기반 방법은 각각 70% 및 62%의 인식 정확도를 달성하였으며 이는 최신 마스크 얼굴 표정인식 방법에 사용된 분류기의 인식 정확도에 비해서도 약 7%p 높은 것이다. Facial expression recognition has been a core technology in affective computing and used in various applications such as analyzing the concentration of students for personalized education and detecting drowsy driving of drivers in smart cars. Since COVID-19 pandemic started and wearing masks became common, there has been increasing demand for recognizing masked faces. However, because most of the lower facial part is occluded when wearing mask, it is difficult to extract discriminative feature information. Thus, a sophisticated classifier is required. This paper proposes an expression recognition method for masked face, which fuses prediction scores from multiple complementary classifiers, i.e., CNN and optimal facial reconstruction based classifiers. Experiments were performed by synthesizing mask image into the face images of the CK+ and MMI which were the widely used datasets in facial expression recognition. The proposed method achieved the accuracies of 70% and 63%, respectively and 7% improvements were obtained compared to using the classifier adopted in the recently proposed method.

사람이 영상 속 얼굴 인식을 할 때의 얼굴의 형태와 질감이 미치는 영향

박병화(Byung-Hwa Park),오세영(Se-Young Oh) 한국HCI학회 2017 한국HCI학회 학술대회 Vol.2017 No.2

영상 속의 사람의 얼굴 정보는 얼굴의 형태정보와 질감정보로 구분지을 수 있다. 두 정보가 함께 투영되어 생성된 영상 속의 얼굴을 사람은 인식을 한다. 본 연구에서는 사람이 영상 속 얼굴 인식을 할 때의 얼굴의 형태와 질감이 미치는 영향에 대해 실험을 해보았다. 사람의 얼굴 형태 정보와 표정 정보를 요소화하여 표현하는 Bilinear Shape Model 을 이용하여 얼굴형태 정보 혹은 얼굴 질감 정보를 선택적으로 변화를 시키며 새로운 얼굴 정보를 생성해 내었다. 그 후, 유저스터디를 통해 사람이 사람의 얼굴을 바라볼 때, 어떤 요소로부터 가장 큰 영향을 받는지를 실험하였다. 실험 결과, 얼굴 질감 정보가 얼굴 형태 요소보다 얼굴인식에 더 큰 영향을 미쳤으며, 얼굴 형태 정보에서는 턱의 넓이 정보의 변화가, 얼굴 텍스쳐 정보에서는 눈과 눈썹 색의 짙음정도가 얼굴 신원 인식의 변화에 큰 영향을 제공한 것을 확인할 수 있었다. 또한 기존의 상용 얼굴 인식 알고리즘을 이용해서도 같은 실험을 반복한 결과, 상용 얼굴 인식 알고리즘은 얼굴의 미세한 변화가 있더라도 같은 사람이라고 인식하는 것을 확인할 수 있었다. 이로부터 증강현실이가 가상현실에서 사용자의 가상의 아바타를 생성할 때, 얼굴의 어떤 요소를 중요시 해야 하는지를 파악할 수 있다.

사용자 인증을 위한 딥러닝 기반 얼굴인식 기술 동향

문형진,김계희 대한산업경영학회 2019 산업융합연구 Vol.17 No.3

차이가 나는 물체를 구별하는 물체인식과 달리, 얼굴인식은 유사한 패턴을 가진 얼굴의 Identity를 구별한다. 이에 따라 LBP, HOG, Gabor과 같은 특징 추출 알고리즘이 딥러닝 기반으로 대체되고 있다. 딥 러닝 기술을 활용하여 머신러닝으로 얼굴을 식별할 수 있는 기술이 발전하면서 다양한 분야에서 얼굴인식 기술이 활용되고 있다. 특히, 금융 거래 외에도 사용자 식별이 필요한 다양한 오프라인 환경에서 활용되어 세밀하고 개인에 적합한 서비스가 제공될 수 있다. 얼굴 인식 기술은 스마트 미러와 같은 장치를 통해 손쉽게 사용자 인증을 하고, 식별이 된 사용자에게 서비스를 제공할 수 있는 기술로 발전할 수 있다. 본 논문에서는 사용자 인증의 다양한 기법 중에서 얼굴인식 기술에 대한 조사 및 파이썬으로 작성된 얼굴인식 사례 소스 분석과 얼굴인식 기술을 활용한 다양한 서비스의 가능성을 제시하고자 한다. Object recognition distinguish objects which are different from each other. But Face recognition distinguishes Identity of Faces with Similar Patterns. Feature extraction algorithm such as LBP, HOG, Gabor is being replaced with Deep Learning. As the technology that identify individual face with machine learning using Deep Learning Technology is developing, The Face Recognition Technology is being used in various field. In particular, the technology can provide individual and detailed service by being used in various offline environments requiring user identification, such as Smart Mirror. Face Recognition Technology can be developed as the technology that authenticate user easily by device like Smart Mirror and provide service authenticated user. In this paper, we present investigation about Face Recognition among various techniques for user authentication and analysis of Python source case of Face recognition and possibility of various service using Face Recognition Technology.

비디오속의 얼굴추적 및 PCA기반 얼굴포즈분류와 (2D)²PCA를 이용한 얼굴인식

김진율(Jin-Yul Kim),김용석(Yong-Seok Kim) 한국지능시스템학회 2013 한국지능시스템학회논문지 Vol.23 No.5

통상의 얼굴인식은 사람이 똑바로 카메라를 응시해야 하거나, 혹은 이동하는 통로의 정면과 같이 특정 얼굴포즈를 취득할 수 있는 위치에 카메라를 설치하는 등 통제적인 환경에서 이루어진다. 이러한 제약은 사람에게 불편을 초래하고 얼굴인식의 적용 범위를 제한하는 문제가 있다. 본 논문은 이러한 기존방식의 한계를 극복하기 위하여 대상이 특별한 제약 없이 자유롭게 움직이더라도 동영상 내에서 대상의 얼굴을 추적하고 얼굴인식을 하는 방법을 제안한다. 먼저 동영상 속의 얼굴은 IVT(Incremental Visual Tracking) 추적기를 사용하여 지속적으로 추적이 되며 이때 얼굴의 크기변화와 기울기가 보상이 되어 추출이 된다. 추출된 얼굴영상은 사람과 카메라의 각도를 특정각도로 제한하지 않았으므로 다양한 포즈를 가지게 되며 따라서 얼굴인식을 하기 위해서 포즈에 대한 판정이 선행되어야 한다. 본 논문에서는 PCA(Principal Component Analysis)기반의 얼굴포즈판정방법을 사용하여 추적기에서 추출된 이미지가 5개 포즈별 DB속의 학습된 포즈와 유사한 것으로 판정될 때만 얼굴인식을 수행하여 인식률을 높이는 방법을 제안하였다. 얼굴인식에서는 PCA, 2DPCA, (2D)²PCA의 인식알고리즘을 사용하여 얼굴인식률과 수행시간을 비교 제시하였다. In typical face recognition systems, the frontal view of face is preferred to reduce the complexity of the recognition. Thus individuals may be required to stare into the camera, or the camera should be located so that the frontal images are acquired easily. However these constraints severely restrict the adoption of face recognition to wide applications. To alleviate this problem, in this paper, we address the problem of tracking and recognizing faces in video captured with no environmental control. The face tracker extracts a sequence of the angle/size normalized face images using IVT (Incremental Visual Tracking) algorithm that is known to be robust to changes in appearance. Since no constraints have been imposed between the face direction and the video camera, there will be various poses in face images. Thus the pose is identified using a PCA (Principal Component Analysis)-based pose classifier, and only the pose-matched face images are used to identify person against the pre-built face DB with 5-poses. For face recognition, PCA, (2D)PCA, and (2D)²PCA algorithms have been tested to compute the recognition rate and the execution time.

Pre-Processing 방법에 따른 PCA/LDA 기반의 얼굴인식 성능 비교

김형복(Hyung-Bok Kim),심귀보(Kwee-Bo Sim) 한국지능시스템학회 2009 한국지능시스템학회 학술발표 논문집 Vol.19 No.1

본 논문은 얼굴 인식의 인식률 향상을 위해 전처리(Pre-Processing) 방법의 차이에 따른 얼굴 인식률을 비교하였다. 일반적인 전처리 방법으로는 평균 조명의 변화로 인한 영향을 최소화하기 위해서 영상의 밝기 값에 평균을 빼고 분산을 나눠서 밝기 성분을 정규화 하는 FLC(Fast Lightning Correction)를 수행한다. 본 논문에서는 일반적인 전처리 방법인 FSC를 수행한 후의 얼굴 인식률과 영상의 경계를 강조하는 고역통과필터(High-Pass Filter)를 수행 후 FLC의 전처리 과정을 거친 영상의 얼굴 인식률, 영상의 명암 값의 분포를 고르게 만들어주는 히스토그램평활화(Histogram Equalization)를 수행한 후 FLC의 전처리 과정을 거친 영상의 얼굴 인식률을 PCA/LDA 얼굴인식 알고리즘을 통해서 각각의 방법에 따른 얼굴 인식률을 비교하였다. ORL 얼굴 데이터베이스를 이용하여 실험을 하였으며 실험 결과 히스토그램 평활화를 한 후 FSC를 수행 한 전처리 과정이 가장 우수한 얼굴 인식률을 보이는 것을 확인할 수 있었다.

비디오속의 얼굴추적 및 PCA기반 얼굴포즈분류와 (2D)²PCA를 이용한 얼굴인식

김진율,김용석,Kim, Jin-Yul,Kim, Yong-Seok 한국지능시스템학회 2013 한국지능시스템학회논문지 Vol.23 No.5

통상의 얼굴인식은 사람이 똑바로 카메라를 응시해야 하거나, 혹은 이동하는 통로의 정면과 같이 특정 얼굴포즈를 취득할 수 있는 위치에 카메라를 설치하는 등 통제적인 환경에서 이루어진다. 이러한 제약은 사람에게 불편을 초래하고 얼굴인식의 적용 범위를 제한하는 문제가 있다. 본 논문은 이러한 기존방식의 한계를 극복하기 위하여 대상이 특별한 제약 없이 자유롭게 움직이더라도 동영상 내에서 대상의 얼굴을 추적하고 얼굴인식을 하는 방법을 제안한다. 먼저 동영상 속의 얼굴은 IVT(Incremental Visual Tracking) 추적기를 사용하여 지속적으로 추적이 되며 이때 얼굴의 크기변화와 기울기가 보상이 되어 추출이 된다. 추출된 얼굴영상은 사람과 카메라의 각도를 특정각도로 제한하지 않았으므로 다양한 포즈를 가지게 되며 따라서 얼굴인식을 하기 위해서 포즈에 대한 판정이 선행되어야 한다. 본 논문에서는 PCA(Principal Component Analysis)기반의 얼굴포즈판정방법을 사용하여 추적기에서 추출된 이미지가 5개 포즈별 DB속의 학습된 포즈와 유사한 것으로 판정될 때만 얼굴인식을 수행하여 인식률을 높이는 방법을 제안하였다. 얼굴인식에서는 PCA, 2DPCA, $(2D)^2PCA$의 인식알고리즘을 사용하여 얼굴인식률과 수행시간을 비교 제시하였다. In typical face recognition systems, the frontal view of face is preferred to reduce the complexity of the recognition. Thus individuals may be required to stare into the camera, or the camera should be located so that the frontal images are acquired easily. However these constraints severely restrict the adoption of face recognition to wide applications. To alleviate this problem, in this paper, we address the problem of tracking and recognizing faces in video captured with no environmental control. The face tracker extracts a sequence of the angle/size normalized face images using IVT (Incremental Visual Tracking) algorithm that is known to be robust to changes in appearance. Since no constraints have been imposed between the face direction and the video camera, there will be various poses in face images. Thus the pose is identified using a PCA (Principal Component Analysis)-based pose classifier, and only the pose-matched face images are used to identify person against the pre-built face DB with 5-poses. For face recognition, PCA, (2D)PCA, and $(2D)^2PCA$ algorithms have been tested to compute the recognition rate and the execution time.

마스크 영역 분할을 이용한 얼굴 표정인식

이승호(Seung Ho Lee) 한국정보통신학회 2023 한국정보통신학회논문지 Vol.27 No.4

얼굴 표정인식(facial expression recognition)은 인간 중심의 사람-기계 인터페이스에서 가장 중요한 요소기술 중 하나이다. 마스크 착용 얼굴의 경우 얼굴 하관이 대부분 가려져 충분한 양의 분별 특징정보(discriminative feature)를 추출하기 어려우며, 마스크 착용 여부 및 마스크 패턴(형태, 크기, 무늬 등)의 다양성은 인식 정확도를 저해시키는 방해요소로 작용할 수 있다. 본 논문에서는 마스크 착용으로 인한 영향을 감소시키기 위한 얼굴 표정인식 방법을 제안한다. 먼저 마스크 착용 여부에 의한 불일치를 감소시키기 위해 마스크를 착용한 테스트 얼굴에 대해 표정인식을 수행할 때 학습용 얼굴 이미지들에 마스크를 합성한다. 그리고 마스크 패턴의 다양성에 의한 불일치를 최소화하기 위해 테스트 및 학습용 얼굴 이미지들에서 이미지 분할을 적용하여 추출된 마스크 영역을 제거하여 검정색으로 표시한다. 마스크 영역이 제거된 테스트 얼굴 이미지를 동일한 방식으로 전처리 된 학습용 얼굴 이미지들의 최적 조합으로 복원(reconstruction)한 뒤 복원 기여도가 가장 높은 클래스를 찾음으로써 테스트 얼굴 이미지의 감정 클래스를 결정한다. 제안하는 방법은 6가지의 대표 감정에 대해 70% 이상의 마스크 얼굴 표정인식 정확도를 달성하였으며 이는 학습용 얼굴 이미지들이 마스크 미착용인 경우에 비해 46% 정도 높은 수치이다. Facial expression recognition is one of the most important technologies in human-machine interface. For the case of masked face image, it is difficult to extract discriminating features as a large facial part is occluded. Moreover, a variety of mask patterns could degrade the recognition rate. In this paper, a facial expression recogition method is proposed aiming to reduce the effect of wearing masks. In the proposed method, to deal with the mismatch due to masked test faces, mask images are synthesized with the training face images. After that, for each of the test and training face images, the mask region is segmented and eliminated. A proprecessed test face image is recontructed with an optimal combination of the preprocessed training face images, and categorized into an emotion class by finding the most contributing class during the reconstruction. The proposed method achieves 70% in recognition rate where about 46% improvement can be achieved compared to the case of unmasked training faces.