시청자의 시각적 주의 연구를 통한 시각적 매체에서 비언어 커뮤니케이션의 효과적인 감정 및 상태 정보 전달 연구 -얼굴 표정과 몸짓을 중심으로-

장다윤,김창원,김지윤 한국만화애니메이션학회 2022 만화애니메이션연구 Vol.- No.68

People deliver their expression in both verbal and nonverbal ways. Nonverbal expression is the nonverbal communication based expression using the motions of various body parts. The facial expression and gesture show specific mental state, reaction and intention to deliver the core information that enables the counterpart can infer the expresser’s emotion. According to some of neuro-psychology studies, the facial expression connects to the expresser’s internal emotion state through neuro-circuit making her or his internal state information delivered to her or his counterpart. In any situation, therefore, people look at the counterparts’ faces unconsciously to read the counterparts’ information. Such motional factors as gesture and posture have the motional characters depending on the expresser’s mental state, so that the expresser delivers her or his emotion and state information by controlling her or his arms’ direction or position, hand shape or motion speed and etc. This study looks into which factors are more important to the audience based on the preceding research, which indicates that the eyes are caught to the facial expression and gesture that deliver the expresser’s information and enable the audience to infer her or his state and emotion. That is, this study analyzes the correlation between the facial expression and gesture based on the test of eye-tracking gaze motion: where the audience’s eyes are caught to and dispersed from. The test result of the focus level indicates that the eyes are first focusing on the facial expression, which the audiences try to read the expresser’s face by. The total gaze number is tested to look into the visual interest level and the test result shows that the audiences’ eyes keep being caught to the facial expression part due to their habit of trying to read the expresser’s face even after the expresser’s face is blocked. This result is as same as the result of the preceding research, which indicates that the audiences understand and grasp the expresser’s state and emotion through her or his facial expression. According to also the study result based on the eyes’ fixation time test additionally conducted, the visual processing is bigger on the facial expression than gesture to try to read the information through the facial expression. The focus and interest level test indicates that the audiences’ visual interest level is higher on the facial expression than on the gesture. The preceding research of the visual attention based on nonverbal expression targets the characters and images as its test objects, so that it is insufficient in the visual attention study that analyzes the visual media as nonverbal expression. This study, therefore, divides the audiences’ visual attention into the facial expression and gesture on each video footage to compare and analyze. The practical results of this study can be referred to and used as the factors to consider for efficient delivery of the information of emotion and state expression in digital contents video production.

일반논문 : 한국어교재의 비언어 표현과 문화교육

김정은 ( Jeong Eun Kim ) 숙명여자대학교 한국어문화연구소 2015 한국어와 문화 Vol.18 No.-

외국인 학습자를 대상으로 하는 언어교육에서는 서로 다른 문화적 배경을 지닌 대화 참여자들의 성공적인 의사소통이 교육 목표이며 이때 요구되는 것은 문화 간 의사소통능력이다. 의사소통은 언어와 비언어 표현으로 이루어지며 이때 비언어는 문화를 반영하므로 한국어학습자들은 자국의 비언어와 목표어인 한국어의 비언어 표현의 차이로 의사소통에 어려움을 겪을 수 있다. 본 연구에서는 문화를 반영하는 비언어표현의 유형과 비언어 표현의 의사소통 유형을 알아보고 의사소통능력 배양을 위해 문화교육의 필요성을 두고 제작한 교재에 비언어표현이 교육내용으로 어떻게 제시되어 있는지 분석한다. 그리고 문화 감지도구 방법을 활용하여 교육현장에서 적용할 수 있는 비언어 표현 교육 방안을 제시한다. In language education for non-native Korean speakers, the educational purpose is successful communication between parties of different cultural backgrounds. Here the crucial point is the ability to communicate between cultures. Communication is made up of verbal and nonverbal expressions. Nonverbal expressions reflect culture. Therefore, non-native Korean speakers can face difficulty in communicating in Korean due to the differences in the nonverbal expressions of Koreans and their native language. However, up to this point, most language education centers have offered only educational systems that focus on verbal expression, with barely any education on culture and nonverbal expression. This research looks into the types of nonverbal expression that reflect culture and examines Korean nonverbal expression to show how it differs from that of cultures of non-native Korean speakers. Using this information, whether these differences between such nonverbal expressions are included in Korean language textbooks as part of the syllabus is analyzed. Furthermore, a syllabus including the differences between the nonverbal expressions of non-native Korean speakers and Koreans are planned and suggested.

An Exploration of Human Communication Problems from the Partial Absence of Facial Expressions Caused by Wearing Protective Masks During COVID-19

이두원 한국커뮤니케이션학회 2022 커뮤니케이션학연구 Vol.30 No.4

In the global health crisis caused by the COVID-19 pandemic, wearing a mask to prevent infection has been suggested as an effective means of disinfection, and now it has become a daily routine for people around the world. Wearing a mask while talking obscures a lot of ‘facial expressions’ causing disconnection and noise in nonverbal communication. By wearing a protective mask, numerous information transmitted through facial expressions may be either lost or distorted. Along with verbal messages, nonverbal messages of facial expressions are also used as a redundant channel. On one hand, facial expressions as a redundant communication channel are used as a strategic communication means for appealing to sympathy or empathy, displaying emotional states, and finding some clues for a speaker’s sincerity. On the other hand, facial expressions paralinguistically emphasize, supplement, modify, or reverse a message in meaning. Wearing a protective mask makes the nonverbal communications through facial expressions extremely difficult. The purpose of this study is to explore human communication problems caused by wearing a protective mask during the COVID-19 pandemic. A group questionnaire was conducted with students taking human communication classes. The questionnaire was designed to explore nonverbal problems through facial expressions in the six domains of R. Jakobson’s communication model. The result of the study shows that the nonverbal communication of facial expressions is more problematic in the domains of the addresser, addressee, context, and message than in the domains of contact and code. This study identifies the nonverbal communication of facial expressions from the experience of the absence of those facial expressions being covered by a protective mask.

애니메이션 캐릭터의 표정연출 유형 연구

홍순구 한국콘텐츠학회 2006 한국콘텐츠학회논문지 Vol.6 No.8

Birdwhistell explains; in the whole communication, language conveys only 35% of the meaning and the rest 65% is conveyed by non-linguistic media. Humans do not entirely depend on linguistic communication, but are sensitive being, using every sense of theirs. Human communication, by using facial expression, gesture as well as language, is able to convey more concrete meaning. Especially, facial expression is a many-sided message system, which delivers individual personality, interest, information about response and emotional status, and can be said as powerful communication tool. Though being able to be changed according to various expressive techniques and degree and quality of expression, the symbolic sign of facial expression is characterized by generalized quality. Animation characters, as roles in story, have vitality by emotional expression of which mental world and psychological status can reveal and read naturally on their actions or facial expressions. 버드휘스텔(Birdwhistell)은 말이 전하는 의미는 전체커뮤니케이션의 35%이하에 불과하고 나머지 65% 이상은 비언어적 형태로 전달되며 인간은 전적으로 언어에 의해 의사소통을 하는 존재가 아니라 모든 감각을 사용하는 감각적 존재라고 설명하고 있다. 인간의 커뮤니케이션은 언어 외에 표정, 몸동작 등을 통해 보다 더 구체적인 의미 전달이 가능하며, 특히 얼굴표정은 개인의 성격, 관심, 반응에 대한 정보 및 감정의 상태를 전달해주는 다면적 메시지체계로 강력한 커뮤니케이션 도구라고 할 수 있다. 다양한 표현기법과 표현의 정도, 특성에 따라 달라질 수 있지만 표정이 갖는 상징적 기호는 일반화 된 특성을 가지고 있다. 스토리상의 등장인물로서 내면세계와 심리적 상태가 행동이나 표정으로 자연스럽게 노출되고 읽어낼 수 있는 감정표현에서 애니메이션 캐릭터는 생명력을 갖는다.

한국어 교재에 표현된 사회적 차별 요소

박은하(Park Eun Ha) 한국사회언어학회 2015 사회언어학 Vol.23 No.1

This study investigates and analyzes social discrimination factors occurring in Korean coursebooks that disfavor immigrant workers, female marriage immigrants, and North Korean refugees as minorities in Korea. Therefore we examine what kind of social discrimination factors high placed and how these are presented in both verbal and nonverbal expressions. With regard to verbal forms, we examine discriminatory expressions in sentences and conversations including vocabularies commonly used in Korean coursebooks. The result prove that of all other forms of social discrimination found in Korean coursebooks, instances of gender role stereotypes occur most frequently. The second most frequently verbal discriminatory expression found referred to gender personality and behavior, while the third most frequently used discriminatory expression referred to physical appearance and body image. Also revealed in the study was a high recurrence of referencing gender role stereotypes in Korean coursebooks for female marriage immigrants as found through comparing two particular coursebooks. Concerning nonverbal forms, we examine discriminatory expressions in main characters and illustrations. In three types of Korean coursebooks, we observe a high recurrence of gender-biases when discussing job positions. For examples, one coursebook referred to restaurant work as suited for women, while describing the position of doctor as male job. Korean coursebooks for immigrants further reveal discrimination in their descriptions of socioeconomic status as determining so-called higher citizenship status. In illustrations, gender-biases of job and gender role stereotypes were presented more frequently in three kinds of Korean coursebooks than in the other kinds.

어머니의 발화 촉진 행동이 영아의 의사표현몸짓, 의성어, 어휘 발달에 미치는 영향

송하나 한국심리학회 산하 한국발달심리학회 2016 한국심리학회지 발달 Vol.29 No.3

This study examined the relationship between infants’ nonverbal expression, onomatopoeia, and lexical development, and mothers’ utterance-facilitation behaviors. Seventy infants aged 15-17 months and their mothers participated in this study. Mothers completed questionnaires to evaluate both their infants’ language development and the mothers’ play interaction behaviors and language expression. Mothers’ use of “motherese” was also observed in a 15-minute free play setting between mothers and infants. Results showed that infants’ nonverbal expression and the use of onomatopoeia were positively correlated with lexical development, and mothers’ play interaction positively predicted infants’ language development. In addition, the relationship between maternal behavior and infants’ language development varied with gender. Discussion included the role of direct and indirect input of mothers’ utterance-facilitation behaviors. 본 연구에서는 영아의 의사표현몸짓, 의성어, 어휘 발달에 미치는 어머니 발화 촉진 행동의 영향력과 영아의 성에 따른 차이를 알아보았다. 15-17개월 영아 70명(남아 34, 여아 36)과 어머니가 연구에 참여하였으며, 어머니들은 영아의 언어 발달을 측정하기 위해 MCDI-K에서 선별하고 수정 보완한 의성어 및 어휘 목록과 의사소통행동에 대해 평정하였다. 또한 어머니의 놀이 상호작용과 언어 표현성을 측정하기 위한 설문을 실시하였다. 어머니의 모성어 사용은 실험실에서 영아와 어머니가 15분간 자유놀이를 하는 동안 관찰되었다. 연구 결과, 의사표현몸짓과 의성어의 발달이 영아의 어휘 발달과 정적인 관계가 있었으며, 어머니의 발화 촉진 행동 중 모자 간 놀이 상호작용이 영아의 의사표현몸짓과 어휘 발달에 유의한 영향을 미치는 것으로 나타났다. 모성어의 사용은 어휘 발달과 관련이 없는 것으로 나타났다. 또한 놀이 상호작용이 영아의 언어 발달에 미치는 영향은 남아들에서만 유의하였으며, 여아들의 어휘 발달에는 모성어의 영향이 유의한 것으로 나타났다. 논의에서는 어머니 발화 행동의 역할에 대해 초점을 맞추었다.

대학 글쓰기 학습자의 내적 요인 탐색과창의적 글쓰기 모색 -대학생 필자의 설문조사를 이용하여-

임지원 ( Ji Won Lim ) 충남대학교 인문과학연구소 2015 인문학연구 Vol.51 No.1

본 연구는 대학글쓰기 학습자에 대한 내면적 요인을 탐색하고 창의적 표현 글쓰기 생산을 위한 효율적인 도구를 마련하는 것에 목적을 두고 논의된 것이다. 우선 성공적인 연구 진행을 위해 필자의 내면적 관점을 주제로 한 선행연구 고찰 및 ‘글쓰기 접근(approaches to process)모델’ 방식과 ‘관념화(ideation)에 따른 쓰기 접근의 다차원적 구조이론’을 살펴보았다. 이 기제를 토대로 필자의 내면적인 요인과 관련된 문제점의 해결책 마련을 위해 H대학교 신입생을 중심으로 설문조사를 실시하였다. 그 결과 쓰기 접근의 다차원적 구조의 세부 영역 중 창의적이며 성찰적인 삶의 의미를 담은 주제와 더불어 수용자의 흥미와 일반적인 배경 지식이 함의된 광고매체언어 활용이 필자가 지닌 쓰기에 대한 두려움을 완화시키는데 도움을 줄 수 있음을 밝혀냈다. 즉 다른 텍스트에 비해 언어적 측면의 함축성과 상징적(기호) 이미지에 대한 비언어적인 의미 표현, 그리고 접근의 수이성을 두루 갖춘 매체언어의 활용이 글쓰기에 대한 필자의 내면적인 두려움을 없애고, 자신만의 지적인 잠재 능력을 최대화시킬 수 있는 표현 과정에서 긍정적인 반응을 이끌어 낼 수 있었다. 만일 필자의 내면적 요인 중 인지적 정보, 감성적 표현, 그리고 정의적(정서적) 요인을 두루 갖춘 광고매체 활용 글쓰기 작업이 수업 현장에서 구체화될 수 있다면, 신입생 필자에게 보다 자유롭고 창의적인 표현 글쓰기의 접근 가능성 또한 비례함을 기대할 수 있을 것이다. This study has a purpose of exploring internal factors of college writing authors and suggesting efficient tool that helps writing with creative expression. For successful research progress, ‘approaches to process’ model technique and ‘multi-dimensional structure theory of approach to writing process according to ideation’ were examined, along with literature review on the issue of internal aspect of authors. For the purpose of finding a solution for problems that are related to authors’ internal factors, a survey based on the previously mentioned mechanism was conducted on freshmen in University H. According to the survey results, among the specific areas of the multi-dimensional structure of the approaches to writing process, use of advertising media language, in which receptor’s interest and general background knowledge are implied in addition to the topics that contain creative and reflective meaning of life, turned out to be effective in reducing author’s anxiety of writing. Compared to other texts, media language is equipped with verbal implication, nonverbal expression of meaning in symbolic (symbol) images, and accessibility. The survey indicated that using this type of media language can contribute to getting rid of internal fear of authors about writing, while drawing positive response during the process of expression that maximizes the intellectual potential of author him/herself. If writing task that makes use of advertising media widely which covers the author’s internal factors of cognitive information, sensible expression, and affective (emotional) factors can be implemented in actual instruction field, it is likely that the possibility that freshmen authors can write with more liberal and creative expression will proportionately increase.

공감정확도 및 정서표현 능력이 호감도에 미치는 영향

남혜림,김서희,주은영,양재원 한국인지행동치료학회 2017 인지행동치료 Vol.17 No.1

본 연구에서는 공감의 인지적 요인 및 정서적 요인, 비언어적 정서표현능력과 호감도의 관계를 확인하고자 하였다. 두 명의 낯선 동성 참가자를 짝지어 최근에 경험한 긍정적, 부정적 사건에 대해 번갈아 이야기 하도록 하였으며, 두 대의 카메라를 이용하여 각 참가자의 정면 모습을 녹화하였다. 대화가 종료된 후 참가자는 독립된 공간에서 상대방에 대한 호감도를 평정하였다. 평가 후 참가자는 자신의 녹화 영상을 시청하며 대화 중 자신이 느꼈던 감정을 연속적으로 기록하였고, 동일한 방법으로 상대방의 녹화영상을 시청하며 상대방의 감정을 추론하여 기록하였다. 본인과 상대방의 감정을 기록한 결과들의 일치도를 급내상관계수로 비교하여 인지적․정서적 공감정확도를 수량화하였다. 마지막으로 실험에 참여하지 않은 두 명의 독립적인 동성평정자로 하여금 참가자의 음성을 제거한 녹화 영상을 보여주고 참가자의 감정을 평정하여 비언어적 정서표현을 확인하였다. 그 결과, 호감도와 정서적 공감 그리고 긍정적인 비언어적 정서표현 간의 정적 상관이 유의하였다. 매개효과 검증 결과, 인지적 공감정확도와 호감도의 관계는 정서적 공감정확도에 의한 간접효과만 유의한 것으로 확인되었다. 이러한 결과를 바탕으로 본 연구의 시사점과 제한점에 대해 논의하였다. The study was conducted to determine how cognitive empathy, emotional empathy, and nonverbal emotional expressivity are related to interpersonal attraction. The same-sex pair of subjects, who did not have any acquaintance, were matched in advance, and they were asked to talk about their recent positive and negative events while their front being videotaped. During the conversation, which lasted eight minutes, the partners took turns in talking about their events, with two minutes for each event. After the talk, subjects completed the interpersonal attraction in the separate room, and watched their own videotape to record their emotion felt during the conversation with a software for continuous affect rating. Also, they were requested to view their partner’s videotape and infer what he or she felt. Empathic accuracy and the degree of emotional assimilation were calculated based on intraclass correlation coefficients between subject’s self-affect rating and subject’s inference about the partner. Nonverbal emotional expressivity was measured by two same-sex raters who did not participate in the study, and watched videotapes of every subject without sound. The results indicated that interpersonal attraction was positively correlated with emotional empathy and positive nonverbal emotional expression. Also, positive indirect-only mediation through emotional empathy was observed between cognitive empathy and interpersonal attraction. The implications and limitations of this study were also discussed.

한국 신파극의 ‘사랑-애(愛)’와 ‘슬픔’의 감정 수행 방식 및 영향 요인 연구 언어적 표현과 비언어적 표현을 중심으로-

김소은 ( Kim So Eun ) 한국드라마학회 2022 드라마연구 Vol.- No.67

본고에서는 한국 신파극에서 ‘사랑-애(愛)’를 통해 형성되는 ‘슬픔’의 ‘감정’을 형성하여 수행하는 방식과 영향 요인을 살펴보고자 하였다. 이것은 그동안의 연구적 태도에서 벗어나 감정 양식체로서 신파극에 대한 연구의 시각을 확장하고자 한 시도이다. 이를 위해 본고에서는 신문연재소설을 분석 대상으로 삼아 상호 텍스트적 관계 속에서 논의하였다. 신파극의 대본이나 공연 자료가 부재한 상황 속에서 신문연재소설은 상호텍스트적으로 유용한 자료이기 때문이다. 유성기음반극, 장한몽가 등 당대의 노래들도 분석 논의한다. 우선, 당대에 편찬된 사전들에서 사랑의 개념이 변천되어 간 과정과 신파극 속에서 형상화된 방식을 확인하였다. 그 결과, 신파극에서는 전근대적 ‘애(愛)’와 근대적 ‘사랑’ 개념이 착종되면서 육체적 정절을 바탕으로 한, 정신적 사랑이 우세하고 있는 것을 알 수 있었다. 아울러 ‘사랑-애(愛)’가 조성하는 ‘슬픔’의 감정이 집단의 전파력이 강한, 극 공간 안에서 이루어지면서 공통 감각으로 형성되는 것을 확인하였다. 아울러 공통 감각으로서의‘슬픔’이 신파극에서 이별, 눈물, 조우의 형식으로 전유되고 있는 것을 살펴보았다. 그리고 신체어, 색채어, 의성어·의태어, 감정 형용사 등의 언어적 표현과 삽화와 사진 속 몸짓, 행동의 에포트 등의 비언어적 표현 요소들이 감정을 수행하는 데에 영향을 미친 요인으로서 역할하고 있는 것을 파악하였다. 본고는 신파극에서의 ‘사랑-애(愛)’와 ‘슬픔’의 감정 상황을 탐색함으로써 감정 양식체로서 신파극이 시대와 어떤 관계를 맺으면서 정체화되었는지에 대해 단서를 제공해 준다는 점에서 의의가 있다. 그러나 동시에 대본과 공연 자료의 부재를 해결하기 위해 다양한 연구 방법론의 축적이 필요하다는 것과, 보다 입체적인 음성, 음악 등의 감정 요소들에 대한 정량적인 분석과 논의는 추후의 과제로 남겨둔다. This study aims to examine the way and factors of influence that form and perform ‘emotion’ of ‘sadness’ formed through ‘love-love’ in Korean Sinpa drama., This is an attempt to expand the perspective of research on the new wave drama as an emotional style, away from the research attitude. For this purpose, this study discussed the newspaper serial novels in the intertextual relationship as an analysis object. In the absence of scripts and performance materials in the Shinpa drama, newspaper serial novels are useful data in terms of intertextuality. Songs of the time such as Yuseonggi record drama and Janghan Monga are also analyzed and discussed. First, the concept of love was changed in the dictionaries compiled in the time, and the way of being shaped in the new drama was confirmed., As a result, it was found that spiritual love based on physical fidelity prevailed in the neo-paper drama as the concept of pre-modern ‘love’ and modern ‘love’ was converted., In addition, it was confirmed that the emotion of ‘sadness’ created by ‘love-ae (愛)’ was formed in a common sense as it was formed in the dramatic space with strong propagation power of the group., In addition, it was examined that ‘sadness’ as a common sense is being used as a form of separation, tears, and encounters in the new drama.,And it was found that the nonverbal expression elements such as body language, color language, onomatopoeia, mimetic language, emotional adjectives, etc., and the nonverbal expression elements such as gestures in illustrations, photographs, and the eports of behavior play a role as the elements performing emotions. This study is meaningful in that it provides clues about how the new wave drama has become identity as a form of emotion by exploring the emotional situation of ‘love-love(愛)’ and ‘sadness’ in the new wave drama. However, at the same time, it is necessary to accumulate various research methodology to solve the absence of script and performance data, and quantitative analysis and discussion of emotional factors such as more stereoscopic voice and music are left as a future task with the lack of ground as a simple reason.

가상현실 에이전트와의 감성적 상호작용 기법

최아영(Ahyoung Choi) 한국컴퓨터그래픽스학회 2016 컴퓨터그래픽스학회논문지 Vol.22 No.5

최근 인간과 에이전트 간의 감성적인 상호작용을 지원하기 위해 에이전트의 기쁨, 슬픔 등의 얼굴 표정에 대한 사용자의 반응을 분석하는 연구들이 진행되었다. 그러나 기존의 연구에서는 사용자가 긍정적 혹은 부정적으로 평가하는 지를 검증하기 위해 주로 설문지를 통해 사용자 피드백을 획득하는 방법을 사용하였다. 본 연구에서는 인간과 에이전트 상호작용에서 에이전트의 얼굴 표정에 대한 사용자의 생체신호를 측정하여 감성적인 영향이 있는지 살펴보았다. 일관성 있는 생체 신호 해석 결과를 도출하기 위해 실시간으로 심박수와 피부전도도 등의 생체 신호를 획득하고, 명시적 혹은 비명시적인 피드백 분석방법을 통합하여, 해석을 안정적으로 하도록 하였다. 실험결과 에이전트의 긍정(혹은 부정)적인 얼굴 표정이 사용자의 긍정(혹은 부정)적인 반응을 이끌어 냄을 확인할 수 있었다. 또한, 인간과 에이전트와의 상호작용에서도 인간과 인간의 상호작용과 유사하게 에이전트의 긍정적인 얼굴 표정이 사용자의 부정적인 감정을 감소시킴을 확인할 수 있었다. 본 연구는 인간과 에이전트의 감성적인 상호작용을 위해 에이전트의 얼굴 표정을 디자인하기 위한 근거로 활용할 수 있다. This study evaluate user feedback such as physiological response and facial expression when subjects play a social decision making game with interactive virtual agent partners. In the social decision making game, subjects will invest some of money or credit in one of projects. Their partners (virtual agents) will also invest in one of the projects. They will interact with different kinds of virtual agents which behave reciprocated or unreciprocated behavior while expressing socially affective facial expression. The total money or credit which the subject earns is contingent on partner’s choice. From this study, I observed that subject’s appraisal of interaction with cooperative/uncooperative (or friendly/unfriendly) virtual agents in an investment game result in increased autonomic and somatic response, and that these responses were observed by physiological signal and facial expression in real time. For assessing user feedback, Photoplethysmography (PPG) sensor, Galvanic skin response (GSR) sensor while capturing front facial image of the subject from web camera were used. After all trials, subjects asked to answer to questions associated with evaluation how much these interaction with virtual agents affect to their appraisals.