한국인의 제스처와 시선 정보에 관한 연구 - 체계기능언어학의 멀티모달 담화분석(SFL-MDA)에 기반하여 = A Study on Korean’s Gesture and Gaze - based on systemic functional linguistics multimodal discourse analysis(SFL-MDA)-

국문 초록 (Abstract)

이 글의 목적은 한국인의 제스처와 시선 정보를 체계기능언어학의 멀티모달 담화분석(SFL-MDA) 이론을 이용하여 설명하는 것이다. 구체적인 작업 절차는 다음과 같다. (1)제스처․시선의 종류를 수집하는 작업을 수행하였다. 이를 위해 여러 문헌 정보를 조사하고, 그 결과 100개의 목록을 수집하였다. (2)Martin & Rose(2007)의 17개의 발화기능(speech function) 분류법에 따라서 위의 100개 제스처․시선 자료를 2차 하위 분류하였다. (3)위의 자료를 대상으로 하여, 다시 구성적 대기능, 재현적 대기능, 상호작용적 대기능에 따라서 3차로 분류하고 그 특징을 상호 검토하였다. 연구 결과는 다음과 같다.
첫째, 제스처․시선의 발화기능 유형은 혼잣말(26회)보다 타인을 향한 발화기능(95회)이 훨씬 많았고, 타인과의 발화기능은 다시 정보 제공하기(28회), 정보 요청하기(15회), 재화-&-서비스 제공하기(22회), 재화-&-서비스 요청하기(28회), 타인과 인사하기(2회)로 나타났다. 둘째, 구성적 의미의 유형을 보면, 가장 많이 동반하는 신체 부위는 손(55회)이며, 그다음으로 얼굴(20회), 입(16회), 머리(7회), 목(5회), 고개(4회), 어깨(4회), 팔(4회), 다리(3회), 가슴(2회), 배(1회), 주먹(1회) 순서로 나타났다. 셋째, 재현적 의미의 유형을 보면, (1) 과정 유형을 분석한 결과, 전언적 과정이 가장 높은 비중을 차지하였고, 이어서 정신적 과정, 물질적 과정, 관계적 과정, 행동적 과정, 존재적 과정의 순으로 나타났다. 넷째, 상호작용적 의미의 유형을 분석한 결과는 다음과 같다. (1) 태도평가의 하위 유형을 보면, 감정평가가 65%, 정황 평가 20%, 행위평가 15% 순서로 나타났다. (2) 개입평가의 세부 유형을 살펴보면, ‘공표’가 29%로 가장 높게 나타났고, ‘거부’ 21%, ‘판단유보’ 15%, ‘단언’ 14%, ‘인정’ 9%, ‘동조’ 7%가 그 뒤를 이었으며, ‘보증’ 3%, ‘거리’와 ‘의외’는 각 1%로 미미했다.
멀티모달 연구는 개별 모드의 고유한 의미 해석 방법을 찾아내는 여정이면서 동시에 각 모드 간의 서로 다른 의미적 지위 관계를 정립하기 위한 여정이기도 하다. SFL-MDA는 이 여정을 일관된 3가지 대기능(metafunction)을 이용하여 달성할 수 있는 장점이 있다.

다국어 초록 (Multilingual Abstract)

The purpose of this article is to explain Korean gesture and gaze information using the multimodal discourse analysis(SFL-MDA) theory of systemic functional linguistics. The specific research work is as follows. (1) The task of collecting types of gestures/gaze was performed. For this purpose, we investigated various literature information and collected a list of 100. (2) The above 100 gestures/gaze data were sub-classified into two categories according to Martin and Rose's (2007) 17 speech function classification. (3) The above data were further classified into three categories of compositional, reproductive, and interactive functions, and their features were summarized. The result is the following.
First, gestures/eye gazes are much more likely to be directed at others (95 times) than at oneself (26 times), followed by giving information (28 times), asking for information (15 times), giving goods-&-services (19 times), asking for goods-&-services (18 times), and greeting others (2 times). Second, by type of compositional meaning, the most common body part is the hand (55 times), followed by the face (20 times), mouth (16 times), head (7 times), neck (5 times), head (4 times), shoulder (4 times), arm (4 times), leg (3 times), chest (2 times), stomach (1 time), and fist (1 time). Third, in terms of the types of representational meanings, (1) when analyzing the types of processes, the highest proportion of representational meanings was found to be communicative processes, followed by mental processes, material processes, relational processes, behavioral processes, and existential processes.
Multimodal research is a journey to discover the unique semantic interpretations of individual modes, but it is also a journey to establish the different semantic status relationships between them. SFL-MDA has the advantage of being able to accomplish this journey using three consistent metafunctions.