가상 시뮬레이션 학습자의 인지부하와 정서를 분석하기 위한 표정 분석 및 뇌전도의 활용 = Use of Facial Expression Analysis and EEG to Analyze Cognitive Load and Emotion of Learners in Virtual Simulation

국문 초록 (Abstract)

이 연구의 목적은 가상 시뮬레이션을 경험하는 학습자의 인지부하와 정서상태를 분석하기 위한 것이다. 가상 시뮬레이션 활용 교육에서 학습자는 지속적인 시청각 자극을 경험하기 때문에 이들의 사용자 경험은 매우 역동적으로 변화한다. 이를 기존의 사후보고식 방법으로는 정확하게 측정하기 어렵다. 따라서 이 연구에서는 가상 시뮬레이션을 경험하는 사용자가 시나리오의 내용 흐름에 따라 어떠한 인지·정서적 변화를 경험하는지 표정 분석과 뇌파를 통해 확인하고자 하였다. 연구 대상자는 대학생 34명(남자=10명, 여자=24명)이었다. 이 연구에서 사용된 가상 시뮬레이션은 학부모와의 상담사례로, 사용자는 가상 학부모와 면담하게 된다. 사용자 경험 중 인지부하를 분석하기 위해 분당 눈깜빡임(blink per min)과 중간 베타파(mid-beta wave, 15-20Hz)를 측정했다. 정서를 분석하기 위해서는 정서가(valence)와 전두엽 비대칭 알파파(frontal alpha asymmetry)를 측정했다. 시나리오를 내용 전개에 따라 4단계로 구분하고, 구간별 측정지표의 평균 변화를 분석하였다. 연구 결과, 1단계인 인사하기 단계에서 인지부하가 상승하고 긍정 정서가 높아졌다. 그러나 2단계 문제행동 언급 단계에서 인지부하와 긍정 정서 모두 급격히 감소하였다. 그 후, 3-4단계를 거치며 점차 재상승하는 패턴을 보였다. 이를 바탕으로 사용자 경험 중 인지부하와 정서가의 발생 패턴이 유사함을 확인할 수 있었다. 이 연구의 의의는 가상시뮬레이션 교육에서 인지·정서 측면의 사용자 경험을 측정하는데 생리 신호 기반의 멀티모달 측정법의 타당성을 확인하였다는 점에 있다.