http://chineseinput.net/에서 pinyin(병음)방식으로 중국어를 변환할 수 있습니다.
변환된 중국어를 복사하여 사용하시면 됩니다.
가상현실 수업시뮬레이션에서 정서 판단을 위한 EEG 기반의 심층신경망 모형개발
임성민 ( Sungmin Lim ),양은별 ( Eunbyul Yang ),임태형 ( Taehyeong Lim ),류지헌 ( Jeeheon Ryu ) 한국교육정보미디어학회(구 한국교육정보방송학회) 2021 교육정보미디어연구 Vol.27 No.1
이 연구의 목적은 가상현실 수업시뮬레이션에서 학습자의 정서적 상호작용을 촉진하기 위한 심층신경망 기반의 정서 판단모형을 개발하는 것이다. 이를 위해 공개된 EEG(electroencephalogram) 데이터인 AMIGOS(A dataset for Multimodal research of affect, personality traits and mood on Individuals and GrOupS) 데이터세트를 활용하여 심층신경망(deep neural network) 기반의 정서 판단모형을 개발했다. 정서 상태 분류에는 PAD(Pleasure-arousal-dominance) 정서모형을 적용하였다. 10개의 은닉층과 각 378개의 노드로 구성된 모형을 설계하고, 374만개의 훈련용 데이터를 활용하여 각각 정확도가 96.23%(즐거움), 96.98% (각성), 96.47%(통제감)인 심층신경망 모형을 개발하였다. 12명의 실험참가자가 가상현실 수업시뮬레이션을 경험하는 과정에서 Emotiv EPOC+를 활용하여 EEG 데이터를 수집하였다. 수집된 데이터를 개발한 정서 판단모형에 적용하여 학습자의 정서 상태를 판단하고, 시계열 그래프와 3차원 산포도로 시각화하여 학습자의 정서 상태를 분류하였다. 연구결과에 따르면, 실험참가자들의 정서 차원은 두 가지 정서 상태, 못마땅함(unsatisfied)과 어찌할 바 모름(helpless)으로 수렴됨을 확인할 수 있었다. 이는 심층 신경망으로 구현한 정서 판단모형을 통해 학습자의 EEG데이터를 기반으로 정서판단이 가능할 수 있음을 의미한다. 이를 통해 가상현실 시뮬레이션 환경에서 정서적 상호작용을 촉진하는 학습설계 방안에 대해 논의하였다. The purpose of this study was to develop a deep neural network model for emotion model to identify the possibility of promoting the emotional interaction of users in virtual reality simulation. A deep neural network-based emotional model was developed using the open-source electroencephalogram (EEG) data, AMIGOS (A dataset for Multimodal research of affect, personality traits and mood on Individuals and GrOupS) dataset. The Pleasure-Arousal-Dominance (PAD) temperament model was employed to classify the users’ emotional state. The prediction model was designed to consist of 10 hidden layers and 378 nodes each, and the accuracy was 96.23% (pleasure), 96.98% (arousal), and 96.47% (dominance) using 3,740,000 training data. In this experiment, twelve adults experienced a virtual reality teaching simulation and their EEG data were collected using Emotiv EPOC+. The EEG data was applied to the developed prediction model to decide the users’ emotional state. The participants’ emotional state was classified by visualizing a time series graph and a 3D scatter plot. Results showed that the users’ emotional state converged into two categories, unsatisfied and helpless. It indicates that it is possible to judge users’ emotional state through the prediction model. Learning design strategies that promotes emotional interaction in a virtual reality simulation were discussed.