EEG 신호의 Power Spectrum을 이용한 사람의 감정인식 방법

염홍기(Hong-Gi Yeom),한철훈(Cheol-Hun Han),김호덕(Ho-Duck Kim),심귀보(Kwee-Bo Sim) 한국지능시스템학회 2008 한국지능시스템학회논문지 Vol.18 No.2

많은 연구자들은 여러 개의 채널을 가진 Electroencephalogram(EEG) 신호를 기반으로 한 사람의 감정인식을 위해 두뇌와 컴퓨터의 인터페이스에 관한 연구를 하고 있다. EEG 신호를 이용한 연구들은 주로 의학 분야와 심리학의 영역에서 간질이나 발작 등을 알아내고 거짓말 탐지기로써의 역할로 많이 사용되어져 왔다. 최근에는 사람의 두뇌와 컴퓨터 간의 인터페이스에 관한 연구들이 뇌파를 이용한 로봇의 제어하거나 게임을 하는 등의 여러 가지 공학적인 접근으로써 많은 연구가 진행되고 있다. 특히, EEG 신호를 통해서 두뇌를 연구하는 분야에서 EEG 신호의 잡음을 제거해서 보다 정확한 신호를 추출하는 연구에도 많이 중점을 두고 있다. 본 논문에서는 사람의 감정에 따른 EEG 신호를 측정하고 측정된 EEG 신호를 5개 부분의 주파수 영역으로 분류하였다. 영역별로 분류된 EEG 신호들은 전체영역에 대한 상대적인 비율의 값으로 계산하게 된다. 그 값들은 Bayesian Networks를 통해서 현제 어떠한 감정을 나타내는지 확률 값으로 나타낸다. 그 결과 값에 따라 사람의 감정은 아바타로 표현하게 된다. Many researchers are studying about human Brain-Computer Interface(BCI) that it based on electroencephalogram (EEG) signals of multichannel. The researches of EEG signals are used for detection of a seizure or a epilepsy and as a lie detector. The researches about an interface between Brain and Computer have been studied robots control and game of using human brain as engineering recently. Especially, a field of brain studies used EEG signals is put emphasis on EEG artifacts elimination for correct signals. In this paper, we measure EEG signals as human emotions and divide it into five frequence parts. They are calculated related the percentage of selecting range to total range. the calculating values are compared standard values by Bayesian Network. lastly, we show the human face avatar as human Emotion.

말하는 상상 동안 Broca 영역에서 뇌파의 변화 분석

염홍기(Hong-Gi Yeom),심귀보(Kwee-Bo Sim) 한국지능시스템학회 2008 한국지능시스템학회 학술발표 논문집 Vol.18 No.2

기존 Brain-Computer Interface (BCI)와 관련된 연구는 대부분이 운동중추와 관련된 연구들이었다. 이러한 연구들을 통해 EEG 신호를 활용하여 마우스 커서를 제어하거나 휠체어를 제어하는 등 활동을 보조할 수 있는 많은 연구가 있었지만 언어중추의 연구를 통한 의사소통을 보조할 수 있는 연구는 미비하였다. 본 논문에서는 A, B, C, D의 문자를 말하는 것을 상상할 때 사고중추에서와 Broca’s area 에서 EEG 신호를 측정하여 ITC분석을 통해 뇌파에서 어떤 변화가 발생하는지를 살펴보았다. 각 뇌파에 대한 분석결과 각 문자를 보여주는 자극 제시 후 F7과 FT7 영역에서 0~300ms 동안의 1~13㎐에서 높은 coherence를 보이는 것을 알 수 있었으며, P300이 뚜렷하게 발생하는 것을 확인할 수 있었다. 하지만 피험자가 A, B, C, D 중 어떤 단어를 상상하는 지를 구분하기는 어려웠다. 하지만 위의 결과를 활용하여 기존 운동중추와 관련된 연구결과와 본 논문의 결과를 이용하여 피험자의 생각을 표현하는 방법을 제안하였다.

Broca 영역에서의 뇌파 변화에 기반한 뇌-컴퓨터 인터페이스

염홍기(Hong-Gi Yeom),장인훈(In-Hun Jang),심귀보(Kwee-Bo Sim) 한국지능시스템학회 2009 한국지능시스템학회논문지 Vol.19 No.1

본 논문에서는 피험자가 A, B, C, D 글자를 말하는 상상을 할 때 사고중추에서와 Broca's area 에서 EEG 신호를 측정하였으며 이 신호를 Event-Related Spectral Perturbation (ERSP), Inter-Trial Coherence (ITC) 그리고 Event Related Potential (ERP) 방법을 통해 분석하여 보았다. 그 결과 F7, FT7 영역의 뇌파에서 각 문자를 보여주는 자극 제시 후 0~300㎳ 동안의 1~13㎐에서 높은 coherence를 보였으며, P300 이 뚜렷하게 나타나는 것을 확인할 수 있었다. 하지만 ERP를 통해 분석해본 결과 각 글자에 대한 차이를 구분하고자 하였던 처음 연구의 동기와 달리 각 글자를 말할 때 ERP가 약간의 차이를 보이기는 하였으나 각 문자에 대한 차이라거나 이 차이를 통해 문자를 구별할 수 있다고 하기는 어려웠다. 하지만 본 논문에서는 이 실험결과를 통해 기존에 운동관련 뇌 영역에 국한되어 있던 BCI 연구의 한계를 극복하고 보다 다양한 서비스를 제공할 수 있는 응용 시스템을 제안하였다. In this paper, we measured EEG signals on frontal and Broca's area when subjects imagine to speak A or B or C or D. These signals were analyzed by Event-Related Spectral Perturbation (ERSP), Inter-Trial Coherence (ITC) and Event Related Potential (ERP) methods. As a result, high coherences were showed at 1~13㎐ during 0~300㎳ after the stimuli of each character and P300 was seen clearly and there are several differences between the ERP results. However, unlike the motivation of this study to classify the characters, it is impossible that we can classify each intention or each character cause these differences. Nevertheless, this paper suggest an application system using this results so BCI can provide various services.

Variance-Considered Machine에 기반한 Brain-Computer Interface 시스템의 성능 향상

염홍기(Hong-Gi Yeom),심귀보(Kwee-Bo Sim) 한국지능시스템학회 2010 한국지능시스템학회논문지 Vol.20 No.1

본 논문에서는 선행 연구를 통해 제안하였던 새로운 분류 알고리즘인 Variance Considered Machines (VCM)을 통해 EEG 신호의 분류 에러율을 감소시킴으로 Brain-Computer Interface (BCI)의 성능향상 가능성을 보였다. BCI란 뇌파를 통해 컴퓨터와 같은 시스템을 제어하는 것으로 BCI의 인식률에 영향을 미치는 것에는 많은 요소가 있지만 본 논문에서는 그 중에서도 가장 중요한 분류 알고리즘을 제안된 알고리즘을 통해 인식률을 향상하는 것을 보였다. 이를 위해 피험자가 가상으로 왼쪽 손과 다리를 움직이는 상상을 한 데이터를 기존에 가장 많이 사용되고 있는 분류 알고리즘인 SVM과 제안된 VCM으로 분류하여 인식률을 비교하였다. 기존 연구를 통해 VCM의 우수성을 이론적 결과와 시뮬레이션 결과로 보였다면 본 논문에서는 실제 데이터를 통한 실험을 통해 인식률 향상을 보였다. This paper showed the possibilities of performance improvement of Brain-Computer Interface (BCI) decreasing classification error rates of EEG signals by applying Variance-Considered Machine (VCM) which proposed in our previous study. BCI means controlling system such as computer by brain signals. There are many factors which affect performances of BCI. In this paper, we used suggested algorithm as a classification algorithm, the most important factor of the system, and showed the increased correct rates. For the experiments, we used data which are measured during imaginary movements of left hand and foot. The results indicated that superiority of VCM by comparing error rates of the VCM and SVM. We had shown excellence of VCM with theoretical results and simulation results. In this study, superiority of VCM is demonstrated by error rates of real data.

BCI를 위한 m-VCM 데이터 분류 알고리즘에 기반한 시스템의 출력 조절

염홍기(Hong-Gi Yeom),심귀보(Kwee-Bo Sim) 한국지능시스템학회 2009 한국지능시스템학회 학술발표 논문집 Vol.19 No.1

본 논문은 데이터 분류 알고리즘에 관한 내용으로 선행 연구를 통해 제안되었던 Variance Considered Machines (VCM)과 m-Variance Considered Machines (m-VCM) 알고리즘을 소개하고 시뮬레이션을 통해 본 알고리즘의 강인성을 보여주고 있다. VCM이란 Support Vector Machines (SVM)의 초평면 (Optimal Hyperplanes)을 데이터가 클래스에 속할 확률이 같아지는 지점으로 옮겨주어 최대마진을 가질 뿐 아니라 에러가 발생할 확률을 줄여준 알고리즘이다. 또한 본 논문에서는 VCM에 소속 함수 개념을 도입한 m-Variance Considered Machines(m-VCM)을 소개하고 MATLAB을 통한 시뮬레이션을 통해 m-VCM이 어떻게 데이터를 분류하고 출력을 조절하는지를 보여주고 있다. 시뮬레이션 결과를 통해 초평면 근처의 에러가 발생할 확률이 높은 데이터는 출력에 영향을 덜 미치게 하고 초평면으로부터 멀리 떨어진 데이터일수록 출력에 크게 영향을 미치도록 하는 것을 알 수 있다.

Variance-Considered Machine을 이용한 상상 움직임의 EEG 신호 분류

염홍기(Hong-Gi Yeom),심귀보(Kwee-Bo Sim) 한국지능시스템학회 2009 한국지능시스템학회 학술발표 논문집 Vol.19 No.2

본 논문에서는 선행 연구를 통해 제안하였던 새로운 분류 알고리즘인 Variance Considered Machines (VCM)을 통해 움직임을 상상할 때 발생된 EEG 신호를 분리하는 실험을 수행하였다. 기존에 가장 많이 사용되고 있는 분류 알고리즘인 SVM과 제안된 VCM으로 데이터를 분류하여 인식률을 비교함으로써 VCM의 우수성을 보였다. 이는 BCI에 직접적으로 활용 가능한 것으로, BCI란 뇌파를 통해 컴퓨터와 같은 시스템을 제어하는 것을 말한다. BCI 시스템의 인식률에 영향을 미치는 요소에는 많은 것이 있지만 본 논문에서는 그 중에서도 가장 중요한 분류 알고리즘을 제안된 알고리즘을 통해 인식률을 향상하는 것을 보였다. 기존 연구를 통해 VCM의 우수성을 이론적 결과와 시뮬레이션 결과로 보였다면 본 논문에서는 실제 데이터의 인식률을 통해 VCM의 실용성을 입증하고자 한다.

다중 센서 융합 알고리즘을 이용한 사용자의 감정 인식 및 표현 시스템

염홍기(Hong-Gi Yeom),주종태(Jong-Tae Joo),심귀보(Kwee-Bo Sim) 한국지능시스템학회 2008 한국지능시스템학회논문지 Vol.18 No.1

지능형 로봇이나 컴퓨터가 일상생활 속에서 차지하는 비중이 점점 높아짐에 따라 인간과의 상호교류도 점점 중요시되고 있다. 이렇게 지능형 로봇(컴퓨터) - 인간의 상호 교류하는데 있어서 감정 인식 및 표현은 필수라 할 수 있겠다. 본 논문에서는 음성 신호와 얼굴 영상에서 감정적인 특징들을 추출한 후 이것을 Bayesian Learning과 Principal Component Analysis에 적용하여 5가지 감정(평활, 기쁨, 슬픔, 화남, 놀람)으로 패턴을 분류하였다. 그리고 각각 매개체의 단점을 보완하고 인식률을 높이기 위해서 결정 융합 방법과 특징 융합 방법을 적용하여 감정 인식 실험을 하였다. 결정 융합 방법은 각각 인식 시스템을 통해 얻어진 인식 결과 값을 퍼지 소속 함수에 적용하여 감정 인식 실험을 하였으며, 특징 융합 방법은 SFS(Sequential Forward Selection) 특징 선택 방법을 통해 우수한 특징들을 선택한 후 MLP(Multi Layer Perceptron) 기반 신경망(Neural Networks)에 적용하여 감정 인식 실험을 실행하였다. 그리고 인식된 결과 값을 2D 얼굴 형태에 적용하여 감정을 표현하였다. As they have more and more intelligence robots or computers these days. so the interaction between intelligence robot(computer) - human is getting more and more important also the emotion recognition and expression are indispensable for interaction between intelligence robot(computer) - human. In this paper, firstly we extract emotional features at speech signal and facial image. Secondly we apply both BL(Bayesian Learning) and PCA(Principal Component Analysis). lastly we classify five emotions patterns(normal, happy, anger, surprise and sad) also, we experiment with decision fusion and feature fusion to enhance emotion recognition rate. The decision fusion method experiment on emotion recognition that result values of each recognition system apply Fuzzy membership function and the feature fusion method selects superior features through SFS(Sequential Forward Selection) method and superior features are applied to Neural Networks based on MLP(Multi Layer Perceptron) for classifying five emotions patterns and recognized result apply to 2D facial shape for express emotion.

뇌와 컴퓨터의 인터페이스를 위한 뇌파 측정 및 분석 방법

심귀보(Kwee-Bo Sim),염홍기(Hong-Gi Yeom),이인용(In-Yong Lee) 한국지능시스템학회 2008 한국지능시스템학회논문지 Vol.18 No.5

사람과 컴퓨터의 인터페이스를 위한 방법에는 여러 가지가 있으나 보다 편리하고 몸이 불편한 사람들도 이용할 수 있도록 하기 위하여 최근에는 사람의 뇌파를 이용하여 인터페이스를 하기 위한 연구가 활발히 진행되고 있다. 따라서 세계 여러 나라에서 뇌파에 대한 연구가 진행되고 있다. 하지만 아직까지 뇌파에 대한 정확한 분석이 이루어지지 못하고 있는 실정이다. 이를 위해 본 논문에서는 정확한 뇌파분석을 위한 뇌파 유발 자극방법 및 측정법을 제안하고, Fp1, Fp2, C3, C4영역에서 뇌파를 측정하여 사람이 팔을 움직이고자 하는 상상을 할 때 μ파와 β파에서 발견되는 Event-Related Synchronization(ERS), Event-Related Desynchronization(ERD)을 분석함으로써 사람의 의도를 뇌파를 통해 인지하고자 한다. 실험결과 피험자가 오른쪽 팔을 움직이고자 할 경우 왼쪽 뇌에서 μ파는 감소하고 β파는 증가하였으며, 왼쪽 팔을 움직이고자 할 경우 반대로 우뇌에서 μ파가 감소하고 β파가 증가하는 것을 알 수 있었다. There are many methods for Human-Computer Interface. Recently, many researchers are studying about Brain-Signal this is because not only the disabled can use a computer by their thought without their limbs but also it is convenient to general people. But, studies about it are early stages. This paper proposes an EEG signals measurement and analysis methods for Brain-Computer Interface. Our purpose of this research is recognition of subject’s Intention when they imagine moving their arms EEG signals are recorded during imaginary movement of subject’s arms at electrode positions Fp1, Fp2, C3, C4. We made an analysis ERS(Event-Related Synchronization) and ERD(Event-Related Desynchronization) which are detected when people move their limbs in the μ waves and β waves. Results of this research showed that μ waves are decreased and β waves are increased at right brain during the imaginary movement of right hand. In contrast, μ waves are decreased and β waves are increased at right brain during the imaginary movement of left hand.

다중의도 동시 예측을 통한 다기능 뇌-컴퓨터 인터페이스

최우성(Woo Sung Choi),염홍기(Hong Gi Yeom) 대한전자공학회 2023 대한전자공학회 학술대회 Vol.2023 No.6

The Brain-Computer Interface (BCI) allows individuals with disabilities to communicate or control electronic devices by interpreting neural signals. While BCI systems have proven to be useful, previous models have been limited to predict only one type of intention. In order for BCI users to achieve independence and live without relying on others, the BCI system must be capable of predicting multiple intentions. In this paper, we present a multi-functional BCI system that can predict multiple intentions simultaneously. Furthermore, we present the BCI system uses augmented reality (AR) for visual presentation to reduce the inconvenience caused by a screen in daily life.

지능형 감시 시스템 구축을 위한 침입자의 음원 위치 파악 및 추적 시스템

박정현(Jung-Hyun Park),염홍기(Hong-Gi Yeom),정봉규(Bong-Gyu Jung),장인훈(In-Hun Jang),심귀보(Kwee-Bo Sim) 한국지능시스템학회 2007 한국지능시스템학회논문지 Vol.17 No.6

보안이 중요시되는 공간에서 임의의 사람을 추적하고 인식할 수 있는 시스템의 필요성이 점차 중요시되고 있다. 본 논문에서는 wide-area를 감시하기 위해 음원과 Pan-Tilt 카메라를 이용하여 침입자 추적 시스템을 구현하고자 한다. 먼저 음원 추적 센서를 이용하여 음원의 방위를 검출한 후 Pan-Tilt 카메라를 방위 방향으로 이동시키고 이동된 Pan-Tilt 카메라로부터 기준영상을 추출한 후 일정 기준 시간마다 영상을 다시 획득하여 차 영상과 검출결과를 얻어 침입자를 추적하여 감시 시스템을 구현한다. 본 논문에 의해서 구현된 시스템은 홈 네트워크 보안 시스템과 연동을 하여 가정이나 공공시설 보안에 대한 인터페이스 역할을 할 수 있다. In the place that its security is crucial, the necessity of system which can tract and recognize random person is getting more important. In this paper, we'd like to develop the invader tracking system which consists of the sound source tracking-sensor and the pan-tilt camera for wide-area guard. After detecting the direction of any sound with the sound source tracking-sensor at first, our system make move the pan-tilt camera to that direction and extract reference image from that camera. This reference image is compared and updated by the next captured image after some interval time. By keeping on it over again, we can realize the guard system which can tract an invader using the difference image and the result of another image processing. By linking home network security system, the suggested system can provide some interfacing functions for the security service of the public facilities as well as that of home.