Design of a school bullying detection scheme based on action and audio emotion recognition

다국어 초록 (Multilingual Abstract)

School bullying is widely recognized as a one of the most serious problems among teenagers, which affects teenagers both in mentality and physique. Because of school bullying, thousands of teenagers are afraid to go to school every day, so it is of great importance to find a preventative measure to prevent or reduce the incidence of school bullying. This paper proposed a school bullying detection method based on action recognition and speech emotion recognition. This paper used movement sensor, to specific, accelerometer and gyroscope on Arduino nano 33 BLE Sense, to gather data for action recognition and used a micro recorder for recording audio samples. As for speech emotion recognition, this paper extracted pitch and its 5 statistical movements, intensity, Mel-Scale Frequency Cepstral Coefficients (MFCC) and its 1st and 2nd derivatives. As for action recognition, this paper extracted 9 features movement features, 5 from accelerometer and 4 from gyroscope. A KNN is trained to distinguish bullying action from normal action and a combination of random forest and KNN are trained to recognize audio emotions. Validation results show that the combined audio emotion recognition and action recognition to generate a combination result outperforms either of them only, achieving an accuracy of 91%. Finally, in order to deal with the situations, where bullying actions and bullying emotions do not occur at the same time, this paper proposed a new detection method based on action recognition and audio emotion recognition.

국문 초록 (Abstract)

학교 폭력 사태는 청소년들 사이의 가장 심각한 문제로 인식되어 청소년들의 심신 건강에 심각한 영향을 끼친다. 학교폭력 때문에 매일 수천 명의 청소년들이 등교를 두려워하고 있어 학교폭력 발생을 예방하거나 줄일 수 있는 예방책을 찾는 것이 매우 중요하다. 본 논문은 행동 인식과 음성 감정 인식을 기반으로 한 학교 폭력 탐지 방법을 제안했다. 본 논문은 아두이노 나노 33 BLE Sense의 특정 가속도계 및 자이로스코프에 동작 인식을 위한 데이터를 수집하기 위해 동작 센서를 사용하고 오디오 샘플 녹음을 위해 마이크로 레코더를 사용했다. 음성 감정 인식의 경우, 본 논문은 피치와 5개의 통계적 특징, 음성강도, MFCC(Mel-Scale Frequency Cepstral Coefficients) 및 1, 2차 도함수를 추출했다. 행동 인식에 대해서는 본 논문에서는 가속도계에서 5개, 자이로스코프에서 4개 등 9개의 움직임 특징을 추출하였다. KNN은 학교 폭력과 정상적인 행동을 구별하도록 훈련되고 랜덤 포레스트와 KNN의 조합은 오디오 감정을 인식하도록 훈련된다. 검증 결과는 조합 결과를 생성하기 위한 결합된 오디오 감정 인식과 행동 인식은 둘 중 하나만을 능가하여 91%의 정확도를 달성한다는 것을 보여준다. 끝으로 학교 폭력 행동과 학교 폭력 감정이 동시에 일어나지 않는 상황을 다루기 위해 본지는 행동 인식과 음성 감정 인식을 바탕으로 한 새로운 탐지 방법을 제안했다.

목차 (Table of Contents)

• Chapter 1. INTRODUCTION 1
• Chapter 2. RELATED WORK 5
• 2.1 School bullying 5
• 2.2 Activity recognition 6
• 2.3 Basic Emotion Classification 6
• 2.4 Speech Emotion Recognition 7
• 2.5 Affective Computing 8
• Chapter 3. ACTION RECOGNITION 10
• 3.1 Action collection 10
• 3.1.1 Accelerometer 10
• 3.1.2 Gyroscope 11
• 3.2 Data storage and transmission 12
• 3.2.1 BLE application 13
• 3.2.2 Data storage module 17
• 3.3 Central device 17
• 3.4 Action features extraction and Pre-processing 18
• 3.4.1 action features extraction 18
• 3.4.2 Data pre-processing 19
• 3.5 Feature selection 20
• 3.6 KNN classifier 23
• 3.7 Training result of action recognition 26
• Chapter 4. AUDIO EMOTION RECOGNITION 28
• 4.1. Audio collection 28
• 4.2 Audio pre-processing 30
• 4.3 Gender classification 33
• 4.3.1 Classifier 34
• 4.3.2 Random Forest 35
• 4.4 Emotion recognition 39
• 4.4.1 MFCCs features extraction 39
• 4.4.2 Extracted features selection 44
• 4.4.3 KNN model training 49
• CHAPTER 5. VALIDATION OF BULLYING ACTIVITY DETECTION 50
• 5.1.1 Bullying activity detection with action recognition 51
• 5.1.2 Bullying activity detection with audio emotion recognition 54
• 5.1.3 Bullying activity detection with both action recognition and audio emotion recognition 57
• CHAPTER 6. LONG-TERM APPLICATION OF SCHOOL BULLYING DETECTION 60
• 6.1 Detection strategy 60
• 6.2 Detection application 64
• CHAPTER 7. CONCLUSION 68
• REFERENCES 69
• APPENDIX 74