English speaking practice system for non-native speakers based on reading comprehension checks

다국어 초록 (Multilingual Abstract)

This study tried to establish a new speaking practice system using deep learning for non-native speakers of preschool or lower-grade elementary school children. While the basic speaking system assumes that the user can converse with the AI chatbot to some extent, the speaking practice system suggested in this study aims to reduce the child's burden by giving the child texts to read in advance and answer to the system’s questions according to the given text material.
In order to use the new speaking practice system in reality, mainly two models in the speaking practice system need improvement. First, the performance of the Automatic Speech Recognition (ASR) model for non-native children's speech must be improved. Second, the Natural Language Processing (NLP) model for child response evaluation must be generalizable.
Firstly, in order to improve the performance of the ASR model for non-native children's speech, spontaneous speech data of native adults was additionally used. The original data consists of read speeches of native adults, native children, non-native adults, and non-native children. It was confirmed in this study that the performance of speech recognition for non-native children improved with additional spontaneous speech data of native adults.
Secondly, by introducing a deep learning method to the response evaluation system, it was possible to create a natural language processing model that can evaluate children's responses with over 90% accuracy even for new reading comprehension questions and answers that the NLP model have never been seen before. For the experiments, the ALBERT v3 model provided by Google was used. As a result of comparing 4 different trained models, it can be concluded that adding general paraphrase or non-paraphrase data to the model was helpful for generalizing the evaluation of the children’s responses to the reading comprehension questions. Also the result showed that question conditions prepended to the model inputs can give the NLP model better context on which to evaluate the users’ response.

국문 초록 (Abstract)

이 연구의 목적은 미취학 및 초등학교 저학년 비원어민 아동을 위한 쉬운 말하기 연습 시스템을 만드는 것이다. 이를 위하여 본고는 독해 평가 기반의 말하기 연습 시스템을 제시하였다.
독해 평가 기반의 말하기 연습 시스템을 실제 서비스에 적용하기 위해서는 음성 인식 모델의 성능이 미취학 및 초등학교 저학년 비원어민 아동에 대하여 높아야 하고, 사용자 응답 평가 시스템이 새로운 질문과 답변에 대해서도 잘 대응할 수 있어야 한다. 이 연구는 독해 평가 기반의 말하기 연습 시스템이 실제 상용 서비스에서 사용될 수 있도록 음성인식 모델 개선 실험 및 사용자 응답 평가 시스템 일반화 실험을 진행하였다.
첫번째로 음성 인식 모델 실험에서는 기존의 원어민 성인, 원어민 아동, 비원어민 성인, 비원어민 아동의 낭독 발화 데이터를 모두 넣어 음향 모델을 학습한 결과와 추가적으로 원어민 성인의 자유 발화 데이터를 넣어 학습한 결과를 비교하였다. 결과적으로 자유 발화 데이터를 음성 인식 모델 훈련에 포함시켜서 비원어민 아동 음성 인식에 대한 모델 성능이 높아지는 것을 확인할 수 있었다.
두번째로 사용자 응답 평가 모델을 일반화하기 위하여 딥러닝 모델인 영어 알버트 모델을 훈련하였고, 훈련 시에 본 적 없는 새로운 독해 질문과 정답에 대해서도 사용자 응답의 정오 판단을 90% 이상의 정확도로 대응할 수 있는 일반화된 사용자 응답 평가 모델을 구축할 수 있었다.

목차 (Table of Contents)

• 1. INTRODUCTION 1
• 1.1 Background 1
• 1.1.1 Computer Assisted Language Learning 1
• 1.1.2 Basic Structure of a Spoken Dialog System 1
• 1.2 Statement of the Problem 3
• 1.3 Research Questions 5
• 2. LITERATURE REVIEW 6
• 2.1 Spoken Dialogue Systems 6
• 2.2 Automatic Speech Recognition (ASR) for L2 Speech 8
• 2.3 Sentence Pair Modeling 10
• 3. Experiments 12
• 3.1 Automatic Speech Recognition (ASR) Experiments 12
• 3.1.1 Database 12
• 3.1.2 Structure of the ASR model 14
• 3.1.3 Result 20
• 3.1.4 Discussion 21
• 3.2 Sentence Pair Modeling (SPM) Experiments 23
• 3.2.1 Definitions of Tasks 23
• 3.2.2 Database 26
• 3.2.3 Structure of the model 29
• 3.2.4 Result 34
• 3.2.5 Discussion 35
• 4. Conclusion 36
• References 38
• 국문 초록 41

참고문헌 (Reference)

1 Glass , J, "Challenges for spoken dialogue systems .", 1999

2 Reddy , D. R., "Approach to Computer Speech Recognition by Direct Analysis of the Speech Wave", 40 ( 5 ) , 1273, 1966

3 O'Leary , D. E., "GOOGLE 'S Duplex : Pretending to be human . Intelligent Systems in Accounting", 26 ( 1 ) , 46-53 ., 2019

4 Weizenbaum , J ., "ELIZA ? a computer program for the study of natural language communication between man and machine", 9 ( 1 ) , 36- 45 ., 1966