가상현실 기반의 인공지능 영어회화 시스템 = English Conversation System Using Artificial Intelligent of based on Virtual Reality

다국어 초록 (Multilingual Abstract)

In order to realize foreign language education, various existing educational media have been provided, but there are disadvantages in that the cost of the parish and the media program is high and the real-time responsiveness is poor. In this paper, we propose an artificial intelligence English conversation system based on VR and speech recognition. We used Google CardBoard VR and Google Speech API to build the system and developed artificial intelligence algorithms for providing virtual reality environment and talking. In the proposed speech recognition server system, the sentences spoken by the user can be divided into word units and compared with the data words stored in the database to provide the highest probability. Users can communicate with and respond to people in virtual reality. The function provided by the conversation is independent of the contextual conversations and themes, and the conversations with the AI assistant are implemented in real time so that the user system can be checked in real time.  It is expected to contribute to the expansion of virtual education contents service related to the Fourth Industrial Revolution through the system combining the virtual reality and the voice recognition function proposed in this paper.

국문 초록 (Abstract)

외국어 교육을 실현하기 위하여 기존의 다양한 교육 매체들이 제공되고 있지만, 교구 및 매체프로그램에 대한 비용이 많이 들고 실시간 대응력이 떨어지는 단점이 존재한다. 이 논문에서는 VR과 음성인식을 기반으로 한 인공지능 유형의 영어회화 시스템을 제안한다. 시스템 구축을 위해 Google CardBoard VR과 Google Speech API를 이용하며 가상현실 환경 제공 및 대화를 위한 인공지능 알고리즘을 개발하였다. 제안하는 음성인식 서버시스템에서는 사용자가 발화한 문장을 단어 단위로 분리해 데이터베이스에 저장된 데이터 단어들과 비교하여 확률적으로 가장 높은 것을 답으로 제공할 수 있으며 사용자들이 가상현실의 인물과 적절한 대화 및 응답이 가능하다. 대화가 제공되는 기능은 상황별 대화와 주제에 독립적이며, AI 비서와 나눈 대화 내용을 사용자 시스템에서 실시간 확인이 가능하도록 구현하였고 실험을 통하여 음성인식에 대한 응답비율을 확인하였다. 이 논문에서 제안하는 가상현실과 음성인식 기능을 접목한 시스템을 통하여 4차 산업혁명에 관련한 가상교육 콘텐츠 서비스 확장에 이바지할 것을 기대한다.

참고문헌 (Reference)

1 김성범, "특허와 뉴스 기사를 이용한 가상현실 기술에 관한 탐색적 연구" 한국디지털정책학회 16 (16): 185-199, 2018

2 조규은, "인공지능 스피커(AI speaker) 사례 분석을 통한 고찰" 한국융합학회 9 (9): 127-133, 2018

3 J. Peer, "Web service composition as AI planning:a survey" University of St. Gallen 2005

4 Unity, "Unity User Manual"

5 M. F. McTear, "The conversational interface" Springer 102-, 2016

6 M. Abadi, "Tensorflow: A system for large-scale machine learning" 265-283, 2016

7 Z. XIAO, "Tell Me About Yourself: Using an AI-Powered Chatbot to Conduct Conversational Surveys"

8 KISTI, "KISTI MARKET REPORT_IT Convergence System" 2014

9 K. H. Kim, "Interactive AI, the evolution of the chatbot"

10 P. Sinclair, "Integrating Hypermedia Techniques in Augmented Reality Environment s" University of Southampton 2007

11 J. Kačur, "HTK vs. Sphinx for Speech Recognition" Department of telecommunication FEI STU 2006

12 Google, "Google Cloud Platform"

13 Google VR Team, "Google Cardboard"

14 W. Powell, "Getting around in google cardboard –exploring navigation preferences with low-cost mobile VR" 5-8, 2016

15 B. Iancu, "Evaluating Google Speech-to-Text API's Performance for Romanian e-Learning Resources" 23 (23): 17-25, 2019

16 S. Ahola, "Developing a Virtual Reality Application in Unity , LAHTI UNIVERSITY OF APPLIED SCIENCES Information and Communications Technology Media technology"

17 Y. Cho, "Design and implementation of artificial intelligence-based speech recognition for silver generation and single household "Voice" Application" 25 (25): 142-145, 2017

18 G. Hinton, "Deep Neural Networks for Acoustic Modeling in Speech Recognition" 29 (29): 82-97, 2012

19 S. Yoo, "Controller-less interaction methods for Google cardboard" 127-127, 2015

20 Veton Këpuska, "Comparing Speech Recognition Systems (Microsoft API, Google API And CMU Sphinx)" IOSR Journals 07 (07): 20-24, 2017

21 A. Amer, "Affordable altered perspectives: Making augmented and virtual reality technology accessible" 603-608, 2014

22 L. Freina, "A literature review on immersive virtual reality in education: state of the art and perspectives" 133-, 2015

23 S. I. Jung, "A Study on the Visualization for Information Delivery of Voice User Interface -Centered around the Display Type of AI Speakers" Ewha Womans University 2019

24 O. Mangkang, "A Comparative Study of Self-Diagnosis User Interfaces for Depression:Focusing on Usability of Paper-Based" 262-267, 2019

25 정선리, "3D모션 컨트롤 기술을 이용한 융합형 실감 콘텐츠 제작" 중소기업융합학회 9 (9): 146-151, 2019

26 Raguman R, "3D Adventure Game Using Unity" Bonfring 9 (9): 16-20, 2019