자동 음성인식 처리 기술의 한국어 파열음 인식 오류에 관한 연구

김아름 ( Areum Kim ) 영주어문학회 2021 영주어문 Vol.49 No.-

본고의 목적은 자동 음성인식(Automatic Speech Recognition) 처리 기술의 한국어 파열음 인식 양상을 확인하고, 음절 구조 및 파열음의 음절 내 위치와 선·후행 모음 환경 요소에 따른 유사 음소를 제시하는 것이다. 인간의 음성을 텍스트로 변환시키는 음성인식 처리 기술에서는 음성 신호에서 추출한 음향 특질을 인식의 기본 단위로 사용하는데, 파열음의 경우 산출 과정 중 ‘폐쇄-지속’ 단계에서는 음소를 변별한 만한 음향 특성이 거의 드러나지 않는바, 음성인식에 있어서 많은 오류를 유발하는 요인이 된다. 본고에서는 이와 같은 파열음의 음성인식 오류 양상을 음운론적으로 관찰하여, 어떠한 음운론적 환경에서 인식 오류가 주로 발생하는지, 또 이때 오인식되는 음소는 어떤 특성을 가지는지에 대해 음성인식 환경별 ‘유사 음소’ 개념을 바탕으로 분석하고자 하였다. 이와 더불어 단음절 음성인식 상황에서 파열음의 인식 오류에 영향을 주는 음운 현상을 특정하고 그 양상을 기술하였다. In this paper, I explained how Automatic Speech Recognition (ASR) processing technology recognizes the Korean plosives and presented the similar phonemes according to the syllable structure and various positions of Korean plosives. In ASR, which converts human speech into texts, sound characteristics extracted from sound signals are used as basic units of speech recognition. In the ‘closure’ stage during the plosive production, many errors occurred in ASR due to the weak characteristics of sound. I observed the aspect of ASR errors of Korean plosives and analyzed the circumstances in which ASR errors frequently appeared and the characteristics of phonemes through the concept of ‘similar phoneme’.

순차통역 보조 툴로서 자동음성인식 사용성의 사례연구

이주리애 인문사회 21 2022 인문사회 21 Vol.13 No.4

A Case Study on the Usability of Automatic Speech Recognitionas an Auxiliary Tool for Consecutive InterpretingJuriae Lee Abstract: This research aims to explore the usability of ASR as CAI. Three-trial experiments were conducted in order to allow interpreters to familiarize themselves with using ASR. The participants expressed their impressions on the usability of ASR through a questionnaire. They had grown a sense of trust in ASR after trying it. The level of satisfaction and eye gaze processing varied according to text length and content. Interpreters were observed to contemplate on how to manage their gaze and utilize the transcribed texts as trials were repeated, and preferred to be provided with texts transcribed by ASR for psychological stability. The findings could be significant in assessing the usability of ASR in practical interpretation at its current level. Follow-up studies are expected to extend to assessing the usability of real-time ASR assistance at off-line consecutive interpreting environments. Key Words: Consecutive Interpreting, Automatic Speech Recognition, Usability, Interpreter, Computer-assisted Interpreting (CAI) 순차통역 보조 툴로서 자동음성인식 사용성의 사례연구이 주 리 애** 연구 목적: 이 연구는 최근 정확도가 크게 향상된 자동음성인식의 순차통역 보조 툴 활용을 탐색하는 데 목적이 있다. 연구 방법: 전문통역사를 대상으로 실험한 후 설문조사를 통해 자동음성인식의 사용성과 활용 가능성 및 보완점을 질문했다. 본 연구는 자동음성인식이 익숙해지는 과정을 고려해 3회에 걸친 실험으로 설계해 진행했다. 연구 내용: 실험참여자는 대부분 실험을 통해 음성인식에 대한 신뢰를 갖게 되었다고 했다. 음성인식 사용의 만족도 및 시선처리는 텍스트 길이와 내용에 따라 차이를 보였다. 회차를 거듭하면서 시선처리 및 활용 방안을 고민하는 모습이 보였고, 심리적 안정을 위해 음성인식 제공을 대부분이 희망했다. 결론 및 제언: 본 연구의 결과는 실무 통역에서 현 수준의 음성인식 활용에 유의미할 것으로 사료되며, 향후 오프라인 순차통역 환경에서 실시간으로 제공되는 자동음성인식의 사용성 연구로 확장해 나가고자 한다. 핵심어: 순차통역, 자동음성인식, 사용성, 통역사, 통역 보조 도구 □ 접수일: 2022년 7월 11일, 수정일: 2022년 7월 26일, 게재확정일: 2022년 8월 20일* 이 논문은 2020년 대한민국 교육부와 한국연구재단의 인문사회분야 신진연구자 지원사업의 지원을 받아 수행된 연구임(NRF-2020S1A5A8047479). ** 이화여자대학교 통역번역대학원 부교수(Professor, Ewha Womans Univ., Email: wnfldo@hanmail.net)

자동음성인식의 통역 활용에 관한 예비연구

이주리애 ( Juriae Lee ) 사단법인 아시아문화학술원 2021 인문사회 21 Vol.12 No.5

본 논문은 자동음성인식의 통역 활용을 탐색하는 데 목적이 있다. 이를 위해 음성인식의 형태를 분류하고 통역번역대학원생을 대상으로 음성인식 활용 통역 실험 후 설문조사를 통해 음성인식의 통역 활용에 대한 수용을 논하였다. 분류한 다양한 형태의 스피치 투 텍스트를 활용한 통역 실험 결과, 순차통역과 동시통역 모두 음성인식이 어느 정도 도움이 되었다는 의견이 많았다. 향후 전망은 통역 보조 도구로서 음성인식 및 기계번역이 통역 현장에서 활성화될 것이며, 그렇다고 해도 순차통역할 때 노트테이킹은 필요하다는 의견이 많았다. 또한, 통역 교육에서 음성인식 활용이 필요하고 음성인식의 성능이 생각보다 좋았다고도 했다. 본 연구는 음성인식을 실제로 통역에 적용해 보고 그 사용성 탐구를 시도한 데 의의가 있으며, 향후 구체적인 음성인식의 활용 및 교육 방식을 제안할 필요성이 있음을 시사한다. The purpose of this study is to investigate the possible application of Automatic Speech Recognition in interpretation. To this end, ASR was categorized according to type and then tested by students attending graduate schools of interpretation and translation, who thereafter answered a questionnaire which results are inquired and discussed. The majority stated that ASR was helpful to a certain degree in both consecutive interpretation and simultaneous interpretation following a series of tests using categorized Speech-to-Text samples. Many believed that ASR and machine translation, such as Computer-assisted Interpreting Tool, would be actively utilized at interpreting sites in the future, however, most maintained that note taking would still be needed. This research is significant in that it actually utilizes ASR on actual interpretations in order to assess its applicability. The study also raises the need to propose specific ASR utilization and education methods.

화자식별 기반의 AI 음성인식 서비스에 대한 사이버 위협 분석

홍천호 ( Chunho Hong ),조영호 ( Youngho Cho ) 한국인터넷정보학회 2021 인터넷정보학회논문지 Vol.22 No.6

음성인식(ASR: Automatic Speech Recognition)은 사람의 말소리를 음성 신호로 분석하고, 문자열로 자동 변화하여 이해하는 기술이다. 초기 음성인식 기술은 하나의 단어를 인식하는 것을 시작으로 두 개 이상의 단어로 구성된 문장을 인식하는 수준까지 진화하였다. 실시간 음성 대화에 있어 높은 인식률은 자연스러운 정보전달의 편리성을 극대화하여 그 적용 범위를 확장하고 있다. 반면에, 음성인식 기술의 활발한 적용에 따라 관련된 사이버 공격과 위협에 대한 우려 역시 증가하고 있다. 기존 연구를 살펴보면, 자동화자 식별(ASV: Automatic Speaker Verification) 기법의 고안과 정확성 향상 등 기술 발전 자체에 관한 연구는 활발히 이루어지고 있으나, 실생활에 적용되고 있는 음성인식 서비스의 자동화자 식별 기술에 대한 사이버 공격 및 위협에 관한 분석연구는 다양하고 깊이 있게 수행되지 않고 있다. 본 연구에서는 자동화자 식별 기술을 갖춘 AI 음성인식 서비스를 대상으로 음성 주파수와 음성속도를 조작하여 음성인증을 우회하는 사이버 공격 모델을 제안하고, 상용 스마트폰의 자동화자 식별 체계를 대상으로 실제 실험을 통해 사이버 위협을 분석한다. 이를 통해 관련 사이버 위협의 심각성을 알리고 효과적인 대응 방안에 관한 연구 관심을 높이고자 한다. Automatic Speech Recognition(ASR) is a technology that analyzes human speech sound into speech signals and then automatically converts them into character strings that can be understandable by human. Speech recognition technology has evolved from the basic level of recognizing a single word to the advanced level of recognizing sentences consisting of multiple words. In real-time voice conversation, the high recognition rate improves the convenience of natural information delivery and expands the scope of voice-based applications. On the other hand, with the active application of speech recognition technology, concerns about related cyber attacks and threats are also increasing. According to the existing studies, researches on the technology development itself, such as the design of the Automatic Speaker Verification(ASV) technique and improvement of accuracy, are being actively conducted. However, there are not many analysis studies of attacks and threats in depth and variety. In this study, we propose a cyber attack model that bypasses voice authentication by simply manipulating voice frequency and voice speed for AI voice recognition service equipped with automated identification technology and analyze cyber threats by conducting extensive experiments on the automated identification system of commercial smartphones. Through this, we intend to inform the seriousness of the related cyber threats and raise interests in research on effective countermeasures.

자동 교환 시스템을 위한 실시간 음성 인식 구현

박익현,이재성,김현아,함정표,유승균,강해익,박성현 한국음향학회 2000 韓國音響學會誌 Vol.19 No.4

본 논문에서는 음성 인식을 이용한 자동 교환 시스템을 구현하고, 성능을 평가하였다. 이 시스템은 다수의 구성원과 조직 체계를 가지는 관공서나 일반 기업, 학교 등의 교환 서비스를 음성 인식을 통하여 자동으로 제공한다. 본 시스템에 사용된 음성 인식기는 SCHMM(Semi-Continuous Hidden Markov Model) 기반으로 한 전화망에서의 화자 독립 고립 단어 가변 어휘인식기(Speaker-Independent, Isolated-Word, Flexible-Vocabulary Recognizer)이며, 실시간 구현을 위해 사용한 DSP(Digital Signal Processor)는 Texas Instrument 사의 TMS320C32이다. 자동 교환 서비스를 위하여 음성 인식 기능 외에도 음성 인식 DSP 진단 기능과 인식 대상 어휘의 추가 및 변경을 위한 운용 단말을 구현하여 운용의 편의성을 추구하였다. 본 시스템의 인식 실험은 음성 인식 구내 자동 교환 시스템용 1300여 어휘(부서명, 인명 등)에 대해서 8명의 화자가 유선 전화망에서 수행하였으며 인식률은 91.5%이다. This paper describes the implementation and the evaluation of the speech recognition automatic exchange system. The system provides government or public offices, companies, educational institutions that are composed of large number of members and parts with exchange service using speech recognition technology. The recognizer of the system is a Speaker-Independent, Isolated-word, Flexible-Vocabulary recognizer based on SCHMM(Semi-Continuous Hidden Markov Model). For real-time implementation, DSP TMS320C32 made in Texas Instrument Inc. is used. The system operating terminal including the diagnosis of speech recognition DSP and the alternation of speech recognition candidates makes operation easy. In this experiment, 8 speakers pronounced words of 1,300 vocabulary related to automatic exchange system over wire telephone network and the recognition system achieved 91.5% of word accuracy.

치매 환자를 포함한 한국 노인 음성 데이터 딥러닝 기반 음성인식

문정현,강준서,김기웅,배종빈,이현준,임창원 한국통계학회 2023 응용통계연구 Vol.36 No.1

In this paper we consider automatic speech recognition (ASR) for Korean speech data in which elderly persons randomly speak a sequence of words such as animals and vegetables for one minute. Most of the speakers are over 60 years old and some of them are dementia patients. The goal is to compare deep-learning based ASR models for such data and to find models with good performance. ASR is a technology that can recognize spoken words and convert them into written text by computers. Recently, many deep-learning models with good performance have been developed for ASR. Training data for such models are mostly composed of the form of sentences. Furthermore, the speakers in the data should be able to pronounce accurately in most cases. However, in our data, most of the speakers are over the age of 60 and often have incorrect pronunciation. Also, it is Korean speech data in which speakers randomly say series of words, not sentences, for one minute. Therefore, pre-trained models based on typical training data may not be suitable for our data, and hence we train deep-learning based ASR models from scratch using our data. We also apply some data augmentation methods due to small data size. 본 연구에서는 발화자가 동물이나 채소와 같은 일련의 단어를 무작위로 일 분 동안 말하는 한국어 음성 데이터에 대한 자동 음성 인식(ASR) 문제를 고려하였다. 발화자의 대부분은 60세 이상의 노인이며 치매 환자를 포함하고 있다. 우리의 목표는 이러한 데이터에 대한 딥러닝 기반 자동 음성 인식 모델을 비교하고 성능이 좋은 모델을 찾는 것이다. 자동 음성 인식은 컴퓨터가 사람이 말하는 말을 자동으로 인식하여 음성을 텍스트로 변환할 수 있는 기술이다. 최근 들어 자동 음성 인식 분야에서 성능이 좋은 딥러닝 모델들이 많이 개발되어 왔다. 이러한 딥러닝 모델을 학습시키기 위한 데이터는 대부분 대화나 문장 형식으로 이루어져 있다. 게다가, 발화자들 대부분은 어휘를 정확하게 발음할 수 있어야 한다. 반면에, 우리 데이터의 발화자 대부분은 60세 이상의 노인으로 발음이 부정확한 경우가 많다. 또한, 우리 데이터는 발화자가 1분 동안 문장이 아닌 일련의 단어를 무작위로 말하는 한국어 음성 데이터이다. 따라서 이러한 일반적인 훈련 데이터를 기반으로 한 사전 훈련 모델은 본 논문에서 고려하는 우리 데이터에 적합하지 않을 수 있으므로, 우리는 우리의 데이터를 사용하여 딥러닝 기반 자동 음성 인식 모델을 처음부터 훈련한다. 또한 데이터 크기가 작기 때문에 일부 데이터 증강 방법도 적용한다.

읽기 유창성 평가 자동화를 위한 지표 탐색 - 단어 간 잠재기(inter-words latency)를 중심으로

방상호 고려대학교 한국어문교육연구소 2023 한국어문교육 Vol.44 No.-

This study examined whether reading fluency assessments could be automated using an indicator of Inter-Words Latency(IWL). A few issues may arise when using state-of-the-art Automated Speech Recognition(ASR). Three research questions were formulated. First, how accurately ASR recognizes lower-grade children's actual reading utterances? Second, what are the characteristics of children's reading utterances when ASR determines they are incorrect? Third, can IWL be effectively used to automatically evaluate reading fluency of lower-grade children? Speech data of second-grade children reading aloud were collected and analyzed. The result showed a significant difference between the human evaluator and the ASR technology. The human evaluator determined that most of the children’s utterances that the ASR assessed inaccurate were correct. IWL has been shown to have a significant correlation with Words Correct Per Minute(WCPM), the most common indicator for reading fluency. It may be reasonable to use IWL instead of WCPM when it comes to automating the assessments of reading fluency of lower grade children. 본 연구는 단어 간 잠재기라는 지표를 활용하여 읽기 유창성 평가를 자동화할 수 있는지 가능성을 짚어 본다. 최신 자동 음성인식기술을 활용할 때 제기될 수 있는 여러 사안을 다룬다. 세 가지 연구문제를 설정하였다. 첫째, 자동 음성인식기술은 저학년 아동의 실제 읽기 발화를 얼마나 정확하게 인식하는가? 둘째, 자동 음성인식기술이 부정확하게 읽었다고 판단하는 아동 읽기 발화에는 어떤 특징이 있는가? 셋째, 저학년 아동의 읽기 유창성을 자동으로 평가하는데 단어 간 잠재기를 효과적으로 활용할 수 있는가? 초등학교 2학년 아동을 대상으로 실제 발화 자료를 수집하여 자동 음성인식기술이 내장된 프로그램을 활용해 분석하였다. 연구 결과, 이야기글과 설명글 모두 인간 평가자와 자동 음성인식기술 사이 정확성 판단에 큰 차이가 있었다. 자동 음성인식기술이 정확하지 않다고 판단한 아동 발화 대부분을 인간 평가자는 정확히 읽은 것으로 판정하였다. 단어 간 잠재기는 읽기 유창성 지표인 분당 정확히 읽은 단어 수와 상당히 높은 상관을 맺는 것으로 드러났다. 이런 결과는 저학년 아동 읽기 유창성 평가를 자동화하는 일에 분당 정확히 읽은 단어 수 대신 단어 간 잠재기를 활용하는 일이 합리적일 수 있음을 시사한다.

모바일 자동 음성인식 앱을 활용한 구술서사 창작 연구

천효정 한국국어교육학회 2021 새국어교육 Vol.- No.129

Purpose: The purpose of this study is to explore the possibility of oral narrative creation using mobile ASR app. Methods: Oral narrative creation class using ASR app is conducted for elementary school students, and the results were analyzed qualitatively. Results: The result shows an anecdotal plot characteristic of an oral narrative. When the oral output was converted into a description form, the learner could easily modify the output. Conclusion: ASR app make it easy to edit and share dictations by easily turning them into technical data. In addition, automatic speech recognition devices can contribute to rethinking positive perceptions of students’ oral creative activities. 목적: 이 연구의 목적은 모바일 자동 음성인식 앱을 활용한 구술서사 창작 의 가능성을 탐색하는 것이다. 방법: 초등학생 학습자를 대상으로 모바일 자동 음성인식 앱을 활용한 구술서사 창작 수업을 진행하고, 결과물을 질적으로 분석하였다. 결과: 결과물은 구술서사의 특징인 일화적 플롯을 보여준다. 구술 결과물이 기술 형태로 전환될 경우, 학습자는 결과물을 쉽게 수정할 수 있었다. 학습자는 자동 음성인식 앱을 활용한 수업에 적극적이고 능동적인 태도를 보였다. 결론: 자동 음성인식 앱은 구술 자료를 기술 자료로 손쉽게 전환시켜 줌으로써 수정과 공유가 용이하게 도와준다. 또한 자동 음성인식 장치는 학생의 구술 창작 활동에 긍정적 인식을 재고하는 데 기여할 수 있다.

시간축 변환을 이용한 음성 인식기의 성능 향상에 관한 연구

이기승 한국음향학회 2004 韓國音響學會誌 Vol.23 No.6

본 논문에서는 자동 음성 인식기의 성능 저하를 일으키는 요인으로서 발성 속도의 변동에 따를 성능 저하를 보상하기 위한 기법을 제안하였다. 새로운 기법의 제안에 앞서서. 먼저 발성 속도의 변화에 따른 기존의 은닉 마코프 모델을 이용한 음성 인식기의 성능을 정량적으로 분석하였다. 이러한 분석을 통해 발성 속도에 따른 유의한 성능 저하를 관찰하고, 주어진 음성으로부터 발성 속도를 정량적으로 나타낼 수 있는 변수를 도입하였다. 발성 속도를 학습 시 사용한 음성과 유사하게 변화시키기 위해 본 논문에서는 음성 신호에 대한 시간축 변환을 사용하였으며, 최종적으로 발성 속도에 따라 선택적으로 시간축 변환을 적용하여 발성 속도의 변동에 따른 음성 인식의 성능 저하를 보상할 수 있는 기법을 제안하였다. 10자리의 이동통신용 전화번호를 이용한 음성 인식의 실험을 통해, 제안된 기법은 빠르게 발성하는 음성에 대해 15.5%의 오류율 감소를 가져오는 것을 확인할 수 있었다. In this paper a method for compensating for thp performance degradation or automatic speech recognition (ASR) is proposed. which is mainly caused by speaking rate variation. Before the new method is proposed. quantitative analysis of the performance of an HMM-based ASR system according to speaking rate is first performed. From this analysis, significant performance degradation was often observed in the rapidly speaking speech signals. A quantitative measure is then introduced, which is able to represent speaking rate. Time scale modification (TSM) is employed to compensate the speaking rate difference between input speech signals and training speech signals. Finally, a method for compensating the performance degradation caused by speaking rate variation is proposed, in which TSM is selectively employed according to speaking rate. By the results from the ASR experiments devised for the 10-digits mobile phone number, it is confirmed that the error rate was reduced by 15.5% when the proposed method is applied to the high speaking rate speech signals.

음성인식을 위한 한국어 폐쇄음 자동 분할

윤원희 ( Weonhee Yun ) 한국외국어대학교 언어연구소 2004 언어와 언어학 Vol.0 No.34

한국어 폐쇄음의 음성인식에 사용될 폐쇄 구간과 Voice Onset Time (VOT) 구간을 얻어내기 위하여 자동으로 폐쇄음의 폐쇄구간과 폐쇄음 뒤 모음 시작점을 분할하는 방법을 제안한다 한국어 폐쇄읍은 같은 조음위치에서 세가지 Phonation type을 갖는다. 경음 은 연음이나 격음보다 긴 폐쇄 구간을 가지고 있고, 격음은 경음이나 연음보다 긴 VOT를 가지고 있다는 음성학적 연구 성과에 비추어, 먼저 연속음성 데이터베이스인 KAIST 음성데이터에서 628개의 문장을 hand labelling 한 후, 통계 실험을 하였다- 이 실험은 문맥의 다양성에도 불구하고 폐쇄구간과 VOT의 특성이 phonation type에 따라 기존 음 성학 연구에서의 결과가 같은지를 알아보기 위함이다. 실험 결과, 문맥의 다양성에도 불 구하고 기존 연구 결과와 일치 함을 보였다, 이러한 결과는 음성인식에서 폐쇄음을 구분 하기 위하여 폐쇄구간과 VOT의 두 가지 음향단서를 사용할 수 있음을 입증하는 것이다. 음성인식기에서 폐쇄음의 phonation type을 구별하기 위한 폐쇄구간과 VOT를 자동으로 추출할 수 있는 자동 분할 방법을 개발하였다. 클러스터링과 두 연속된 창에서의 로그파워의 차이값의 local peak를 계산함에 의해서 이러한 구간들의 분할을 할 수 있다.