청력 기반 노인 맞춤형 일음절어인지오류 진단 시스템 개발 = Development of customized diagnosis System for monosyllable recognition errors based on hearing thresholds in elderly

다국어 초록 (Multilingual Abstract)

Background and Objectives: The need for precise objective speech recognition ability and errors was emphasized. However, the current speech recognition test use in clinic focuses only on the average correct percent (%) of the patients, it is difficult to determine whether he/she is wrong due to confusion or novel words to them. The study aimed to conduct a speech recognition test and to systematically analyze the incorrect response according to error rate, error type, error pattern, speech detection similarity and distance. The study results were intended to be implemented in an algorithm for the development of 'A hearing-based personalized monosyllable words error diagnosis system' that classifies and diagnoses recognition factors that are difficult for patient with hearing loss.

Methods: Speech recognition test was conducted to a total 72 elderly by using total 363 words which consisted of a combination of CVC, CV, V, and VC referring to the Korean standard pronunciation dictionary from initial 3,192 words. The words were selected based on 90% correct score of eight adultd with normal hearing. All stimuli were recorded by two trained announcers (male and female), and any inaccurate or over-tuned stimuli were re-recorded to control the reliability of stimuli. Subjects were classified into normal hearing, mild, moderate, and severe hearing loss groups according to the BSA hearing threshold criteria. Stimulus were presented randomly at the MCL of each participant were asked to repeat what they heard. All responses were recorded and directly transcripted. Further, the subject’s incorrect response error rates and patterns were categorized into error rate, error type, error pattern, speech perception similarity and distance.

Results: As the hearing threshold elevated, the error rate also increased. Out of three phonemes position, initial consonant shows highest error rate and can be seen in various frequency ranges. In all hearing groups, the error rate of diphthong was about 20 to 40% higher than monophthong. In the case of final consonant, highest errors were found to be different for each group. In fact, the words with high error rate can be seen mainly influenced by the initial consonant and this influence increased as hearing severity increased. In terms of error type, substitution was the most common error followed by combination of substitution and substitution for all hearing group. However, rapid increase in types of failure errors was seen in severe hearing group. The highest error frequency was found different for each phoneme positions. In initial consonant, normal hearing and mild hearing loss group were classified according to the obstruent and sonorant way of articulation in the middle consonant group according to the position of the tongue and final consonant according to the obstruent and sonorant way of articulation. With increase in hearing severity, frequency, and degree of similarity between phonemes increased, making it harder to be identified depending on the position of each phoneme. The result of error pattern analysis was in line with speech perception distance analysis that revealed closer distance between the grouped phoneme from error pattern result and this pattern became clearer as the hearing severity increased. Finally, based on the results analyzed, we implemented an algorithm on identifying target hearing, setting, and presenting test questions considering the degree of hearing loss, analyzing error patterns, and reporting comprehensive results.

Conclusions: It is important to focus on errors and analyze factors in order to accurately identify difficulties in recognition. From study results, initial consonant plays the most important role in speech recognition. As highest errors were found to be different for each hearing group, individual speech recognition may vary depending on the combination of syllables suggesting that combinations should be used to improve accuracy of the results. The error pattern characteristic according to the degree of hearing elderly was confirmed and implemented in the algorithm presented in this study. With further clinical trails focusing on verifying the validity and reliability of the algorithm, we can expect a fast and more accurate test of speech recognition and discrimination of hearing-impaired elderly.

국문 초록 (Abstract)

목적: 노인성 난청 환자의 보장구 적합 및 청능재활 효과를 높이기 위해 보다 객관화된 어음인지 능력 및 인지 오류 측정의 필요성이 강조되고 있으나, 현재 임상에서 보편적으로 실시하고 있는 어음인지검사는 대상자의 평균 정답률(%)에만 초점을 두고 있어, 실질적으로 환자가 틀린 단어를 몰라서 틀린 것인지 헷갈려서 틀린 것인지 조차 결정하기 어렵다. 본 연구는 72명의 노인들을 청력 역치에 따라 4개의 그룹으로 분류하여 어음인지검사를 실시하고, 대상자가 오류를 보인 단어들을 오반응률, 오류유형, 오류패턴, 말지각 유사성 및 거리에 따라 체계적으로 분석하고자 하였다. 또한 분석 결과를 기반으로 난청 환자 개개인별로 어려움을 갖는 어음인지 요소들을 분류하고 진단하는 ‘청력 기반 개인 맞춤형 일음절어음인지오류 진단 시스템’ 개발을 위한 알고리즘을 구현하고자 하였다.

방법: 총 72명의 노인을 대상으로 일음절어인지검사를 실시하고, 청력 정도에 따른 오류패턴을 체계적으로 분석하였다. 일음절어 검사 자극음은 「한국어표준발음사전」을 참고하여 CVC, CV, V, VC 조합으로 구성된 3192개의 유의미 및 무의미 음절을 초기 단어로 선정하였다. 자극음은 아나운서 전문 교육을 받은 남여 성우 2명이 각각 녹음하였으며, 부정확하거나 과조음 경향이 있는 자극음의 재녹음 과정을 통해 자극음의 신뢰성을 높였다. 건청 성인 남여 8명을 대상으로 전체 자극음의 선별을 진행하여 정반응률이 90% 이상인 단어를 선별하였으며, 최종적으로 선별된 363개 단어를 검사 단어로 선정하였다. 모든 대상자는 인지선별검사, 청각선별검사, 일음절어인지검사 순으로 연구에 참여하였으며, 대상자의 청각 선별 검사 결과를 기반으로 BSA 청력 역치 기준에 따라 정상, 경도, 중도, 고도 그룹으로 분류하였다. 일음절어인지검사는 청력이 더 좋은 쪽 귀에서 monaural로 TDH-39 헤드폰을 통해 MCL에서 제시되는 자극음을 듣고 따라 말하는 방법으로 진행하였다. 모든 대상자의 응답은 녹음하여 검사가 끝난 후 실시간으로 전사하였으며, 대상자의 응답 자료는 정오반응에 따른 결과 채점 후 오반응한 단어를 오반응률, 오류유형, 오류패턴, 말지각 유사성 및 거리로 세분화하여 분석하였다.

결과: 청력 정도에 따른 그룹 별 오반응률 분석 결과 청력 역치가 상승함에 따라 오반응률도 높아졌으며, 특히 모든 그룹에서 초성 위치의 오반응률이 45% 이상으로 가장 높게 나타났다. 각 그룹에서 높은 오류를 보인 초성은 다양한 주파수 대역에 분포하였으며, 중도 난청 그룹부터 고주파수 대역 초성의 오반응률이 확연히 높아졌다. 중성은 모든 그룹에서 단모음 보다 이중 모음의 오반응률이 약 20~40% 이상 높았으며, 종성의 경우 각 그룹마다 높은 오류를 보인 음소가 서로 상이한 것으로 나타났다. 음소 간 결합 유형에 따른 오반응률 분석을 통해 실질적으로 오반응률에 가장 많은 영향을 미치는 음소는 모든 그룹에서 공통적으로 초성임을 확인하였다. 모든 그룹에서 가장 많은 오류를 보인 유형은 대치 유형이었으며, 대치 유형 다음으로 높은 오류를 보인 유형은 대치와 대치 유형으로 나타났다. 초성의 경우 모든 청력 그룹에서 장애음과 공명음 내에서 지각에 어려움을 보였으며, 중성은 모든 그룹에서 혀의 전후 위치에 따라 종성은 초성과 마찬가지로 모든 그룹에서 장애음과 공명음 내에서 지각하는데 가장 어려움을 보였다. 난청 정도가 증가함에 따라 음소 간 유사성 빈도와 정도가 증가하였으며, 각 음소 위치에 따라 동일한 음소의 분별 또는 인지에 대한 어려움도 증가하였다. 말지각 거리 분석을 통해 오류패턴 분석 결과와 같은 분류에 따른 항목 간에 말지각 거리가 가까워지는 것을 확인하였으며, 청력 손실정도가 커짐에 따라 거리가 더욱 가까워지는 것으로 나타났다. 최종적으로 본 연구에서 분석한 오류 패턴 분석 결과들을 종합하여 대상자 청력 파악, 청력 정도를 고려한 검사 문항 설정 및 제시, 오반응 패턴 분석, 종합적인 결과 보고의 과정으로 구성된 알고리즘을 구현하였다.

결론: 어음인지 어려움을 정확하게 파악하기 위해서는 오류에 초점을 맞추고 요인을 분석하는 것이 중요하다. 청력 역치가 상승함에 따라 초성이 오반응률에 미치는 영향력이 높아지는 것으로 나타난 결과는 난청 정도가 중도 이상일 경우 초성이 어음인지에 가장 중요한 역할을 하는 것으로 해석할 수 있다. 음소 간 결합에 따라 높은 오류를 보인 음소가 서로 상이하게 나타난 결과는 어음인지 오류 진단의 정확성을 높이기 위해 다양한 음절 조합을 자극음으로 사용해야 함을 시사한다. 오류패턴 분석 결과와 말지각 유사성 및 거리 분석 결과에서는 공통적으로 초성의 경우 모든 청력 그룹에서 장애음과 공명음 내에서 지각에 어려움을 보였다. 중성은 모든 그룹에서 혀의 전후 위치에 따라 종성은 초성과 마찬가지로 모든 그룹에서 장애음과 공명음 내에서 지각하는데 가장 어려움을 보이는 것으로 나타나 노인성 난청 환자들의 청력 정도에 따른 특징적인 오류 패턴을 확인하였다. 후속 연구에서 본 연구에서 제시한 알고리즘의 타당도와 신뢰도를 검증하여 향후 임상에 적용한다면 노인성 난청 환자의 어음 인지 및 분별 어려움에 대한 빠르고 정확한 평가를 기대할 수 있다.

목차 (Table of Contents)

• Ⅰ. 서론 1
• 1. 연구의 배경 1
• 1-1) 노인성 난청과 어음인지의 특성 1
• 1-2) 국내·외 어음청각검사 현황 2
• 1-3) 단어인지도검사의 한계점 12
• 1-4) 오류유형 및 오류패턴 분석 13
• 1-5) 유사성 및 거리 측정을 통한 말지각 지도 17
• 1-6) 알고리즘 적용의 필요성 18
• 2. 연구 목적 26
• 3. 연구 가설 26
• Ⅱ. 연구 방법 28
• 1. 연구 대상 28
• 2. 연구 도구 31
• 2-1) 일음절어 단어 선정 31
• 2-2) 검사용 음원 녹음 31
• 2-3) 음원 선별을 위한 예비 연구 32
• 2-4) 최종 자극 음원 선정 및 분석 33
• 3. 연구 절차 36
• 3-1) 인지 선별 검사 36
• 3-2) 청각 선별 검사 37
• 3-3) 일음절어인지검사 38
• 4. 자료 분석 39
• 4-1) 결과 채점 기준 39
• 4-2) 오반응률 분석 기준 39
• 4-3) 오류유형 분석 기준 42
• 4-4) 오류패턴 분석 기준 43
• 4-5) 말지각 유사성 및 거리 분석 기준 44
• 4-6) 전사 신뢰도 45
• 4-6) 통계 분석 45
• Ⅲ. 연구 결과 46
• 1. 청력 정도에 따른 그룹 별 일음절어 오반응률 분석 46
• 1-1) 그룹 별 전체 응답에 대한 오반응률 46
• 1-2) 그룹 별 음소 위치에 따른 오반응률 47
• 1-3) 그룹 별 음소에 따른 오반응률 49
• 1-4) 그룹 별 음소 간 결합 유형에 따른 오반응률 53
• 2. 청력 정도에 따른 그룹 별 일음절어 오류유형 분석 57
• 2-1) 10가지 오류유형에 따른 그룹 별 오류 특징 57
• 2-2) 10가지 오류 유형 중 대표적인 오류 유형(대치)의 하위 오류 특징 59
• 3. 청력 정도에 따른 그룹 별 일음절어 오류패턴 분석 60
• 3-1) 그룹 별 일음절어 오류패턴 61
• 3-2) 조음 방법에 따른 그룹별 오류패턴 77
• 4. 청력 정도에 따른 그룹 별 말지각 유사성 분석 81
• 4-1) 정상 청력 그룹의 음소 위치에 따른 유사성 82
• 4-2) 경도 난청 그룹의 음소 위치에 따른 유사성 83
• 4-3) 중도 난청 그룹의 음소 위치에 따른 유사성 87
• 4-4) 고도 난청 그룹의 음소 위치에 따른 유사성 89
• 5. 청력 정도에 따른 그룹 별 말지각 거리 및 말지각 지도 분석 93
• 5-1) 그룹 별 초성의 말지각 거리 및 말지각 지도 93
• 5-2) 그룹 별 중성의 말지각 거리 및 말지각 지도 98
• 5-3) 그룹 별 종성의 말지각 거리 및 말지각 지도 103
• 6. 알고리즘 구현 109
• 6-1) 대상자 청력 파악 110
• 6-2) 청력 정도를 고려한 검사 문항 설정 및 제시 111
• 6-3) 오반응 패턴 분석 112
• 6-4) 종합적인 결과 보고 114
• Ⅳ. 고찰 116
• 1. 청력 정도에 따른 그룹별 전체 응답에 대한 오반응률 116
• 2. 청력 정도에 따른 그룹별 음소 위치에 따른 오반응률 118
• 3. 청력 정도에 따른 그룹별 음소에 따른 오반응률 120
• 4. 청력 정도에 따른 그룹별 음소 간 결합 유형에 따른 오반응률 122
• 5. 청력 정도에 따른 그룹별 오류유형 124
• 6. 청력 정도에 따른 그룹별 오류패턴 126 7. 청력 정도에 따른 그룹별 말지각 유사성 128
• 8. 청력 정도에 따른 그룹별 말지각 거리 및 말지각 지도 129
• 9. 한계점 및 후속 연구 제안 131
• Ⅴ. 결론 134
• Ⅵ. 참고문헌 139
• 국문초록 162
• 영문초록 165
• 부록 169
• 부록 1. 한림대학교 생명윤리위원회 심의 결과 169
• 부록 2. 연세대학교 원주세브란스기독병원 연구심의 결과 170
• 부록 3. 최종 선정 음원 음향학적 특성 분석 결과 172
• 부록 4. MMSE-K 설문지 187
• 부록 5. 대상자별 무작위 실험 조건이 반영된 검사지 188
• 부록 6. 대상자 응답 분석 및 결과 채점지 190
• 부록 7. 오류유형의 종류와 정의와 예시 192
• 부록 8. 청력 그룹 별 일음절어 및 목표 음소에 대한 오반응률 193
• 부록 9. 특허(청력 역치를 고려한 어음 청력 검사음 생성 장치, 방법 및 프로그램) 출원번호통지서 209
• 부록 10. 특허(일음절어를 이용한 청력 검사 장치, 방법 및 프로그램) 출원번호통 지서 210