음소인식을 이용한 연속음성시각화 = Continuous speech visualization using phoneme recognition

국문 초록 (Abstract)

음성시각화는 신호처리를 기반으로 조음훈련, 외국어 학습, 언어학, 음운학, 애니메이션 자동 립싱크 기술, 발음교정 등 다양한 분야에서 사용 될 수 있는 기법이다. 그 중에서 언어장애를 동반하는 청각장애인의 언어학습을 위해서 중요한 기술이다. 언어장애를 갖는 장애인의 경우 인공와우, MRI, 조음사를 통한 치료를 통하여 언어교정을 받고 있다. 하지만 이와 같은 방법의 경우 시간적, 경제적, 공간적인 측면에서 볼 때 언어 장애를 가진 청각장애인이 쉽게 이용할 수 없는 문제가 있다. 따라서 일반적인 가정 환경에서 손쉽게 자신의 발음에 대한 성도 모양의 피드백을 받으며 학습이 가능한 방법의 연구를 위해서 음성시각화 연구가 필요하다. 하지만 언어학습에 음성 시각화를 적용하기 위해서는 다양한 문제점이 존재한다. 그 중에서 우리가 생활하는 환경은 노이즈가 존재하는 환경으로 음성신호를 이용하여 처리하기 위해서는 정확한 음성구간에 대한 정보가 필요하지만 주변의 환경으로 인한 노이즈로 인하여 음성구간과 노이즈에 대한 정확한 구분이 쉽지 않은 문제점이 있다. 그리고 언어학습을 위해서는 다양한 발음에 대한 정보가 담겨져 있는 연속적인 발음에 대해서 각 발음의 변화에 따른 구간을 판별하여 발음에 따라서 구분하여 처리해 주어야 한다.
또한 구분된 신호정보를 이용하여 성도의 특성을 반영할 수 있게 하기 위한 방법이 필요하다. 이와 같은 과정으로 얻어진 수치 정보를 실제 학습에 적용하기 위해서 쉽게 피드백을 받을 수 있는 형태로 변화하여 직관적으로 전달하는 과정이 필요하게 된다. 이와 같이 언어 학습에 적용하기 위한 다양한 문제점을 해결하기 위해서 본 논문에서는 노이즈가 존재하는 환경에서 실제 발화된 구간의 정보를 얻기 위해서 voice activity detection(VAD)를 이용한다. VAD기법에는 다양한 방법이 존재한다. 기존의 다양한 기법 중 시각화의 정확도를 높이기 위해서 정확한 음성구간에 대한 판단은 필수적인 요소이다. 따라서 표준적인 알고리즘인 G729와 최근에 발표된 peak valley difference(PVD)를 이용한 음성구간 검출에 대해서 다양한 환경변화에 따른 음성구간검출 성능에 대해서 비교하여 보다 우수한 기법에 대해서 실험하였다. 다음으로 연속되는 음성에 대해서 VAD를 통하여 음성으로 판별될 경우 해당구간에는 다양한 음소의 정보가 들어 있다. 따라서 해당 음성구간에 대해서 각 음소의 구분을 통하여 발음에 따른 시각화의 정확도를 높이기 위해서 경계탐색을 위한 방법으로 Bayesian information criterion(BIC)를 이용한 경계탐색 기법에 대해서 알아보고 노이즈의 변화에 따라서 BIC의 경계 탐색 성능에 대해서 실험하였다. 이와 같은 과정을 통해 얻어진 특정 구간의 음성정보를 성도면적 추정기법을 이용하여 성문에서부터 입까지 구간별 성도의 면적 정보를 얻을 수 있다. 하지만 성도면적 추정기법은 성도의 모델을 무손실 음향 튜브모델로 가정하기 때문에 인간의 복잡한 조음기관의 중요한 정보들에 대한 손실이 생기게 되며 주변 환경의 영향 및 입력 채널에 따라서 성도면적 추정기법에 영향을 미치기 때문에 정확한 결과를 얻을 수 없는 문제가 있다. 하지만 청각장애인의 언어학습을 위해서는 발화기관에 대한 미세한 변화에 대해서 정보를 얻고 피드백을 해주어야 하는 과정이 필요하기 때문에 보다 정확한 정보가 필요하게 된다. 따라서 이러한 문제점을 개선하기 위해서 본 논문에서는 음소인식을 적용하여 기존에 학습된 성도의 면적정보를 추정된 성도면적에 보정하여 보다 실측면적에 가까운 성도의 면적을 얻기 위한 방법을 제안하고 실측면적과의 차이를 비교하였다.
일반적으로 성도의 면적정보의 경우 단순한 수치정보이기 때문에 일반적인 사용자가 쉽게 피드백을 얻고 학습하기에는 다소 문제가 있다. 따라서 본 논문에서는 추정된 성도의 면적에 대해서 시각적으로 표현하기 위한 방법을 제시하고 발음에 따른 성도의 면적 정보를 시각화 모델에 반영하는 실험을 수행하였다.

목차 (Table of Contents)

• 제 1장 서론 1
• 제 2 장 관련 연구 4
• 2.1 모음의 스펙트럼 피크를 이용한 음성구간 검출 4
• 2.2 Bayesian Information Criterion(BIC) 기반 음소 경계 탐색 8
• 2.3 음성인식 12
• 2.4 요약 15
• 제 3 장 음성시각화 16
• 3.1 성도면적 추정 16
• 3.2 음소인식을 이용한 추정면적 보정기법 20
• 3.3 성도면적의 시각화기법 25
• 3.4 요약 29
• 제 4 장 실험 30
• 4.1 실험 데이터 32
• 4.2 실험 결과 34
• 4.2.1 음성구간검출 35
• 4.2.2 BIC를 이용한 음소구분 38
• 4.2.3 성도면적추정 40
• 4.2.4 성도면적보정기법42
• 4.2.5 음성시각화 47
• 제 5 장 결론 및 향후 과제 51
• 부록 A. 환경변화에 따른 성도면적 추정치의 변화 53
• A.1 노이즈 종류에 따른 성도면적 추정치의 변화 53
• A.2 SNR변화에 따른 성도면적 추정치의 변화 55
• 참고 문헌 58