음성·영상 신호 처리 알고리즘 사례를 통해 본 젠더혁신의 필요성

이지연,이혜숙 한국디지털정책학회 2018 디지털융복합연구 Vol.16 No.12

Gendered innovations is a term used by policy makers and academics to refer the process of creating better research and development (R&D) for both men and women. In this paper, we analyze the literatures in image and speech signal processing that can be used in ICT, examine the importance of gendered innovations through case study. Therefore the latest domestic and foreign literature related to image and speech signal processing based on gender research is searched and a total of 9 papers are selected. In terms of gender analysis, research subjects, research environment, and research design are examined separately. Especially, through the case analysis of algorithms of the elderly voice signal processing, machine learning, machine translation technology, and facial gender recognition technology, we found that there is gender bias in existing algorithms, and which leads to gender analysis is required. We also propose a gendered innovations method integrating sex and gender analysis in algorithm development. Gendered innovations in ICT can contribute to the creation of new markets by developing products and services that reflect the needs of both men and women. 젠더혁신은 연구개발의 전 과정에서 남녀의 생물학적, 인지적, 사회적 특성 및 행동방식의 차이에 의한 성⋅젠더 요소를 고려하여 남녀 모두를 위한 보다 나은 연구개발과 지식을 창출하는 과정을 의미한다. 본 논문의 연구목적은 ICT 산업, 자동차 산업, 빅데이터, 로봇 산업 등에 활용할 수 있는 영상·음성신호처리에서 문헌연구 및 기존 자료를 분석하고 사례 조사를 통하여 젠더혁신의 중요성을 고찰하는 것이다. 본 연구에서는 젠더 연구를 기반으로 영상·음성신호처리의 관련된 최신 국내외 문헌을 검색하고 총 8편의 논문을 선정한다. 그리고 젠더분석 측면에서, 연구대상, 연구 환경, 연구 설계로 구분하여 살펴본다. 연구결과로써, 노인음성 신호처리, 기계학습과 젠더, 기계번역 기술, 안면 젠더인식 기술의 음성·영상 신호 처리 알고리즘 논문 사례 분석을 통하여 기존의 알고리즘에 젠더편향성이 있음을 밝히고 이들 알고리즘 개발에서 상황에 맞는 성·젠더 분석이 필요함을 보인다. 또한 알고리즘 개발에 다양한 성⋅젠더 요소를 반영하는 젠더혁신 방법과 정책을 제안한다. 추후 ICT에서의 젠더혁신은 남녀 모두의 요구를 반영한 제품과 서비스를 개발로 새로운 시장 창출에 기여할 수 있다.

파킨슨병 환자에 대한 효과적인 음성인식 시스템

박희용,김률,이상민 한국음향학회 2022 韓國音響學會誌 Vol.41 No.6

Since speech impairment is prevalent in patients with Parkinson’s disease (PD), speech recognition systems suitable for these patients are needed. In this paper, we propose a speech recognition system that effectively recognizes the speech of patients with PD. The speech recognition system is firstly pre-trained with the Globalformer using the speech data from healthy people, and then fine-tuned using relatively small amount of speech data from the patient with PD. For this analysis, we used the speech dataset of healthy people built by AI hub and that of patients with PD collected at Inha University Hospital. As a result of the experiment, the proposed speech recognition system recognized the speech of patients with PD with Character Error Rate (CER) of 22.15 %, which was a better result compared to other methods. 파킨슨병 환자에게는 언어 장애가 만연하기 때문에 이러한 환자에게 적합한 음성인식 시스템이 필요하다. 본 논문에서는 파킨슨병 환자의 음성을 효과적으로 인식하는 음성인식 시스템을 제안한다. 음성인식 시스템은 먼저건강한 사람의 음성 데이터를 사용하여 Globalformer를 사전 학습한 다음 상대적으로 매우 작은 양의 파킨슨병 환자의 음성 데이터를 사용하여 Globalformer를 미세 조정한다. 실험에는 AI 허브에서 구축한 건강한 사람의 음성 데이터셋과 인하대병원에서 수집한 파킨슨병 환자의 음성 데이터셋이 사용되어졌다. 실험 결과 제안된 음성인식 시스템은22.15 %의 Character Error Rate(CER)으로 파킨슨병 환자의 음성을 인식하였으며, 다른 방법에 비해 우수한 인식률을 보였다.

노인음성신호처리: 젠더혁신 분석에 대한 체계적 문헌고찰

이지연 중소기업융합학회 2019 융합정보논문지 Vol.9 No.8

The purpose of this study is to review systematically the literatures on the research of the elderly speech signal processing based on the domestic gender innovation and to introduce the utility and innovation of the gender analysis methods. From 2000 to present, among the 37 research papers published in the Korean Journal, 25 papers were selected according to the inclusion and exclusion criteria. And gender analysis methods were applied to gender research subject and design. Research results show diversity of research field and high gender recognition of R & D team are needed in research and development of engineering of gender innovation perspective. In addition, government-level regulation and research funding should be systematically applied to gender innovation research processes in the elderly voice signal processing and various gender innovation projects. In the future gender innovation in the elderly speech signal processing can contribute to the creation of a new market by developing a voice recognition system and service that reflects the needs of both men and women. 본 연구의 목적은 국내의 젠더혁신 기반 노인음성신호처리 연구에 대하여 체계적으로 문헌을 고찰하고, 젠더분석 방법의 효용성과 혁신성을 소개하는 것이다. 2000년부터 현재까지 국내 학회지에 게재된 37편의 연구 논문 중 중복되는 자료와 포함 및 배제 기준에 따라 적합한 25편의 논문이 선정되었다. 그리고 젠더분석 방법을 적용하여 남녀 연구대상과 젠더연구 설계로 구분하여 살펴보았다. 연구 결과 젠더혁신 측면 공학연구 개발에서 연구 분야의 다양성과 연구 개발팀의 높은 젠더 인식이 필요함을 보였다. 또한 노인음성신호처리 연구 및 논문에서 젠더혁신 연구과정 및 방법이 체계적으로 적용될 수 있도록 정부 차원의 규정 확립과 대학 차원의 다양한 젠더혁신 프로젝트 출범을 제언하는 바이다. 추후 노인음성신호처리 연구에서의 젠더혁신은 남녀 모두의 요구를 반영한 음성인식 시스템과 서비스 개발로 우리 모두를 위한 새로운 시장을 창출할 것이다.

최소 자승법을 이용한 TSIUVC 근사합성법에 관한 연구

이시우,Lee, See-Woo 한국정보처리학회 2002 정보처리학회논문지B Vol.9 No.2

유성음원과 무성음원을 사용하는 음성부호화 방식에 있어서, 같은 프레임 안에 모음과 무성자음이 있는 경우에 음성 파형에 일그러짐이 나타난다. 본 논문에서는 최소 자승법을 적용한 새로운 TSIVUC 근사합성법을 제시하였다. 이 방법에서 TSlUVC의 추출에는 zero crossing rate과 FIR-STREAK 필터의 잔차신호를 이용한 개별피치 추출 알고리즘을 사용하였다. 실험결과, 최소 자승법을 적용하여 양호한 TSIUVC 근사합성 파형을 얻을 수 있었다. 또한 최대 오타신호에 있어서의 주파수 신호가 일그러짐이 적은 근사합성 파형에 중요한 역할을 한다는 것이다. 이 방법은 음성합성, 음성분석, 새로운 Voiced/Silence/TSIUVC의 음성부호화 방식에 활용할 수 있을 것으로 기대된다. In a speech coding system using excitation source of voiced and unvoiced, it would be involves a distortion of speech waveform in case coexist with a voiced and an unvoiced consonants in a frame. This paper present a new method of TSIUVC (Transition Segment Including Unvoiced Consonant) approximate-synthesis by using Least Mean Square. The TSIUVC extraction is based on a zero crossing rate and IPP (Individual Pitch Pulses) extraction algorithm using residual signal of FIR-STREAK Digital Filter. As a result, This method obtain a high Quality approximation-synthesis waveform by using Least Mean Square. The important thing is that the frequency signals in a maximum error signal can be made with low distortion approximation-synthesis waveform. This method has the capability of being applied to a new speech coding of Voiced/Silence/TSIUVC, speech analysis and speech synthesis.

음성언어 감정 인식을 위한 시계열 특징추출 및 다양한 순환신경망 모델의 성능비교

민동진,원종호,강동현,김덕환 한국차세대컴퓨팅학회 2022 한국차세대컴퓨팅학회 학술대회 Vol.2022 No.05

인간의 주 의사 소통 방법인 목소리를 통한 음성 언어는 단순한 언어 정보의 전달만이 아니라 음성의 억양과 높낮이 그리고 주변 환경 등 여러가지 특징을 통해 감정 정보를 함께 전달하게 된다. 현재 많은 연구들이 인간과 컴퓨터의 상호작용을 위해 음성언어기반의 감정을 시스템이 파악하는데 초점을 맞추고 있으며, 음성의 다양한 주파수 특성을 추출하여 신경망모델을 개발하고 있다. 본 논문은 시간에 따른 감정 변화를 정확하게 인식하기 위해, 시간 영역에서 시계열 데이터 전처리와 3 가지 음성 신호 기반의 자연어 특징 추출을 진행한다. 제안하는 데이터 전처리, 특징 추출 방법은 주파수 영역의 특징으로만 비교하는 학습 방식보다 시간에 따라 변화하는 자연어 및 복잡한 감정인식에 유리하다. 2개의 공개 데이터 셋을 이용하여 시계열 특징을 입력으로 하는 순환 신경망 모델 알고리즘들을 개발하고 이들의 성능을 비교하였다.

장구간 예측 필터를 이용한 음성 신호에서의 돌발 잡음 제거

최민석,강홍구,Choi, Min-Seok,Kang, Hong-Goo 한국음향학회 2012 韓國音響學會誌 Vol.31 No.1

본 논문에서는 음성 신호에 더해진 돌발 잡음을 제거하는 시스템을 제안한다. 제안한 돌발 잡음 제거 시스템은 중앙값 필터를 이용하여 돌발 잡음을 제거한다. 중앙값 필터는 잡음을 제거하는 과정에서 음성을 왜곡시킬 수 있기 때문에, 음성의 왜곡을 최소화하기 위하여 장구간 예측 필터를 전처리단으로 사용한다. 장구간 예측 필터로 보존된 음성 정보는 잡음이 제거된 후 다시 합성된다. 본 논문에서는 돌발 잡음이 존재하는 환경에서 음성의 정보를 보존하는데 있어 단구간 예측 필터의 문제점을 밝히고 장구간 예측 필터의 우수함을 보인다. 제안한 돌발 잡음 제거 시스템의 출력 신호는 입력 신호에 비해 음성이 존재하는 구간에서 신호 대 잡음비가 약 8dB 향상 되었으며, PESQ 점수가 약 1점 증가하였다. This paper presents a transient noise reduction system in a speech signal. The proposed transient noise reduction system utilizes a median filter to reduce the transient noise. Since the median filter can distort speech during the noise reduction, a long-term prediction (LTP) filter is adopted as a pre-processor to minimize speech distortion. The speech information preserved by the LTP filter is re-synthesized after reducing the noise. This paper verifies the weakness of a linear prediction (LP) filter and the superiority of the LTP filter for preserving the speech component in transient noise presence environment. Applying the proposed system, the signal-to-noise ratio (SNR) of output is improved by 8dB in both speech and noise presence region, and PESQ score is increased by 1 point comparing with noisy input.

음성 신호에서의 시간-주파수 축 충격 잡음 검출 시스템

최민석,신호선,황영수,강홍구,Choi, Min-Seok,Shin, Ho-Seon,Hwang, Young-Soo,Kang, Hong-Goo 한국음향학회 2011 韓國音響學會誌 Vol.30 No.2

본 논문에서는 음성 신호를 녹음하는 과정에서 발생하는 충격 잡음의 위치를 검출하는 새로운 알고리즘을 제안하였다. 제안한 방법은 충격 잡음의 주파수 축 특성을 반영하여 기존의 방법에 비해 높은 검출 정확도를 가지면서 음성의 피치를 충격 잡음과 구분하지 못하는 문제를 해결하였다. 또한, 시간 축, 주파수 축 파라미터의 단점을 상호 보완하여 false-alarm 문제를 최소화하는 시간-주파수 축 충격 잡음 검출 시스템을 제안하였다. 실제 녹음된 충격 잡음을 이용한 실험 결과, 제안한 시간-주파수 축 충격 잡음 검출기는 99.33 %의 가장 높은 검출 정확도와 1.49 %의 가장 낮은 false-alarm 비율을 나타내었다. This paper presents a new impulsive noise detection algorithm in speech signal. The proposed method employs the frequency domain characteristic of the impulsive noise to improve the detection accuracy while avoiding the false-alarm problem by the pitch of the speech signal. Furthermore, we proposed time-frequency domain impulsive noise detector that utilizes both the time and frequency domain parameters which minimizes the false-alarm problem by mutually complementing each other. As the result, the proposed time-frequency domain detector shows the best performance with 99.33 % of detection accuracy and 1.49 % of false-alarm rate.

청음 음성학적 지식에 기반한 음가분류에 의한 핵심어 검출 시스템 구현

김학진,김순협,Kim, Hack-Jin,Kim, Soon-Hyub 한국정보처리학회 2003 정보처리학회논문지B Vol.10 No.2

This study outlines two viewpoints the classification of phone likely unit (PLU) which is the foundation of korean large vocabulary speech recognition, and the effectiveness of Chiljongseong (7 Final Consonants) and Paljogseong (8 Final Consonants) of the korean language. The phone likely classifies the phoneme phonetically according to the location of and method of articulation, and about 50 phone-likely units are utilized in korean speech recognition. In this study auditory phonetical knowledge was applied to the classification of phone likely unit to present 45 phone likely unit. The vowels 'ㅔ, ㅐ'were classified as phone-likely of (ee) ; 'ㅒ, ㅖ' as [ye] ; and 'ㅚ, ㅙ, ㅞ' as [we]. Secondly, the Chiljongseong System of the draft for unified spelling system which is currently in use and the Paljongseonggajokyong of Korean script haerye were illustrated. The question on whether the phonetic value on 'ㄷ' and 'ㅅ' among the phonemes used in the final consonant of the korean fan guage is the same has been argued in the academic world for a long time. In this study, the transition stages of Korean consonants were investigated, and Ciljonseeng and Paljongseonggajokyong were utilized in speech recognition, and its effectiveness was verified. The experiment was divided into isolated word recognition and speech recognition, and in order to conduct the experiment PBW452 was used to test the isolated word recognition. The experiment was conducted on about 50 men and women - divided into 5 groups - and they vocalized 50 words each. As for the continuous speech recognition experiment to be utilized in the materialized stock exchange system, the sentence corpus of 71 stock exchange sentences and speech corpus vocalizing the sentences were collected and used 5 men and women each vocalized a sentence twice. As the result of the experiment, when the Paljongseonggajokyong was used as the consonant, the recognition performance elevated by an average of about 1.45% : and when phone likely unit with Paljongseonggajokyong and auditory phonetic applied simultaneously, was applied, the rate of recognition increased by an average of 1.5% to 2.02%. In the continuous speech recognition experiment, the recognition performance elevated by an average of about 1% to 2% than when the existing 49 or 56 phone likely units were utilized.

V/S/TSIUVC 스위칭을 이용한 음성부호화 방식에 관한 연구

이시우(Lee, See-Woo) 한국산학기술학회 2006 한국산학기술학회논문지 Vol.7 No.6

유성음원과 무성음원을 사용하는 음성부호화 방식에 있어서 모음과 무성자음이 있는 프레임에서 음질저하 현상이 나타난다. 본 논문에서는 음질을 개선하기 위해 V/S/TSIUVC 스위칭과 TSIUVC 근사합성 방법을 사용한 새로운 멀티펄스 음성부호화 방식을 제시한다. TSIUVC는 영교차율과 개별피치 펄스에 의하여 추출되며, TSIUVC의 추출율은 여자와 남자음성에서 각각 91%과 96.2%를 얻었다. 여기에서 중요한 사실은 양질의 TSIUVC 합성 파형을 얻기 위해서는 0.547kHz 이하와 2.813kHz 이상의 주파수 정보를 사용하여야 한다. V/UV를 이용한 MPC과 V/S/TSIUVC를 이용한 FBD-MPC의 비교평가를 하였다. 실험결과, FBD-MPC의 음질에 비하여 상당히 개선되었음을 알 수 있었다. In a speech coding system using excitation source of voiced and unvoiced, it would be a distortion of speech quality in a voiced and an unvoiced consonans in a frame. In this paper, I propose a new multi-pulse coding method make use of V/S/TSIUVC switching and TSIUVC approximation-synthesis method in order to restrict a distortion of speech quality. The TSIUVC is extracted by usign the zero crossing rate and individual pitch pulse. And the TSIUVC extraction rate was 91% for female voice and 96.2% for male voice. The important thing is that the frequency information of 0.54㎑ below and 2.813㎑ above can be made with high quality synthesis waveform within TSIUVC. I evaluated the MPC of V/UV and FBD-MPC of V/S/TSIUVC. As result, the synthesis speech of FBD-MPC was better in speech quality than the MPC.

개별 피치펄스를 이용한 멀티펄스 음성부호화 방식에 관한 연구

이시우 한국정보통신학회 2004 한국정보통신학회논문지 Vol.8 No.5

In this paper, I propose a new method of Multi-Pulse Coding(IP-MPC) use individual pitch pulses in order to accommodate the changes in each pitch interval and reduce pitch errors. The extraction rate of individual pitch pulses was 85% for female voice and 96% for male voice respectively. 1 evaluate the MPC by using pitch information of autocorrelation method and the IP-MPC by using individual pitch pulses. As a result, I knew that synthesis speech of the IP-MPC was better in speech quality than synthesis speech of the MPC. 본 연구에서는 피치추출 오류를 줄이고 피치간격의 변위에 적응할 수 있도록 피치간격을 정규화하지 않은 개별피치 펄스를 이용한 새로운 멀티펄스 음성부호화 방식(띤-MPC)을 제안하였다. 여기에서, 개별피치 펄스의 추출률은 남자음성에서 96 여자음성에서 85%를 얻을 수 있었으며, 개별피치 펄스를 이용한 IP-MPC와 자기상관법의 피치정보를 이용한 MPC를 평가한 결과, IP-MPC의 음질이 MPC의 음질에 비하여 상당히 개선되었음을 알 수 있었다.