LPC 스펙트럼을 이용한 발성 판별에 관한 연구

송욱진,지상휘,배명진 사단법인 인문사회과학기술융합학회 2017 예술인문사회융합멀티미디어논문지 Vol.7 No.11

At the hearing held recently due to the excommunication of the national farmers, record files and transcripts were presented as evidence. Some error points appeared in the published transcripts. If the part marked "if not" is correct in the transcript, /h-/ utterance should appear. However, analyzing the spectral characteristics of the recorded file shows that it forms five formants from low frequency component to 4kHz. This characteristic is closer to the spectral characteristic of /p-/ which is plosive sound than the spectral characteristic of /h-/ which is silent fricative. Therefore, according to spectrum analysis and context flow, "do not dig" rather than "do not" is correct. If the part of the transcript that says "The state will go with it" is correct, /g-/ utterance should appear. However, the analysis of the formant characteristics in the LPC spectrum of the recorded file shows that there are three formants from the low frequency component to 3 kHz, a valley near 3 kHz, and a small formant at 4 kHz. This characteristic is closer to the formant characteristic of /h-/ which is the fricative sound than the formant characteristic of the plosive sound /g-/. Thus, spectrum analysis and contextual flow are right, "Hook and I'll go with it" rather than "The state will go with it." In this paper, we have identified some errors in recorded files and transcripts from recent hearings. I hope that it will be helpful to accurately record the transcripts of the recording files, one of the most important evidence in the modern society, through scientific analysis. 최근 국정농단 파문으로 인해 개최된 청문회에서 녹음 파일과 녹취록이 증거 자료로 발표되었다. 발표된 녹취록의 일부에서 오류 점이 나타났다. 녹취록에 “하지 않으면”으로 표기된 부분이 맞다면 /ㅎ- /발성이 나타나야 한다. 하지만 해당 녹음 파일의 LPC스펙트럼에서 포만트 특성을 분석한 결과 저주파의 성분부터 4kHz까지 5개의 포만트를 이루고 있는 것을 확인 할 수 있다. 이러한 특성은 무성 마찰음인 /ㅎ- /의 포만트 특성 보다 파열음인 /ㅍ- /의 포만트 특성에 가깝다. 따라서 스펙트럼 분석과 문맥 흐름상 “하지 않으면”보다는 “파지 않으면”이 맞다. 녹취록에 “국가가 그걸로 가겠네”으로 표기된 부분이 맞다면 /ㄱ- /발성이 나타나야 한다. 하지만 해당 녹음 파일의 LPC스펙트럼에서 포만트 특성을 분석한 결과 저주파의 성분부터 3kHz까지 3개의 포만트를 이루고 3kHz부근에서 골이 생기며 4kHz에서 작은 포만트가 나타난다. 이러한 특성은 파열음인 /ㄱ- /의 포만트 특성 보다 마찰음인 /ㅎ- /의 포만트 특성에 가깝다. 따라서 스펙트럼 분석과 문맥 흐름상 “국가가 그걸로 가겠네”보다는 “훅하고 그걸로 가겠네”가 맞다. 본 논문에서는 최근 청문회에서 발표된 녹음 파일과 녹취록의 일부 오류 점을 규명했다. 향후 현대 사회에서 가장 중요 시 되는 증거 자료 중 하나인 녹음 파일의 녹취록을 과학적인 분석을 통해 정확하게 표기하는 것에 도움이 되길 바란다.

포만트 정보 변화를 이용한 틀니 부착여부에 따른 발음개선 정도에 관한 연구

임병민,이원희,배성근,김명숙,배명진 사단법인 인문사회과학기술융합학회 2016 예술인문사회융합멀티미디어논문지 Vol.6 No.11

In this paper, using the formant comparative method, we propose the improvement of pronunciation with the denture attachment. Many speech parameters were studied to determine the incorrect pronunciation feature. How to generally identify the incorrect pronunciation are assessed by the changes of pitch and formant. Formant and pitch have a variety of information such as uniqueness and clarity and physical condition of the individual states and pronunciation also be analyzed. When the pronunciation through the vocal tract due to the individual difference of pronunciation may have trouble in the analysis. On the other hand, the analysis of the pronunciation through the vocal tract is easy to analyze because it is applied simultaneously to analyze consonant vowel rather than a consonant or vowel pronunciation. In particular, it is difficult to correct pronunciation dentures to several problems such as flickering to artificial teeth. Jaw or teeth with formant information in the area of high-frequency in audio signal analysis can be determined by the degree of improvement pronounce on whether denture attachment. Therefore, studies were conducted to have the information changed in the third and fourth formant, extracting pronunciation improvement in this paper. As a result the longer sentences were increased by an error of pronunciation, we get meaningful results for a long sentence than a short sentence in analysis. Therefore, studies were conducted to have the information changed in the third and fourth formant extracting pronunciation improvement in this paper. As a result the longer sentences were increased by an error of pronunciation derive meaningful results than a single sentence than the sentence in the chapter. 본 논문에서는 틀니 부착여부 발음을 포만트 비교법을 이용하여 발음개선 정도를 판단할 수 있는 파라미터를 연구하였다. 부정확한 발음특징을 파악하기 위해 많은 음성 파라미터가 연구되었다. 일반적으로 부정확한 발음을 파악하는 방법은 피치와 포만트의 변화를 이용하여 분석한다. 포만트는 개인의 고유성이나 명료성 그리고 신체상태 등 여러 가지 정보를 가지고 있으며 발음상태 또한 분석이 가능하다. 발음기관을 통한 발음을 분석하게 되면 개개인의 발음차이로 인해 분석에 어려움을 겪을 수 있다. 반면에 발성 기관을 통해 발음을 분석하면 자음 또는 모음에만 편하여 발음을 분석하기 보다는 자음 모음 동시에 적용이 되기 때문에 분석이 용이하다. 특히 틀니는 인공 치아이므로 덜그럭거림 등 여러 문제가 발생하여 정확한 발음하기 어렵다. 턱이나 치아는 음성신호에서 고주파영역의 포만트 정보를 가지고 분석이 가능하여 틀니 부착여부에 따른 발음개선정도를 파악할 수 있다. 따라서 본 논문에서는 제 3 포만트와 제 4포만트의 정보 변화를 가지고 발음개선정도를 추출할 수 있도록 연구 진행하였다. 그 결과 문장이 길어질수록 발음의 오차가 증가하였고 단문장보다 장문장에서 보다 유의미한 결과를 도출하였다.

남녀 음성신호의 포만트 형태 비교를 통한 음주여부판단 관한 연구

이원희(Won-Hee Lee),배명진(Myung-Jin Bae) 인문사회과학기술융합학회 2018 예술인문사회융합멀티미디어논문지 Vol.8 No.9

본 논문에서는 남녀 음성 분석을 이용하여 음주 전후의 음성특징을 비교하면서 음주여부를 판단할 수 있는 파라미터를 연구하였다. 기존에 제안된 방법은 변화하는 있는 운율, 발성상태 같은 특징을 정확하게 추출하고 분류하여 음주판단여부을 진행하였다. 또 다른 방법으로 음주 전후 포만트의 기울기 값을 이용하여 음주 여부를 판단할 수 있다. 포만트 기울기를 통한 음주판단방법은 대표적은 주파수 스펙트럼 형태를 근본으로한 음주판단방법이며 음주를 하기되면 음성신호의 주파수 스펙트럼 형태가 비음화 현상으로 인해 고주파 성분이 많아져 포만트 형태가 완만해지는 평탄화 현상이 나타난다. 이러한 방법을 이용하여 음성신호를 가지고 남녀의 음주전후 음성신호를 적용하였다. 적용 결과 남녀 즉 성별에 상관없이 음주 후시 포만트의 형태가 평탄화 되는 현상이 나타나는 결과를 얻게 되었다. 결과적으로 음성신호를 이용한 음주여부를 판단 할 시 성별에 대한 가중치나 분류를 하지 않아도 음주 전후의 음성신호의 패턴을 분석하고 적용하는 것이 효율적이라 할 수 있다. In this paper, In this paper, we investigated the parameters that can determine whether or not to drink by comparing the voice characteristics before and after drinking using male and female speech analysis. The proposed method correctly extracts and categorizes characteristics such as changing rhythm and vocal state, and proceeded to judge drinking. Another method is to determine whether alcohol is consumed by using slope values of formants before and after drinking. The method of determining drinking by formant inclination is based on a typical frequency spectrum type. When the alcohol is consumed, the frequency spectrum form of the voice signal becomes flat due to high frequency components due to the non-sounding phenomenon. Using this method, speech signals were applied before and after drinking of male and female with speech signals. As a result, it was found that the shape of the drinking posterior formant was flattened irrespective of gender or gender. As a result, it can be said that it is effective to analyze and apply the pattern of the voice signal before and after drinking without determining the weight or classification of sex when judging whether or not to use the speech signal.

포만트 기반의 가우시안 분포를 가지는 필터뱅크를 이용한 멜-주파수 켑스트럴 계수

손영우,홍재근,Son, Young-Woo,Hong, Jae-Keun 한국음향학회 2006 韓國音響學會誌 Vol.25 No.8

음성인식의 특징벡터로서 멜-주파수 켑스트럴 계수 (MFCC, mel-frequency cepstral coefficients)가 가장 널리 사용되고 있다. FMCC 추출과정은 입력되는 음성신호를 푸리에 변환한 후, 주파수 대역별로 필터를 취하여 에너지 값을 구하고 이산 코사인 변환을 하여 그 계수 값을 구한다. 본 논문에서는 멜-스케일 된 주파수 대역필터를 취할 때 가중함수에 의해서 구해진 각 대역필터별 가중치를 적용하여 필터의 출력 에너지를 계산한다. 여기서 가중치를 구하기 위해 사용된 가중함수는 포만트가 존재하는 대역을 중심으로 인접한 대역들이 가우시안 분포를 가지는 함수이다. 제안한 방법으로 실험한 결과, 잡음이 거의 없는 음성신호에 대해서는 기존의 MFCC를 사용했을 때와 비슷한 인식률을 보이고 잡음성분이 많을수록 가중치가 적용된 방법이 인식률에서 보다 높은 성능 향상을 가져온다. Mel-frequency cepstral coefficients are widely used as the feature for speech recognition. In FMCC extraction process. the spectrum. obtained by Fourier transform of input speech signal is divided by met-frequency bands, and each band energy is extracted for the each frequency band. The coefficients are extracted by the discrete cosine transform of the obtained band energy. In this Paper. we calculate the output energy for each bandpass filter by taking the weighting function when applying met-frequency scaled bandpass filter. The weighting function is Gaussian distributed function whose center is at the formant frequency In the experiments, we can see the comparative performance with the standard MFCC in clean condition. and the better Performance in worse condition by the method proposed here.

고음질 음성합성을 위한 LSP를 이용한 피치검출 성능향상에 관한 연구

서지호,김종국,배명진,Seo, Ji-Ho,Kim, Jong-Kuk,Bae, Myung-Jin 한국음향학회 2010 韓國音響學會誌 Vol.29 No.1

본 논문에서는 스펙트럼 신호를 최대한 평탄화시킴으로써 포만트의 영향을 제거하고 고조파 성분을 분리해 내어 이를 피치검출에 사용한다. 스펙트럼 신호로부터 포만트의 영향과 천이진폭의 영향을 제거하기 위해 주파수 대역을 LSP(Line Spectrum Pair)를 기준으로 서브밴드로 나누고 각각의 서브밴드에서 기울기를 취한 후에 역기울기로 스펙트럼을 보상한다. 실험 결과 제안한 방법이 LPC법, Lifter법, Cepstrum법을 이용하여 평탄화시킬 때 보다 평탄화 정도가 좋아짐을 알 수 있다. 또한 제안한 방법 이외에 가장 양호한 성능을 나타낸 LPC법을 이용하여 피치를 구했을 때 제안한 방법의 조오율이 평균 1.30% 감소하였다. 또한 제안한 방법은 잡음을 부가한 음성의 경우에도 낮은 에러율을 보여 배경잡음에 강하다는 것을 알 수 있었다. In this paper, the pitch is detected after the elimination of formant ingredients by flattening the spectrum in frequency domain. In order to remove impact of formant and transition frequency in the signal spectrum, formant envelop is made by linear interpolation with any points each sub-band and the spectrum of speech signal is compensated by the reverse of the envelop interpolated linearly after we divide frequency band into several segment based on LSP and detect the points. The experimental result showed the proposed method appeared an outstanding performance in compared with LPC, Cepstrum, Lifter methods. The method reduced the gross error rate 1.30% than the LPC method which appeared a good performance except the proposed method. Also, the proposed method showed low error rate in noise environment.

발화속도에 따른 한국어 모음의 음향적 특성

이숙향,고현주,한양구,김종진 한국음향학회 2003 韓國音響學會誌 Vol.22 No.1

In this study, we examined the acoustic characteristics of Korean vowels through a production test under three conditions of speaking rates (slow, normal, fast). The effects of a change in speaking .ate on vowel duration were found to be very strong. The faster speaking rate was, the shorter the total duration of vowels was. But the duration ratio of two components of diphthong was not changed significantly according to changes in speaking rate. But unlike the temporal aspects, the formant value of vowels at their steady-state and change ratio of formant of semivowels were not affected strongly by the change in speaking rate. 본 연구는 발화속도에 따른 한국어 모음의 음향적 특성에 관한 것으로 보통, 느림. 빠름의 발화속도 변화에 따라 단모음과 이중모음의 반모음 성분과 단모음성분의 지속시간적 특성과 포만트 특성을 살펴보았다. 지속시간은 전체적으로 발화속도가 빨라짐에 따라 짧아지는 경향을 보였으나 포만트는 단모음과 이중모음의 단모음 성분의 경우 큰 차이가 없었고 이중모음의 반모음 성분의 경우는 반모음의 종류에 따라 서로 다른 결과를 보여주었다.

한국 남성의 단모음 [아, 에, 이, 오, 우]에 대한 음향음성학적 기반연구

최예린(Yaelin Choi) 한국콘텐츠학회 2010 한국콘텐츠학회논문지 Vol.10 No.6

영어의 경우는 모음포만트 분석이 질적이나 양적으로 이미 오래전부터 많이 이루어져 왔다. 그러나 한국어 모음이 음향음성학적으로는 제대로 분석되지 않고 있는 실정이다. 본 연구의 목적은 한국어 모음에 대한 음향음성학적 측면에서 정량적으로 충분한 자료 확보를 위한 과정의 일환으로 정상 남자 20대와 30대를 대상으로 한국어 모음의 음향학적 측면에서 정량적 자료를 얻고자 하였다. 한국어 표준어를 산출하는 20~30대의 남자 총 31명을 대상으로 기본 5 모음 인 /아, 에(애), 이, 오, 우/를 3회 반복산출한 것을 Cool edit에 녹음하여 MATLAB음향분석 프로그램을 이용하여 모음의 F1, F2, F3, F4를 구하였다. F1과 F2 모두에서 본 연구의 모음 포만트가 선행연구보다 전반적으로 낮은 경향을 보였으나 전체적인 패턴은 매우 유사하였다. 연령별, 어음재료에 따른 한국어 모음 자료들에 대한 연구가 더 요구될 것으로 사료된다. Numerous quantitative and qualitative studies have already been published related to English vowels. However, only minimal amounts of studies based on the acoustic analysis of Korean vowels have been accomplished. The purpose of this study is to obtain sufficient quantitative data based on the acoustic aspects of Korean vowels produced by males between the ages of 20s and 30s. A total of 31 males in their 20s and 30s produced the five fundamental vowels /a, e, i, o ,u/ by repeating each of them three times in the standard Korean dialect. Such speech productions were recorded with 'Cool edit' and F1, F2, F3, F4 were extracted through the MATLAB acoustic analysis program. Results indicated that the overall patterns of formants were similar to previous studies, except that the formant levels of F1 and F2 of the vowels produced in this study were generally lower than that in previous studies. Future studies need to focus on obtaining vowel data by considering other factors such as age and other speech materials.

LPC스펙트럼을 이용한 4개국 대통령 목소리 유사특징 분석에 관한 연구

서덕원,박상범,배명진 사단법인 인문사회과학기술융합학회 2017 예술인문사회융합멀티미디어논문지 Vol.7 No.12

The president's public address is one of the ways to attract public attention. One of the important things in the speech is the voice. The voice of a person is an easy way to communicate information and plays an important role in effectively conveying the content of the speech. In many cases, the voices have a strong influence on the listener. This paper aims to study the similarities of the president 's voices. Speech analysis program, Praat, extracted the frequencies and spectra of LPC speech from four countries (Japan, China, Russia, USA) and interviewed voice. As a result of analysis, Obama and Sejinjing showed that the variation of frequency was large, and the similarity of spectrum was not so similar. Abe and Putin were found to have the smallest change in the frequency of the third formant and the fourth formant and the highest similarity in the spectral shape. In addition, Trump was similar to Abbe and Putin in the third formant, but it was difficult to find similar characteristics in the fourth formant. In the future, it will be possible to utilize the similarities of voices to study intimacy, hostility and diplomatic and political direction among countries. 대통령의 대국민 연설은 국민들의 이목을 끌 수 있는 방법 중 하나다. 연설에서 중요한 것 중에 하나는 목소리이다. 사람의 목소리는 정보전달에 있어서 용이한 방법이며, 연설의 내용을 효율적으로 전달하기 위해 중요한 역할을 한다. 여러 사례를 보았을 때 목소리는 청자에게 미치는 영향력이 큰 것을 알 수 있다. 본 논문은 대통령의 목소리 유사특징에 대해 알아보기 위한 것에 목적을 두고 연구를 진행하였다. 음성 분석 프로그램인 프라트(Praat)로 4개국(일본, 중국, 러시아, 미국) 대통령들 연설문 및 인터뷰 목소리를 LPC를 이용해 주파수 및 스펙트럼을 추출하여 비교 분석을 진행하였다. 분석 결과 오바마와 시진핑은 주파수의 변화가 컸으며 스펙트럼의 모양도 비슷한 점을 찾기 어려워 유사 특징이 낮은 것을 알 수 있었다. 아베와 푸틴은 제3포만트와 제4포만트의 주파수에서 변화가 가장 작았고 스펙트럼의 모양도 가장 비슷한 것을 찾을 수 있어 높은 유사도를 가지는 것을 알 수 있었다. 그 외에 트럼프는 제3포만트에서 아베와 푸틴과 유사하였으나 제4포만트에서 유사 특징을 찾기 어려움이 있었다. 향후에는 목소리 유사특징을 이용하여 나라간의 친밀감과 적대감 그리고 외교적, 정치적인 방향에 대한 연구를 활용 할 수 있을 것으로 판단된다.

진동수 격자 이론과 훈민정음 모음도

박상업 한국물리학회 2017 새물리 Vol.67 No.2

The formant theory, which approximates and characterizes the sound spectrum by choosing two successive peak frequencies F1 and F2, is extended to the frequency lattice model by adding the vocal frequency F0 and by using the frequency and amplitude modulations to synthesize the fundamental frequencies ($\omega_1$, $\omega_2$). Thus, we define the frequency lattice and the formants F1 and as are points on the lattice. We see that the crystal structure will be useful in clarifying the human voice. We apply the lattice model to study the vowel structure of the Hun-Min-Jung-Eum, and see that the vowels are the first and the second neighboring lattice points centered at the vocal frequency $\omega_0$. We use the voices of Korea youth to discuss the lattice briefly. 2개의 특성 진동수(F1과 F2)를 선택해서 음성 스펙트럼을 대표적으로 설명하는 포만트 이론을 성대 진동수 F0를 추가하여 진동수 격자 이론으로 확장한다. 포만트 F1과 F2가 성대 진동 F0에서 기본 진동수 ($\omega_1$, $\omega_2$)에 따른 주파수 변조가 되게 진동수 격자 구조를 정의한다. 따라서 포만트 이론이 진동수 격자 이론의 제한된 형태임을 보인다. 고체의 결정 구조가 인간의 음성 분석에 중요한 역할을 할 것으로 보인다. 또한 진동수 격자 이론을 훈민정음을 살피는데 사용하고, 훈민정음 모음도가 중심 진동수 $\omega_0$에서 1차와 2차 인접 격자 진동수를 기호화한 것임을 보인다. 한국 청년의 소리를 중심으로 훈민정음 모음도에 따른 격자의 크기를 살핀다.

발화속도와 한국어 분절음의 음향학적 특성

이숙향,고현주 한국음향학회 2004 韓國音響學會誌 Vol.23 No.2

본 연구에서는 산출실험을 통해 발화속도와 한국어의 분절음의 지속시간 및 포만트 특성과의 관계와 모음의 지속시간과 포만트 간의 상관관계를 살펴보았다. 빠른 발화일수록 음절 및 자음과 모음의 지속시간은 짧게 나타났으며 대부분의 화자에서 폐쇄음의 폐쇄구간 대 기식구간의 비율이나 한 음절 내의 모음 대 자음 지속시간의 비율은 발화속도의 영향을 받지 않는 반면 일부 화자들은 발화속도의 영향을 받는 것으로 나타났다. 발화속도의 영향을 받는 화자들에서 폐쇄음의 경우 폐쇄구간이 기식구간보다 영향을 더 받으며 음절의 경우 모음이 자음보다 더 영향을 받는 것으로 나타났다. 발화속도와 모음의 포만트값과의 관계 분석 결과 발화속도가 모음약화에 영향을 미치는 정도가 화자간에 차이를 보였으며 이는 화자마다 모음의 포만트값 구현에 관하여 다른 발화기재를 이용하고 있다는 것을 간접적으로 시사해주는 것이라고 할 수 있다. 즉, 발화속도의 증가에 따라 조음기관의 움직임의 속도를 증가시키는 화자가 있는 반면 발화속도의 변화에 관계없이 일정한 속도를 유지하는 화자가 있다는 것을 의미한다. This study investigates the following three things through a production experiment and acoustic analysis: 1) relationship between speech rate and the segment duration in Korean, 2) relationship between speech rate and spectral characteristics of vowels, i. e. undershoot, and 3) correlation between the vowel duration and undershoot. The results showed that the faster the speech rate nab, the shorter the duration of syllables and segments was. A few speakers were affected by speech rate in the durational ratios between closure and aspiration in a stop and between Towel and consonant in a syllable. Closure duration and vowel duration were more affected compared to aspiration and consonant duration, respectively. Speakers showed some differences in the extent to which speech rate affected vowel undershoot, implying that speakers used different production mechanisms for spectral characteristics of vowels: Some speakers speeded up movement of articulatory organs according to speech rate increase while some kept it constant regardless of speech rate change.