회귀신경망 예측 HMM을 이용한 숫자음 인식에 관한 연구

김수훈,고시영,허강인 한국음향학회 2001 韓國音響學會誌 Vol.20 No.8

본문에서는 예측형 회귀신경망과 HMM (Hidden Markov Model)의 하이브리드 네트워크인 회귀신경망 예측 HMM을 구성하였다. 회귀신경망 예측 HMM은 예측형 회귀신경망을 HMM의 각 상태마다 예측기로 정의하여 일정치인 평균벡터 대신에 과거의 특징벡터의 영향을 받아 동적으로 변화하는 신경 망에 의한 예측치를 이용하므로 학습패턴 설정자체가 시변성을 반영하는 동적 네트워크의 특성을 가진다. 따라서 음성과 같은 시계열 패턴의 인식에 유리하다. 회귀신경망 예측 HMM은 예측형 회귀신경망의 구조에 따라 Elman망 예측 HMM과 Jordan망 예측 HMM으로 구분하였다. 실험에서는 회귀신경망 예측 HMM의 상태수를 4, 5, 6으로 증가시켜 각 상태 수별로 예측차수 및 중간층 유니트 수의 변화에 따른 인식성능을 조사하였다. 실험결과 평가용 데이터에 대하여 Elman망 예측 HMM은 상태수가 6이고, 예측차수가 3차, 중간층 유니트의 수가 15차원일 때, Jordan망 예측 HMM의 경우 상태수가 5이고, 예측차수가 3차, 중간층 유니트의 수가 10차원일 때 각각 98.5%로 우수한 결과를 얻었다. In this paper, we propose the Recurrent Neural Predictive HMM (RNPHMM). The RNPHMM is the hybrid network of the recurrent neural network and HMM. The predictive recurrent neural network trained to predict the future vector based on several last feature vectors, and defined every state of HMM. This method uses the prediction value from the predictive recurrent neural network, which is dynamically changing due to the effects of the previous feature vectors instead of the stable average vectors. The models of the RNPHMM are Elman network prediction HMM and Jordan network prediction HMM. In the experiment, we compared the recognition abilities of the RNPHMM as we increased the state number, prediction order, and number of hidden nodes for the isolated digits. As a result of the experiments, Elman network prediction HMM and Jordan network prediction HMM have good recognition ability as 98.5% for test data, respectively.

분절 특징 HMM을 이용한 영어 음소 인식

윤영선,Yun, Young-Sun 한국정보과학회 2002 정보과학회논문지 : 소프트웨어 및 응용 Vol.29 No.3

본 논문에서는 여러 프레임 특징으로 표현되는 분절 특징(segmental feature) 표현 방법을 제안하고, HMM 개념 위에서 음향학적 모델과 그 알고리즘을 개발하여 HMM의 약점으로 지적되는 독립관측 가정을 완화시키고자 한다. 제안된 특징 표현은 단일 프레임 특징이 음성 신호의 시간적 동적 특성 (temporal dynamics)을 제대로 표현하지 못하기 때문에, 여러 프레임을 이용하여 음성 특징을 표현하도록 한다. 분절 특징은 다항식의 회귀 함수(polynomial regression function)에 의하여 관측 벡터의 궤적으로 표현되고, 이 특징을 패턴 분류에 사용하기 위하여 음성 신호의 궤적을 효과적으로 표현하는 분절 HMM(segmental HMM)을 이용한다. SHMM은 상태에서의 관측 확률을 외적 분절 변이와 내적 분절 변이로 세분하며, 외적 분절 변이는 장기적인 변화를, 내적 분절 변이는 단기적인 변화를 나타낸다. 음향학적 모델에서 분절 특성을 고려하기 위하여 외적 분절 변이는 분절의 확률 분포로 표현하고, 내적 분절 변이는 궤적의 추정 오차로 표현하도록 SHMM을 수정한 분절 특징 HMM(SFHMM; segmental-feature HMM)을 제안한다. SFHMM에서는 분절의 관측 확률을 분절 우도와 궤적의 추정 오차의 관계로써 표현하며, 추정오차는 특정 상태에서의 분절의 우도에 대한 가중치로 고려될 수 있다. 제안된 방법의 유효성과 분절 특징의 특성을 살펴보기 위하여 TIMIT 자료를 이용하여 몇 가지 실험을 하였다. 이들 실험 결과에서, 제안된 방법이 기존의 HMM보다 매개 변수가 많더라도, 성능의 향상과 제안된 특징이 유연하고 정보를 많이 가진다는 점에서 의미가 있다고 하겠다. In this paper, we propose a new acoustic model for characterizing segmental features and an algorithm based upon a general framework of hidden Markov models (HMMs) in order to compensate the weakness of HMM assumptions. The segmental features are represented as a trajectory of observed vector sequences by a polynomial regression function because the single frame feature cannot represent the temporal dynamics of speech signals effectively. To apply the segmental features to pattern classification, we adopted segmental HMM(SHMM) which is known as the effective method to represent the trend of speech signals. SHMM separates observation probability of the given state into extra- and intra-segmental variations that show the long-term and short-term variabilities, respectively. To consider the segmental characteristics in acoustic model, we present segmental-feature HMM(SFHMM) by modifying the SHMM. The SFHMM therefore represents the external- and internal-variation as the observation probability of the trajectory in a given state and trajectory estimation error for the given segment, respectively. We conducted several experiments on the TIMIT database to establish the effectiveness of the proposed method and the characteristics of the segmental features. From the experimental results, we conclude that the proposed method is valuable, if its number of parameters is greater than that of conventional HMM, in the flexible and informative feature representation and the performance improvement.

은닉 마르코프 모델을 이용한 적응형 학습경로 생성에 관한 연구

최현희(Hyunhee Choi),이윤지(Yunji Lee),이하윤(Hayun Lee) 한국자료분석학회 2023 Journal of the Korean Data Analysis Society Vol.25 No.2

전 세계적인 COVID19의 영향으로, 비대면 학습에 대한 활용도가 높아지고 있다. 비대면 학습을 위해서는 효율성을 토대로 한 학습경로의 생성이 중요하다. 본 연구는 학생들이 수업에서 마주칠 수 있는 경험의 경로, 즉, 지식 개념(knowledge concept, KC) 을 순서대로 배열한 연결망으로 알려진 학습경로를 만드는 방법으로 hidden Markov model(HMM)을 소개하고, HMM을 이용하여 경로 예측의 정확도 향상을 목적으로 한다. 첫 단계로, 정확한 학습경로의 생성을 위하여 HMM 수행 전 least absolute shrinkage and selection operator(LASSO), random forest(RF)를 이용한 변수 선택(variable selection)을 수행한 후 변수 선택의 효과를 파악한다. 그리고 HMM을 이용해서 KC들의 그룹으로 만든 상위 개념들의 선후관계를 파악한 경우와 다른 후보 경로들과의 비교를 통하여 HMM을 활용하여 완성된 경로가 더욱 의미 있게 생성되었음을 입증한다. 실험을 위하여 AI-hub(https://aihub.or.kr/)에서 공유한 수학 학습데이터를 이용한 결과 LASSO, RF 등의 변수선택 방법을 이용하여 관계 쌍을 추려냈을 때 HMM의 성능이 월등히 좋아졌고, 상위 개념으로 이루어진 학습경로를 평가할 때 HMM을 활용한 경우가 다른 모형에 비해 모형적합도 면에서 훌륭하였다. Due to the global impact of COVID-19, the use of non-face-to-face learning is increasing. For non-face-to-face learning, it is important to create a learning path based on efficiency. This study introduces the hidden Markov model (HMM) as a method of creating a learning path known as a network in which knowledge concepts are arranged in order, that is, the path of experience that students may encounter in class. and it aims to improve the accuracy of path prediction by using a variable selection technique that includes least absolute shrinkage and selection operator (LASSO), and random forest (RF) before performing HMM. In addition, this study aims to show that the learning path based on higher-order concepts made of precedence relationships from HMM is more accurate than other candidate paths. As a result of using data shared by AI-hub (https://aihub.or.kr/), the performance of HMM when selecting relational pairs using LASSO, and RF was improved significantly, and the case of using HMM when evaluating the learning path consisting of higher concepts was excellent in terms of model goodness of fit compared to other models.

얼굴인증 방법들의 조명변화에 대한 견인성 비교 연구

고대영,김진영,나승유,Ko Dae-Young,Kim Jin-Young,Na Seung-You 한국정보처리학회 2005 정보처리학회논문지B Vol.12 No.1

본 논문은 얼굴인증 시스템 구현과 조명변화에 견인한 얼굴인증 방법들에 관한 연구에 초점을 둔다. 얼굴인증 시스템 구현을 위한 방법으로 PCA(Principal Component Analysis), GMM(Gaussian Mixture Models), 1차원 HMM(1 Dimensional Hidden Markov Models), 준 2차원 HMM(Pseudo 2 Dimensional Hidden Markov Models) 방법을 이용한다. 네 가지 다른 얼굴인증 방법들의 조명변화에 대한 성능비교 실험을 수행한다. 조명변화실험을 위해 얼굴이미지의 왼쪽에서 오른쪽으로 인공적인 조명효과(${\delta}=0,40,60,80$)를 준다. 얼굴특징벡터는 얼굴이미지에서 분할한 각 블록에 대한 2D DCT(2 Dimensional Discrete Cosine Transform) 계수를 이용하고 실험은 ORL(Olivetti Research Laboratory) 얼굴데이터베이스를 사용한다. 실험결과 모든 경우 조명변화 값이 커질수록 성능저하가 발생한다. 또한 조명변화가 없는 경우(${\delta}=0$) 준 2차원 HMM이 $2.54{\%}$, 1차원 HMM이 $3.18{\%}$, PCA가 $11.7{\%}$, GMM이 $13.38{\%}$의 EER(Equal Error Rate) 성능을 나타낸다. 조명변화가 없는 경우(${\delta}=0$) 1차원 HMM 방법이 PCA 방법보다 좋은 성능을 나타내지만 조명변화 ${\delta}{\geq}40$인 때에는 반대로 PCA 방법이 더 좋은 성능을 나타낸다. 마지막으로 준 2차원 HMM의 경우 조명변화에 관계없이 가장 좋은 EER성능을 나타낸다. This paper focuses on the study of the face authentication system and the robustness of fact authentication methods under illumination changes. Four different face authentication methods are tried. These methods are as fellows; PCA(Principal Component Analysis), GMM(Gaussian Mixture Modeis), 1D HMM(1 Dimensional Hidden Markov Models), Pseudo 2D HMM(Pseudo 2 Dimensional Hidden Markov Models). Experiment results involving an artificial illumination change to fate images are compared with each other. Face feature vector extraction based on the 2D DCT(2 Dimensional Discrete Cosine Transform) if used. Experiments to evaluate the above four different fate authentication methods are carried out on the ORL(Olivetti Research Laboratory) face database. Experiment results show the EER(Equal Error Rate) performance degrade in ail occasions for the varying ${\delta}$. For the non illumination changes, Pseudo 2D HMM is $2.54{\%}$,1D HMM is $3.18{\%}$, PCA is $11.7{\%}$, GMM is $13.38{\%}$. The 1D HMM have the bettor performance than PCA where there is no illumination changes. But the 1D HMM have worse performance than PCA where there is large illumination changes(${\delta}{\geq}40$). For the Pseudo 2D HMM, The best EER performance is observed regardless of the illumination changes.

은닉 마코프 모델 확률 보정을 이용한 음성 인식 성능 향상

권태희,고한석 한국음향학회 2003 韓國音響學會誌 Vol.22 No.2

본 논문에서는 인식 단위로서의 개개의 은닉 마코프 모델 (HMM: Hidden Markvo Model)에 대응하는 가중치를 도입하여 HMM출력 스코어는 HMM출력 확률과 HMM 가중치의 곱으로 표현된다고 가정하고 기존의 최소 분류 오류 훈련 방법과 유사하게 HMM 가중치를 반복적으로 훈련하는 방법을 제안하였다. 제안된 방법은 오인식 척도에 대해 차분 (delta) 계수를 정의하고 이를 이용하여 HMM 가중치를 반복하여 훈련하는 방법이다. 이러한 방법은 HMM 가중치의 합을 HMM 개수의 총합으로 제한함으로써 기존의 파라미터 추정 방법과 비터비 (Viterbi) 알고리즘에 큰 변화 없이 음성 인식에 효과적으로 적용될 수 있다. 제안된 방법은 기존의 분할 (segmental) 최소 분류 오류훈련 방법과 비교하여 추정하는 파라미터의 개수가 감소되었으며 훈련 모델의 최적 상태열을 이용한 경도 계산 과정이 포함되지 않음으로써 계산량을 효과적으로 단축할 수 있다. HMM가중치를 이용한 HMM기반의 음성 인식기의 성능 평가를 위해서 단독 숫자음 인식 실험을 실시하였다. 실험적 결과들은 HMM 확률 보정을 이용한 음성 인식 시스템이 베이스라인 시스템보다 음성 인식 성능이 더 우수함을 보여준다. 제안된 방법은 기존의 최소 분류 오류 훈련 방법에 비하여 구현하기 간편한 반면에 더욱 우수한 음성 인식 성능 향상을 보여준다. In this paper, assuming that the score of speech utterance is the product of HMM log likelihood and HMM weight, we propose a new method that HMM weights are adapted iteratively like the general MCE training. The proposed method adjusts HMM weights for better performance using delta coefficient defined in terms of misclassification measure. Therefore, the parameter estimation and the Viterbi algorithms of conventional 1:.um can be easily applied to the proposed model by constraining the sum of HMM weights to the number of HMMs in an HMM set. Comparing with the general segmental MCE training approach, computing time decreases by reducing the number of parameters to estimate and avoiding gradient calculation through the optimal state sequence. To evaluate the performance of HMM-based speech recognizer by weighting HMM likelihood, we perform Korean isolated digit recognition experiments. The experimental results show better performance than the MCE algorithm with state weighting.

HMM과 신경망을 이용한 음성인식

김수훈 부천대학 2001 論文集 Vol.22 No.-

본 논문에서는 음성인식 기술분야에서 활발히 연구가 진행되고있는 HMM과 신경망 그리고 HMM과 신경망의 장점을 함께 사용할 수 있는 하이브리드 네트위크인 신경망 예측 HMM을 이용하여 단독 숫자음에 대한 인식성능을 비교·검토하였다. 실험은 (1)CHMM을 이용한 방법, (2)예측형 회귀신경망을 이용한 방법 (3)회귀신경망 예측 HMM을 이용한 방법으로 나누어 실시하였고, 각각의 실험에 대하여 상태수, 예측차수 및 중간층 유니트의 수의 변화에 따른 인식률의 변화를 검토하였다. 또한 문맥층에서 자기루프 계수를 두어 이전의 값들이 문맥층에 누적되도록 하였을 경우에 대한 인식률을 비교하였다. 실험결과 HMM이 가장 우수한 인식결과 나타내었고, 최적의 상태수, 예측차수 및 중간층 유니트의 수는 각 모델의 구조에 따라 차이가 났다. 전반적으로 Jordan망이 Elman망 보다 인식성능이 뛰어났으며, 자기루프계수에 대한 영향은 불규칙하게 나타났다. 그리고 회귀신경망 HMM은 하이브리드 네트워크임에도 HMM의 인식성능은 상회하지는 못하였다. In this paper, we investigate the recognition ability of HMMs, Predictive Neural Networks, and Recurrent Neural Predictive HMMs for the isolated digits. In the experiments, we changed the state number, prediction order, and the number of hidden units. Also we accumulated previous values with self-loop coefficient in its context. As result of the experiments, HMM has the best recognition ability when the state number is 5. In general, the results of experiments show that the optimum state number, prediction order, the number of hidden units, and self-loop coefficient differently responded according to the structure of HMMs and recurrent neural networks. The Jordan's network shows relatively higher recognition rate than Elman's. Although, Recurrent Neural Predictive HMMs have the structure of hybrid network, the results are worse than HMM's.

SVM을 이용하여 HMM과 심잡음 점수를 결합한 심음 기반 심장질환 분류기

곽철,권오욱,Kwak, Chul,Kwon, Oh-Wook 한국음향학회 2011 韓國音響學會誌 Vol.30 No.3

본 논문은 support vector machine (SVM)을 사용하여 은닉 마코프 모델 (HMM)과 심잡음 존재 정보를 결합한 새로운 심장질환 분류 방법을 제안한다. 켑스트럼 특징과 HMM 비터비 (Viterbi) 알고리듬을 이용하여 입력 신호를 모든 심장질환 모델에 대하여 상태 단위로 분할하여 상태별로 로그우도 (점수)를 계산한다. 심잡음 신호의 시간적 위치 특성을 이용하기 위하여 입력신호를 두 개의 부대역으로 나누고 부대역별로 프레임 단위의 심잡음 점수를 계산한 다음, 비터비 알고리듬으로부터 구한 상태 분할 정보를 이용하여 상태단위의 심잡음 점수를 구한다. SVM은 모든 심장질환 종류에 대한 상태 단위의 HMM과 심잡음 점수를 입력으로 하여 최종적으로 심장질환을 판정한다. 심장질환 분류 실험결과, 제안한 방법은 기존의 켑스트럼 특징과 HMM 분류기를 이용한 방법에 비하여 20.4 %의 상대적 개선율을 보여준다. In this paper, we propose a new cardiac disorder classification method using an support vector machine (SVM) to combine hidden Markov model (HMM) and murmur existence information. Using cepstral features and the HMM Viterbi algorithm, we segment input heart sound signals into HMM states for each cardiac disorder model and compute log-likelihood (score) for every state in the model. To exploit the temporal position characteristics of murmur signals, we divide the input signals into two subbands and compute murmur probability of every subband of each frame, and obtain the murmur score for each state by using the state segmentation information obtained from the Viterbi algorithm. With an input vector containing the HMM state scores and the murmur scores for all cardiac disorder models, SVM finally decides the cardiac disorder category. In cardiac disorder classification experimental results, the proposed method shows the relatively improvement rate of 20.4 % compared to the HMM-based classifier with the conventional cepstral features.

dPCA-HMM을 이용한 전투기 조종사 모델링 연구

최예림(Yerim Choi),전승욱(Sungwook Jeon),박종헌(Jonghun Park),신동민(Dongmin Shin) 한국항공우주학회 2015 韓國航空宇宙學會誌 Vol.43 No.1

전투기 조종사 모델링은 국방 M&S(Modeling & Simulation)를 활용한 전쟁 모의 및 전투 실험의 기초 기술로 국방 M&S의 중요성이 대두됨에 따라 연구의 필요성이 높아지고 있다. 특히, 최근 전투 로그의 축적으로 통계적 학습 기법을 활용한 모델링의 적용이 가능해졌으며 전투 로그의 시계열적 특성을 반영할 수 있는 HMM(Hidden Markov Model)이 적합하다. 하지만 HMM은 이산형 혹은 연속형 중 한 형태의 변수만을 통해 학습되므로 이형 변수로 구성된 전투 로그에 적용을 위해서는 형변환 과정이 필요하다. 따라서 본 논문에서는 형변환을 위한 dPCA(Discrete Principal Component Analysis)와 HMM을 접목한 dPCA-HMM 기반 조종사 모델링 방법을 제안한다. 국방과학연구소 관급 시뮬레이터로부터 생성된 전투 로그를 이용한 비교 실험을 통해 제안하는 방법론의 성능을 평가하였으며, 만족스러운 성능을 나타내었다. Modeling of fighter pilots, which is a fundamental technology for war games using defense M&S (Modeling & Simulation) becomes one of the prominent research issues as the importance of defense M&S increases. Especially, the recent accumulation of combat logs makes it possible to adopt statistical learning methods to pilot modeling, and an HMM (Hidden Markov Model) which is able to utilize the sequential characteristic of combat logs is suitable for the modeling. However, since an HMM works only by using one type of features, discrete or continuous, to apply an HMM to heterogeneous features, type integration is required. Therefore, we propose a dPCA-HMM method, where dPCA (Discrete Principal Component Analysis) is combined with an HMM for the type integration. From experiments conducted on combat logs acquired from a simulator furnished by agency for defense development, the performance of the proposed model is evaluated and was satisfactory.

Bi-Level HMM을 이용한 효율적인 음성구간 검출 방법

장광우(Guang-Woo Jang),정문호(Mun-Ho Jeong) 한국전자통신학회 2015 한국전자통신학회 논문지 Vol.10 No.8

본 논문에서는 Bi-Level HMM을 이용한 음성구간 검출 방법을 제안하였다. 기존의 음성 구간 검출법은 짧은 상태변화 오류(Burst Clipping)를 제거하기 위하여 별도의 후처리 과정을 거치든가, 규칙 기반 지연 프레임을 설정해야만 한다. 이러한 문제에 대처하기 위하여 기존의 HMM 모델에 상태 계층을 추가한 Bi-Level HMM을 이용하여 음성구간 판정을 위해 음성상태의 사후 확률비를 이용하였다. 사람의 청각특성을 고려한 MFCC를 특징치로 하여, 다양한 SNR의 음성 데이터에 대한 평가지표를 활용한 실험을 수행하여 기존의 음성상태 분류법보다 우수한 결과를 얻을 수 있었다. We presented a method for Vad(Voice Activity Detection) using Bi-level HMM. Conventional methods need to do an additional post processing or set rule-based delayed frames. To cope with the problem, we applied to VAD a Bi-level HMM that has an inserted state layer into a typical HMM. And we used posterior ratio of voice states to detect voice period. Considering MFCCs(:Mel-Frequency Cepstral Coefficients) as observation vectors, we performed some experiments with voice data of different SNRs and achieved satisfactory results compared with well-known methods.

광류와 표정 HMM에 의한 동영상으로부터의 실시간 얼굴표정 인식

전준철 ( Junchul Chun ),신기한 ( Gihan Shin ) 한국인터넷정보학회 2009 인터넷정보학회논문지 Vol.10 No.4

비전기반 인간컴퓨터 상호작용은 컴퓨터와 인간의 상호소통을 자연스럽게 제공하는 측면에서 과학과 산업분야에서 주목받는 연구 분야이다. 그러한 측면에서 얼굴표정인식에 의한 인간의 심리적 상태를 추론하는 기술은 중요한 이슈이다. 본 연구에서는 감성인식 HMM 모델과 광류에 기반한 얼굴 움직임 추적 방법을 이용하여 동영상으로부터 얼굴표정을 인식하는 새로운 방법을 제시하였다. 특히, 기존의 감성상태 변환을 설명하는 HMM 모델은 특정 표정상태 간의 전환 시 항상 중립 상태를 거치도록 설계되어 있다. 그러나 본 연구에서는 기존의 표정상태 전환 모델에 중간상태를 거치는 과정 없이 특정 표정 상태간의 변환이 가능한 확장된 HMM 모델을 제시한다. 동영상으로부터 얼굴의 특성정보를 추출하기위하여 탬플릿 매칭과 광류방법을 적용하였다. 광류에 의해 추적된 얼굴의 표정특성 정보는 얼굴표정인식을 위한 HMM의 매개변수 정보로 사용된다. 실험을 통하여 제안된 얼굴표정인식 방법이 실시간 얼굴 표정인식에 효과적임을 입증하였다. Vision-based Human computer interaction is an emerging field of science and industry to provide natural way to communicate with human and computer. In that sense, inferring the emotional state of the person based on the facial expression recognition is an important issue. In this paper, we present a novel approach to recognize facial expression from a sequence of input images using emotional specific HMM (Hidden Markov Model) and facial motion tracking based on optical flow. Conventionally, in the HMM which consists of basic emotional states, it is considered natural that transitions between emotions are imposed to pass through neutral state. However, in this work we propose an enhanced transition framework model which consists of transitions between each emotional state without passing through neutral state in addition to a traditional transition model. For the localization of facial features from video sequence we exploit template matching and optical flow. The facial feature displacements traced by the optical flow are used for input parameters to HMM for facial expression recognition. From the experiment, we can prove that the proposed framework can effectively recognize the facial expression in real time.