HMM의 출력확률을 이용한 신경회로망의 인식향상에 관한 연구

표창수 東亞大學校 大學院 2000 국내석사

음성은 인간의 가장 자연스러운 의사소통의 수단이며 이러한 음성에 의한 인간-기계 인터페이스는 속도가 빠르고 특별한 훈련이 없어도 이루어진다. 또한 컴퓨터 및 정보통신 기술의 급속한 발전으로 음성인식 기술은 중요한 연구 과제가 되고 있다. 이러한 음성인식에 관한 연구는 HMM과 신경망에 의한 방법들이 활발히 진행되고 있다. 그러나 HMM은 모델구조의 결정에 어려움이 있으며, 음성의 과도적 정보를 경시하는 경향이 있기 때문에 시간적 상관 표현력이 부족한 결점이 있다. 또한 신경망의 경우 그 구조나 가중치에 시간적인 것이 고려되지 않으므로 패턴이 정적인 경우 인식률이 높으나 음성과 같은 시계열 패턴의 비선형 신축을 취급하기 어렵다. 본 논문은 HMM(Hidden Markov Model)을 이용하여 인식을 수행할 경우의 오류를 최소화 할 수 있는 후처리 과정으로 신경망을 결합시켜 HMM 단독으로 사용하였을 때 보다 높은 인식률을 얻을 수 있는 HMM과 신경망의 하이브리드 시스템을 제안한다. HMM을 이용하여 학습한 후 학습에 참여하지 않은 데이터를 인식하였을 때 오인식 데이터를 정인식으로 인식하도록 HMM의 출력으로 얻은 각 출력확률을 후처리에 사용될 신경망의 학습용으로 사용하여 신경망을 학습하여 HMM과 신경망을 결합한 하이브리드 시스템을 만든다. 이와 같은 HMM과 신경망을 결합한 하이브리드 모델을 사용하여 단독 숫자음에서 실험한 결과 HMM 단독으로 사용하였을 때 보다 MLP에서는 약 4.5% RBFN에서는 약 2%의 인식률 향상이 있었다. 기존의 하이브리드 시스템이 갖는 많은 학습시간이 소요되는 문제점과 실시간 음성인식시스템을 구현할 때의 학습데이터의 부족으로 인한 인식률 저하를 해결할 수 있는 방법임을 확인할 수 있었다. The man-machine interface through speech has benefits in that it is fast and can be performed without special training. The establishment of speech recognition technology is becoming an important research subject because the computer and telecommunication technology are developing rapidly. One of the previous speech recognition methods, HMM method recognizes speech by treating the variations of the speech pattern statistically, and providing the statistic to the probability model. This method has the advantage that it is easy to deal with the variations of speech pattern, due to the individual difference, co-articulation, etc. However this method has several disadvantages. First, it is hard to determine the model structure, second, it needs large amounts of data and calculation power. On the other hand, the neural network can express the variations of spectrum as the sum of weight among units, and cover the defects of HMM by dealing with numbers of frame data in one time. But it is hard to deal with nonlinear elasticity of time series pattern like speech because the network does not include the time elements in its structure and weights. In this paper, the hybrid system of HMM and neural network is proposed and show better recognition rate of the post-process procedure which minimizes the process error of recognition than that of HMM(Hidden Markov Model) only used. After the HMM training by training data, testing data that are not taken part in the training are sent to HMM. The output probability from HMM output by testing data is used for the training data of the neural network, post processor. After neural network training, the hybrid system is completed. This hybrid system makes the recognition rate improvement of about 4.5% in MLP and about 2% in RBFN and gives the solution to traning time of conventional hybrid system and to decrease of the recognition rate due to the lack of training data in real-time speech recognition system.

HMM을 이용한 연속음성인식 시스템의 화자적응화에 관한 연구

김창근 東亞大學校 大學院 1998 국내석사

현재의 음성인식 시스템에는 DP매칭법, HMM 및 신경회로망으로 처리하는 연구가 계속되고 있다. 연속음성 인식에서는 HMM을 이용한 인식연구가 활발히 이루어지고 있으며 화자적응화 방법을 이용하여 소량의 적응화용 데이터를 추가적으로 학습하여 특정 환경 및 특정화자 모델에 근접한 인식율을 얻는 방법이 주목되어지고 있다. 본 연구에서는 음절단위의 HMM을 이용하여 발성된 한 문장에 대해 화자적응화 할 수 있는 방법을 제안하였다. 음절단위 DDCHMM모델을 구축한 후 적응화 하고자 하는 환경 및 화자의 데이터(음절 및 문장)를 연결학습법과 Viterbi 알고리즘으로 음절단위의 추출을 자동화한 후 MAPE(최대사후확률추정)을 이용하여 적응화 하였다. Nowadays, the speech recognition system using DP matching, HMM and neural network are going on studying continuously. One of them, Study of recognition system using HMM have been widely. Especially speaker adaptation method which is adpating additionally small amount of adaptation data to the special environments and speaker models gets highly good recognition rate. In this study, Speaker adaptation of uttered sentence using syllable unit hmm is proposed. Making data-base of syllable unit DDCHMM model, Segmentation of syllable of speaker data(syllables and sentence) for adaptation is performed automatically by concatenation training and viterbi algorithm. And speaker adaptation is performed by MAPE(Maximum A Posteriori Probability Estimation). In simulation test, Continuous speech data is adapted by MAPE, after training syllable unit DDCHMM model, As a result of the simulation, newspaper editorial continuous speech, the recognition rates of adaptation of HMM was 71.1% respectively which is approximately 168% improvement over that of unadapted HMM. There is not too much difference of recognition rates varing adapted weight values and comparing MAP estimation using segmented frame sample and MAP estimation using ML estimated parameter sample. Next we have experiment by real time speech recognition system in IBM PC. Recognition system is composed so that it may detect start and time of A/D converted speech data which is stored into circular buffer continuously and remove unvoiced data region, then so that it may calculate mel cepstrum and recognize them by O(n)DP within real time. Recognition rate of adaptation of HMM is better improved than that of unadaptation of HMM. Using OPDP method to get better recognition rate, the recognition rates of sentences of Car control command and digit show 95.2% as highily good one. In result of experiment, speaker adaptation method is the way of getting good recognition rate through adapting additionally small amount of adaptation data. and It may helpful to built voice-online-system, dialogue system and automatic interpreter if refer to real time speech recognition system.

HMM-based Continuous Gesture Recognition for Action Game : 액션 게임을 위한 HMM 기반의 연속 제스처 인식

박혜선 경북대학교 대학원 2007 국내박사

최근 다양한 컴퓨터 비전 기술을 이용한 제스처 인식 기반의 인터페이스에 대한 연구가 많은 관심을 받고 있다. 이에 따라 많은 제스처 기반의 인식 시스템의 개발이 이루어지고 있으며, 이때, 제스처 인식을 위해, 가장 많이 사용되는 방법은 다이나믹 프로그래밍(dynamic programming) 이나 베이지안 네트워크(bayesian network) 또는 은닉 마르코프 모델(hidden Markov model)을 이용한 방법이다. 특히, 은닉 마르코프 모델(HMM)은 동적인 신호 및 이벤트를 모델화하는 데 유용하기 때문에, 음성 인식 등의 분류문제를 풀기 위해 이미 많이 사용되어 왔으며, 최근에는 제스처 인식에 많이 사용된다. 하지만, HMM은 주로 분할된 입력열을 대상으로 하기 때문에, HMM을 사용하여 제스처를 인식하는 일반적인 방법들은 주로 제스처 동영상 스트림으로 부터 제스처 부분을 분할하여, 분할된 동영상을 입력으로 사용한다. 따라서, 인식을 위해 사전에 입력 데이터의 분할을 필수로 한다. 그러나 이러한 분할 작업은 쉬운 일이 아니다. 많은 제스처 인식 연구자들에 의해서 제스처 분할 작업에 의한 제스처 인식에 대한 연구가 이루어졌지만, 기존의 많은 제스처 분할 작업에 의한 제스처 인식은 분할 작업을 따로 함으로써, 분할과 인식 사이에 필연적으로 발생하는 시간 지연이 생길 뿐 아니라, 분할결과에 따라 인식 결과율이 크게 좌우하는 단점이 있다. 이러한 문제점을 해결하기 위해, 본 논문에서는 입력 스트림으로부터 독립적인 분할 작업 없이, 연속적으로 제스처를 인식할 수 있는 새로운 제스처 인식 방법을 제안한다. 사용된 제스처는 총 13개이고, 따라서 사용된 HMM모델은 13개의 제스처 모델을 하나로 통합한 모델로 표현된다. 모두 40개의 상태와 그 상태들의 전이 확률로 구성되는데, 각각의 상태들은 “상태-확률값”을 가진다. 기존의 HMM을 사용한 제스처 인식의 경우, 관측 심볼 열로부터 어떤 제스처 모델과 가장 적합한지를 판별하여 제스처를 인식하는 반면, 제안된 방법은 HMM을 사용하여, 현재 사용자의 상태를 판별하여 그 판별된 상태에 따라 제스처를 인식한다. 따라서 제안된 방법은 지금 사용자가 팔을 뻗고 있는 상태인지, 팔을 다 뻗은 상태인지, 또는 팔을 뻗은 다음 상태인지를 관측되는 사용자의 포즈를 보고 그 상태를 추정하여, 추정된 상태의 “상태-확률값”에 따라 지금 사용자가 하고자 하는 의도를 파악하여 제스처를 인식한다. 제스처의 표현은 사용자의 얼굴과 양손의 2D 위치 좌표로 구성된 포즈 심볼의 순열이다. 제안된 방법은 새로운 포즈가 입력될 때마다, 모든 제스처 모델을 통합한 하나의 HMM을 사용하여 그 모델을 구성하는 모든 상태들의 “상태-확률값”을 계속적으로 갱신한다. 이 때, 특정 상태의 “상태-확률값”이 미리 정해 놓은 임계값을 초과할 때 그 상태와 연관된 제스처로 인식한다. 제안된 모델의 유효성을 증명하기 위해 Quake II 라는 컴퓨터 게임의 인터페이스로 적용하였다. 제안된 방법을 기반으로 한 인터페이스를 사용한 게임 시스템은 특징 추출 단계와 포즈 분류 단계, 그리고 제스처 인식 단계로 구성된다. 특징 추출 단계는 각 프레임으로부터 피부색 정보와 움직임 정보를 이용하여 특징 벡터를 검출한다. 특징 벡터는 사용자의 얼굴과 양손의 위치좌표이다. 검출된 각 특징 벡터에 대해서, 포즈 분류단계에서는 K-means 클러스터링 방법을 이용하여 특징 벡터마다 포즈 심볼을 할당한다. 특징 추출 단계와 포즈 분류 단계를 통해서 입력 비디오 열은 포즈 심볼들의 열로 표현되고, 이는 제스처 인식단계의 입력으로 사용된다. 마지막으로 제스처 인식 단계에서는 입력 포즈 열을 정의된 제스처들로 인식한다. 제안된 제스처 인식 방법은 총 계산량은 다른 방법에 비해 많았으나, 제스처 인식 시간을 감소하는 동시에, 인식 결과를 유지할 수 있음이 증명 되었다. 제스처 인식 시간은 특히 게임과 같은 실시간 온라인 시스템에서 아주 중요한 요소이다. 게임을 진행하는 동안 계속해서 적을 찾고 적과 싸우기 위해서는 얼마나 빠르게 명령어를 줄 수 있느냐가 관건이기 때문에, 제안된 방법은 온라인 시스템에 사용하기에 아주 적합함을 알 수 있었다.

HMM을 利用한 韓國語 音節 認識에 관한 硏究

박창호 東亞大學校 1996 국내석사

HMM, known as statistical recognition method, become important method of speech recognition. Because HMM uses the statistical model, it can reflect the change of speech's patterns or the individual difference and handle a speech with same statistical model. But it depends on trial and error methods to determine the model's structure, requires a large number of data in training, is likely to ignore the transient information owing to assuming the basic markov procedure, and is insufficient to express the correlation of patterns. In this paper, we consider the dynamic variety of parameters of speech, such as increasing the states, using a regressive coefficiency, controlling the discrete duration time, obtaining the mixture continuous output statistical distribution and using segmental statistical values. 1> For the improvement of defects of CHMM, we make experiments on the parameters and states with DDCHMM, CHMM-RGC and CMHMM. As the results, the cases of speaker-dependent DDCHMM improves the recognition rates by 0.70%, CHMM-RGC improves the recognition rates by 1.08%, and CMHMM improves the recognition rates by 1.64% over CHMM. In the cases of speaker-independent CHMM-RGC and DDCHMM improves the recognition rates by 1.4% and 2.78% respectively over CHMM. Also the increment of state improve the recognition rate, but required the more training and recogntion time. 2> Considering the dynamic variety of a speech, we constitute a segmentation to combine several frames and decrease the dimensions of parameters with K-L transform and NN. We campare the cases of mel-cepstrum, mel-cepstrum^(+) regressive coefficiecy with the cases of vector compressed by K-L transform and NN, mel-cepstrum+vector compressed by K-L transform, regressive coefficiency-cepstrum+vector compressed by K-L transform. As the results, the recognition rates of 7-frame-width segmentation is less than those of 4-frame-width segmentation, because the correlation of frames come down. Although the compression error of vectors compressed by NN is lager than that by K-L transform, the case of NN get higher rates than that of K-L transform. Because NN use the sigmoid function (the non-linear transform) and reflect more the dynamic variety than K-L transform (the linear transform), the recognition rates of NN is higher than those of K-L transform.

On applying nonlinear regression models to statistical parametric speech synthesis

홍두화 서울대학교 대학원 2015 국내박사

은닉 마코프 모델(HMM) 기반의 파라미터식 음성 합성 기술은 지난 수 십 년 간 개발되어 왔다. 이 시스템에는 많은 장점이 있지만, 합성음의 음질 저하는 HMM 기반 시스템의 가장 심각한 단점이다. 본 논문에서는 기존의 HMM 기반 음성 합성 시스템의 단점을 해결할 새로운 대안을 제안한다. 첫 번째 접근법으로서, 이상치에 대한 클러스터링에서의 검출과 모델 파라미터 추정에서의 제거를 제안한다. 최대 우도(maximum likelihood, ML) 기반의 클러스터링 기법은 데이터 분열 문제가 발생하기 쉽다. 제안한 구조에서는 결정 트리가 자라나는 중에 강인한 평균과 분산이 추정되고, 이에 따라 얻은 결정 트리는 이상치 데이터에 강인하게 된다. 최종적인 클러스터의 파라미터 추정에서는 가우시안 혼합 모델(Gaussian Mixture Model, GMM) 기반의 이상치 제거 알고리즘이 수행된다. 실험 결과로부터, 불충분한 데이터를 사용했을 때에 제안된 알고리즘이 시스템의 성능을 향상시킴을 확인할 수 있다. 두 번째 접근법으로서, 선형 회귀보다 더 유연한 회귀를 표현하도록 관련성 벡터 회귀(relevance vector regression, RVR) 기반의 모델 파라미터 적응 기법을 제안한다. HMM 음향 모델에 사용되는 일반적인 적응 알고리즘은 세밀한 변환 특성을 표현하기에는 선형 회귀로 너무 제한되어 있다. 이와 같은 문제를 극복하기 위해, 비선형 기법을 제안한다. 이 구조에서는 기존의 최대 우도 선형 회귀(maximum likelihood linear regression, MLLR) 기반의 기술이 확장되어 훨씬 더 많은 기저 함수를 갖도록 하고, 이후 변환 행렬을 만드는 가중치는 희소 베이지언 학습(sparse Bayesian learning)에 의해 얻게 된다. 이 때, 정확도 하이퍼 파라미터를 이용한 사전 확률의 정의에 의해 대부분의 가중치는 0이 된다. 추가적으로, 커널 함수의 정의를 통해 RVR 방식은 선형 및 비선형 회귀 모두의 장점을 가질 수 있다. 실험에서는, 제안된 기법과 기존 기법인 CMLLR을 평가하기 위해 감정 음성 데이터베이스가 사용되었다. 실험 결과로부터, RVR 적응 기법이 기존 기법보다 나은 성능을 보임을 알 수 있다. 마지막 접근법으로서, 관련성 벡터 머신(relevance vector machine, RVM)을 이용한 음성 특징열의 모델링과 생성을 제안한다. HMM에서의 모델 상태 평균 파라미터는 이에 해당하는 데이터 프레임 사이의 시간적 관련성을 고려하지 못 한다. RVM은 비선형 회귀 문제를 해결하는 데에 활용 가능하기 때문에, 상태 출력 분포의 모델 파라미터를 대체하도록 이를 활용한다. 제안된 시스템에서는 준파라미터식 비선형 회귀 방식의 사용을 통해, 정규화된 학습 특징열로부터 얻어진 상태나 음소 조각의 통계적 대표 신호를 모델링하도록 RVM이 사용된다. 제안된 RVM과 기존 HMM에 대한 비교 실험을 수행하였고, 제안된 상태 수준 RVM 기반 기법 기존 기법보다 나은 성능을 나타냄을 보인다. The hidden Markov model (HMM)-based parametric speech synthesis techniques have been developed over the past decades. Although there are many advantages of this framework, the synthetic speech quality degradation is one of the most serious problems of the HMM-based system. In this thesis, novel alternatives are proposed to resolve the drawbacks of the conventional HMM-based speech synthesis system. In the first approach, we propose outlier detection in clustering and removal in model parameter estimation to obtain a robust model to outlier. The maximum likelihood-based clustering technique may cause the data fragmentation problem easily. In the proposed framework, during the decision tree growing, the robust mean and variance are estimated, then the consequent decision tree become robust to outlier data. In the parameter estimation of a resulting cluster, the Gaussian mixture model (GMM)-based outlier removal algorithm is performed. From the experimental results, we can find that the proposed algorithm could enhance the performance of the system when using insufficient data. In the second approach, we propose the relevance vector regression (RVR)-based model parameter adaptation technique to represent more flexible regression than linear regression. A typical adaptation algorithm employed to acoustic HMMs is too restricted in linear regression to represent the detail of mapping charateristics. To overcome these problems, nonlinear methods are proposed. In this framework, the conventional maximum likelihood linear regression (MLLR)-based technique is extend to have much more basis functions, and then, the weights for conducting a transform matrix are obtained by sparse Bayesian learning, in which most of weights become zero due to the definition of the prior with the precision hyper-parameters. Furthermore, by the definition kernel functions, RVR could take the both advantages of linear and nonlinear regression. In the experiments, the emotional speech database are used for adaptation to evaluate the proposed method compared to the conventional constrained MLLR. From the experimental results, we can find that the RVR adaption method performs better than the conventional method. In the last approach, we propose an relevance vector machine (RVM) for modeling and generation of a speech feature sequence. In HMMs, the mean parameter of the HMM state can not consider temporal correlation among corresponding data frames. Since the RVM can be utilized to solve a nonlinear regression problem, we apply it to replace the model parameters of the state output distributions. In the proposed system, RVMs are employed to model the statistically representative process of the state or phone segment which is obtained from normalized training feature sequences by using the semi-parametric nonlinear regression method. We conducted the comparative experiments for the proposed RVMs with conventional HMM. It is shown that the proposed state-level RVM-based method performed better than the conventional technique.

HMM 기반 한국어 음성합성에서 지속시간 제어를 통한 자연성 개선

김 일환 경북대학교 대학원 2009 국내석사

Nowadays a corpus-based unit concatenation text-to-speech (TTS) system has been widely used because of its high quality synthesized speech. The high quality synthesized speech in a corpus-based TTS is obtained by using a large amount of speech DB in implementing the system. However, it is a difficult job and costs very much to collect a phonetically balanced large amount of speech DB, and segment to extract synthetic units having various voice characteristics. Thus, it is generally used for the serve based TTS system and is hard to be applied to the embedded system such as mobile devices having the limitation of the memory size. On the other hand, an HMM-based text-to-speech system (HTS) has recently drawn much attention to overcome such a problem. The HTS uses the statistical model, hidden Markov model (HMM) as a synthetic unit, to represent the spectra and prosodic characteristics of the speech signal. Thus the synthesis engine needs less memory and low computation complexity and is suitable for the embedded system. It also has the advantage that voice characteristics of the synthetic speech can be modified easily by transforming HMM parameters appropriately. In this thesis, we implemented an HMM-based Korean text-to-speech system using a small sized Korean speech DB. We used the HTS software released on the school of Nagoya University with some amount of SeoulMal DB, and got phoneme labeling information using a HTK. The synthetic speech has shown very intelligible vocoded speech quality though naturalness was not enough. This is because, we think, feature parameters were not modeled well in the HMM training procedure due to the limited speech DB. Thus we proposed a method to increase the naturalness of the synthetic speech by controlling of duration model parameters in HMM-based Korean text-to speech system. We performed a paired comparison test to verify that theses techniques are effective. The test result with the preference scores of 73.8% has shown the improvement of the naturalness of the synthetic speech through controlling the duration model parameters.

HMM 클러스터 모델을 이용한 대용량 온라인 한자 인식

김광섭 강원대학교 2009 국내석사

온라인 문자인식은 패턴인식의 대표적인 한 분야로서 오랜 시간 동안 연구됐다. 다양한 종류의 문자인식 연구 중에 한자가 인식 대상인 경우는 한자의 특성상 변형이 심하고 클래스의 수가 많아서 한글과 영어와 같은 다른 문자에 대한 연구에 비교해 더 어렵다. 특히 다른 문자에 비해 클래스의 수가 매우 많은 점은 좋은 인식 시스템을 만드는 것을 더 어렵게 한다. 지금까지 HMM(Hidden Markov Model)을 사용한 온라인 한자 인식에 대한 연구는 비교적 적은 클래스를 대상으로 이뤄진 것이 주를 이뤘기 때문에 대용량 클래스 온라인 한자 인식에 대한 연구는 다소 부족한 실정이다. 최근까지 발표된 연구 자료를 보아도 온라인 한자 인식의 경우 클래스의 수가 2만 개를 넘는 것은 찾아보기가 어렵다. 이와 같은 이유로 대용량 클래스 온라인 한자 인식에서 발생할 수 있는 문제점과 이를 극복하려는 방안에 대한 논의가 필요하다. 대용량 한자 클래스 인식에서 극복해야 할 문제점은 크게 두 가지가 있다. 첫 번째 문제는 시스템 자원의 부족이다. 본 논문에서는 실험을 위해 약 10만 개에 가까운 한자 클래스를 다루는데, 이를 인식 하기 위해서, 모든 모델을 메인메모리에 적재하기에는 시스템 자원의 소모가 너무 크다. 두 번째 문제는 인식에 걸리는 시간이다. 일반적으로 인식 시간은 인식 클래스의 수와 정비례한다. 그래서 클래스 수의 방대함은 인식에 걸리는 시간이 너무 커지는 문제점을 일으킨다. 본 논문에서는 대용량 한자 클래스를 인식 대상으로 할 경우에 발생하는 두 문제점인 인식 시간과 시스템 자원의 부족을 극복하기 위해서 클러스터 모델을 사용해 대분류 하는 방법을 제안한다. 클러스터 모델을 생성하는 방법은 인식 대상이 되는 개별 클래스에 대해 훈련된 HMM의 파라미터를 활용해 전체 클래스를 포함하는 여러 개의 작은 클러스터 집합으로 분류하는 것이다. 이와 같은 방법에는 크게 두 가지 장점이 있다. 첫 번째는 클러스터 생성에 필요한 시간이 작다. 왜냐하면 클러스터의 센터 값을 위해 별도의 모델 훈련이 필요하지 않기 때문이다. 두 번째는 클러스터 모델 생성을 위해서 별도의 노력을 요구하지 않는다. 단지, 개별 클래스를 훈련한 HMM만이 필요할 뿐이다. 사용자가 인식을 시도할 때, 클러스터 모델을 이용하여 대분류를 수행하면, 인식을 하기 위한 모델의 탐색 공간을 크게 줄일 수 있다. 또한, 필요에 따라서는 클러스터 모델만을 메모리에 적재하고, 본래의 문자 모델을 하드디스크에서 필요할 때만 메인메모리로 적재하는 방식을 사용하여 인식에 필요한 시스템의 메인메모리를 줄일 수도 있다. 유니코드 한중일 통합한자로 정의된 20,902자를 포함한 98,689자의 한자에 대해 인식률과 인식에 걸리는 시간을 측정하는 실험에서 본 논문에서 제안한 대분류 방법을 사용했을 때, 일반적인 인식 방법과 비교해 3배 이상 인식속도가 향상되었고, 인식률은 거의 변함이 없었다. 또한, 인식에 필요한 메인메모리를 줄이기 위해 클러스터 모델만을 메인메모리에 적재했을 때는 인식 속도가 1.5배 가량만이 증가했지만 인식에 필요한 메인메모리의 양을 1/16 수준으로 줄일 수 있었다. On-line character recognition research has been performed for a long time as a field of pattern recognition. On-line Chinese character recognition is more difficult than other character recognition, since there are too many classes and complicated structures. Especially, the large class problem makes it difficult to build a good recognition system. So far the major research on on-line Chinese character recognition using HMM(Hidden Markov Model) was generally for small classes. For this reason, the research is necessary on the problem which occurs from large scale on-line Chinese character recognition. We have two major problems in large class on-line Chinese character recognition to overcome. The first problem is the lack of system resources. In this paper, we deal with about 100,000 classes in the experiments. If all the models are loaded into the main memory for the recognition, the cost might be too expensive. The second problem is the time to recognize. Generally, the recognition time will increase in direct proportion to the number of classes. So, large classes raise the problem of large amount of recognition time. In this paper, we propose a method of coarse classification by cluster models to overcome recognition time problem and system resource problem of large class recognition. The method of generating the cluster models is to classify whole classes into clusters by trained HMM parameters for each class. There are two major advantages in this method. Firstly, the time required to generate the cluster models is small because the centroids of the clusters need not be trained separately. Secondly, there is no extra effort to generate the cluster models. Only, we need HMMs that are trained for each class. When a user tries to recognize, search space for the recognition can be significantly reduced with the coarse classification by cluster models. We may further reduce main memory usage for the recognition by loading only cluster models and necessary character models while whole character models are stored on the HDD. In the experiments, we got more than 3 times recognition speed-up while recognition accuracy remained nearly the same compared with no cluster model recognition method for 98,689 Kanji classes, including 20,902 classes defined in Unicode CJK unified ideographs. When we loaded only cluster models in the main memory to reduce memory usage in recognition, we needed just 1/16 main memory to recognize while we got 1.5 times recognition speed-up.

HMM에 의한 실시간 연속음성 인식시스템 구현에 관한 연구

이영재 동아대학교 1996 국내박사

This paper is a study on the composition of Real-Time Continuous Speech Recognition System for Man-Machine Interface and it examines the posibility that applies to automatic system. HMM model can be classified into Continuous Distribution HMM and Discrete Duration Control HMM, and the recognition algorithm can be classified into O(n)DP method and One Pass DP method in order to choose HMM model and recognition algorithm. The simulation is implemented for 35 continuous speech samples of four connected spoken digits in two cases which are divided into two submodels according to whether the regression coefficients are included or not. As a result of the simulation, the average recognition rates show 93.0% and 80.5% respectively for two cases; the one is Continuous Distribution HMM model which includes regression coefficients and the other does not include when O(n)DP method is used. Average recognition rates show 93.4% and 84.4% respectively for two cases the one is Discrete Duration Control HMM model which includes regression coefficients and the other does not include when O(n)DP method is used. When HMM model does not include regression coefficients, the average recognition rate of One Pass DP method is better improved than that of O(n)DP method by 12%. The Continuous Speech Recognition System is composed of Continuous Distribution HMM model and algorithm of One Pass DP method which are chosen by the consideration of computing time and recognition rate according to the result of simulation. Continuous Speech Recognition System is composed so that it may detect start point and end point of speech data which are converted into samples by 10 KHz, 8 bit A/D within real time, then so that it may recognize them by One Pass DP method, display the result of recognition on PC monitor and at same time send control data to Interface. HMM models are created by training for continuous speech samples which are control words, area names and digital sounds. In the result of experiment by Continuous Speech Recognition System, there are some kind of errors which are insertion, replacement and deletion of one syllable, but it examined the posibility that can be applied to Man-Machine Interface on automatic system if post-process is performed for recognition.

HMM과 HMM Net 분류기의 성능 비교

오수환 명지대학교 대학원 1997 국내석사

HMM Net은 신경 회로망(Neural network)의 구조로 은닉 마프코프 모델(HMM)을 구현한 것이다. 이 구조는 HMM이 갖고 있는 시계열을 잘 모델링하는 능력과 신경 회로망이 갖고 있는 우수한 변별력을 결합하기 위한 목적으로 개발되어졌다. 이 논문에서는 HMM 분류기와 HMM Net 분류기의 성능을 비교한 실험상의 연구 결과를 보고한다. HMM에서 사용한 학습 기준은 최우법(ML)이고, HMM Net에서 사용한 학습 기준들은 최우법(ML), 최대 상호 정보법(MMI), 최소 자승 오차법(MMSE)이다. 또한 HMM Net 분류기에 입력으로 관측기호에 대한 이진값과 퍼지(Fuzzy)값을 입력으로 사용하여 비교한다. HMM 분류기와 HMM Net 분류기는 숫자 음성에서 얻은 시계열 패턴을 근거로 분할 학습법(Holdout), 전표본 학습법(Resubstitution), 상호 교정법(Cross-Validation)으로 실험되어졌다. 실험 결과는 MMSE 학습 기준을 사용한 HMM Net 분류기가 높은 변별력으로 인식률에서 더 나은 성능을 보여주었으나 최적의 학습에 실패하는 경우도 있었다. 또한 퍼지값을 입력으로 사용하였을 때 보다 나은 성능을 보여주었다. The HMM Net is an architecture for a neural network that implements a hidden Markov model(HMM). The architecture is developed for the purpose of combining the classification power of neural networks with the time-domain modeling capability of HMMs. In this paper we report the results of an experimental study comparing the performance of HMM Net and HMM classifiers. Criteria used for HMM Net are maximum likelihood(ML), maximum mutual information (MMI), and minimization of the mean-squared-error(MMSE), while the criterion for HMM is the maximum likelihood, using the discrete symbols as inputs. Then the experiments, except HMM, are repeated using the fuzzy values as inputs. HMM Net and HMM classifiers are tested with the methods of Holdout, Resubstitution, Cross-Validation on the real speech data, isolated numbers from /0/ to /9/, which is uttered by nine persons. Experimental results show that the performance of the HMM Net classifier using MMSE criterion is better than others, however the classifier sometimes failed to achieve the respected performance. And when the fuzzy values are used as inputs, the performance of the classifiers are better than other cases.

HMM을 이용한 손실 데이터의 악의적 실행 파일 검출 기법

류동주 전남대학교 대학원 2009 국내박사

사이버 범죄의 증가에 따라 법적 대응을 위한 디지털 포렌식 수사기법은 다양한 기술적 발전을 거듭해 왔다. 과거에 디지털 포렌식은 사이버 범죄에 대한 증거 수집을 위해 주로 사용됐었지만, 현재는 직접적인 증거뿐만 아니라 다른 관련범죄를 찾아내기 위한 방법까지 모든 범죄로 확대되었다. 우리나라에서도 디지털 포렌식에 대한 인식이 확산되고 있으며 포렌식 소프트웨어를 활용한 수사도 활발이 진행되고 있다. 그러나 이러한 디지털 포렌식 도구를 이용한 수사에 대응하여 증거를 훼손하는 것과 같이 수사를 방해하는 안티포렌식 (anti-forensic) 기술이 나타나게 되었다. 이러한 기술을 활용하여 범죄자들이 자신의 증거를 숨길 수 있게 되었다. 안티포렌식 기술은 디지털 포렌식 연구에 영향을 끼쳤으며, 안티포렌식에 대응하는 방법이 연구되기 시작했다. 특히 안티포렌식 도구에 의해 훼손된 증거 파일을 복원하여 범죄의 목적을 판명하는 연구도 연구되고 있다. 본 논문에서는 HMM 알고리즘을 활용하여 명령어 시퀀스의 유사도를 측정함으로써 손상된 파일이 악성 코드임을 판단하는 방법을 제안하였다. HMM 알고리즘의 입력으로는 사용빈도가 높은 기계어 코드만으로 구성된 명령어 시퀀스를 사용하였다. 본 논문에서는 알려진 악성 코드 샘플을 수집하여 학습용 파일을 만들었으며 HMM 학습을 통해 악성 코드의 시퀀스 특징을 갖는 모델이 생성되도록 하였다. 따라서 임의의 입력 데이터 파일의 명령어 시퀀스가 악성 코드의 학습된 모델과 유사하다면 그 파일은 악성 코드라고 판정할 수 있다. 그러나 HMM으로 학습된 모델에 명령어 시퀀스의 비교 결과만으로는 정확한 판단을 내리기 어렵다는 것을 실험으로 알 수 있었다. 본 논문에서는 단순한 HMM을 이용한 시퀀스의 유사도 비교보다 더 정교한 방법이 필요했으며, 이에 대한 해결 방법으로 명령어 시퀀스의 유사도가 높은 구간을 측정하여 비교하는 방법을 제안하였다. 유사도의 판단 기준이 될 수 있는 몇 가지 임계값은 실험을 통해서 적절한 값을 찾아냈다. 이 방법을 통해서 임의의 파일 조각이 악성 코드인지 아닌지를 정확하게 판단할 수 있게 되었다. 또한, 바이너리 형태의 파일인 정상 명령어, 이진 문서 파일, 동영상 파일등과 비교 분석하여 악성 파일의 판단 결과와 어떻게 다른 지를 제시하였다. 본 논문에서 제안한 방법을 사용하여 조각난 파일만으로도 악성 파일에 대한 판단이 가능하며 무결성에 위배되지 않고 중요 정보를 찾아낼 수 있다. 실제로 제안한 방법으로 테스트 한 결과, 악성 파일 여부를 판단할 수 있었고, 최소 1024바이트의 조각 파일만으로도 그 속성 여부를 판별할 수 있었다. 손상된 파일의 특징 분석은 디지털 포렌식 방법 중 데이터 카빙(data carving) 분야에서 중요한 연구로 인식되고 있다. 따라서 본 연구 결과는 공개용 포렌식 자동화 도구에 추가되어 악의적인 프로그램의 설치 증거를 확보하는데 매우 유용한 도구로 이용될 수 있으리라 기대된다. Due to increasing cyber crime, the investigation techniques of digital forensics have been developed with various techniques for legal response. In the past, the digital forensics had been used to collect the evidences of a cyber crime. The current digital forensics covers almost crimes including even the methods to find out related crimes. Korean gets to consider digital forensics quite important and use forensics software for investigation with activity. To face the investigation with digital forensic tools, anti-forensic technology like damaging evidence also has appeared to bother the investigation. Criminals can hide their evidence using with this kind of technique. Anti-forensic techniques effected on the study of digital forensics, and it made us study on anti-forensics. Especially it is under studying to identify the aim of crime by recovering evidence file which is damaged by anti-forensic tools. This paper suggests a decision method of malicious code. It decides if a damaged file is malicious code or not by measuring similarity of instruction sequence using HMM algorithm. For input HMM algorithm, this paper uses command sequence which only is made up high use frequency machine code. In this paper, learning file is composed of well known collected malicious file and then we make a model which has character of malicious file sequence through HMM studying. Therefore, If optional input data command sequence has similarity with malicious code learning model then we can assume that file is malicious file. However, it is hard to judge only through comparison result with command sequence of learning HMM by test. In this paper needs more accurate method than using HMM sequence similarity comparison, so it suggests that measure and compare which has high similarity of command sequence section to overcome this problem. Several critical points were found through direct test which can be standard of judgement. Through this method, we can tell that one piece of optional file is malicious code or not. Also, this paper suggests how different result judgement of malicious file and right command with binary form, binary document file and video file through comparison and analysis. Using this technique what we propose in this paper, we can decide malicious file with damaged file and find important information without harming integrity. As a matter of fact, we can find out which file is malicious or not and we can judge it's character with the minimum 1024 bite pieces of file. Analysis of special damaged file is recognized as important study field of data carving. Therefore, we expect the result of this paper can add to open forensics automatic tool to secure evidences of setting for malicious program.