음성처리에서 온라인 오류역전파 알고리즘의 학습속도 향상방법

이태승,이백영,황병원 한국음향학회 2002 韓國音響學會誌 Vol.21 No.5

Having a variety of good characteristics against other pattern recognition techniques, the multilayer perceptron (MLP) has been widely used in speech recognition and speaker recognition. But, it is known that the error backpropagation (EBP) algorithm that MLP uses in learning has the defect that requires restricts long learning time, and it restricts severely the applications like speaker recognition and speaker adaptation requiring real time processing. Because the learning data for pattern recognition contain high redundancy, in order to increase the learning speed it is very effective to use the online-based learning methods, which update the weight vector of the MLP by the pattern. A typical online EBP algorithm applies the fixed learning rate for each update of the weight vector. Though a large amount of speedup with the online EBP can be obtained by choosing the appropriate fixed rate, firing the rate leads to the problem that the algorithm cannot respond effectively to different learning phases as the phases change and the number of patterns contributing to learning decreases. To solve this problem, this paper proposes a Changing rate and Omitting patterns in Instant Learning (COIL) method to apply the variable rate and the only patterns necessary to the learning phase when the phases come to change. In this paper, experimentations are conducted for speaker verification and speech recognition, and results are presented to verify the performance of the COIL. 다층신경망 (MLP: multilayer perceptron)은 다른 패턴인식 방법에 비해 여러 가지 훌륭한 특성을 가지고 있어 음성인식 및 화자인식 영역에서 폭넓게 사용되고 있다. 그러나 다층신경망의 학습에 일반적으로 사용되는 오류역전파 (EBP: error backpropagation) 알고리즘은 학습시간이 비교적 오래 걸린다는 단점이 있으며, 이는 화자인식이나 화자적응과 같이 실시간 처리를 요구하는 응용에서 상당한 제약으로 작용한다. 패턴인식에 사용되는 학습데이터는 풍부한 중복특성을 내포하고 있으므로 패턴마다 다층신경망의 내부변수를 갱신하는 온라인 계열의 학습방식이 속도의 향상에 상당한 효과가 있다. 일반적인 온라인 오류역전파 알고리즘에서는 가중치 갱신 시 고정된 학습률을 적용한다. 고정 학습률을 적절히 선택함으로써 패턴인식 응용에서 상당한 속도개선을 얻을 수 있지만, 학습률이 고정된 상태에서는 학습이 진행됨에 따라 학습에 기여하는 패턴영역이 달라지는 현상에 효과적으로 대응하지 못하는 문제가 있다. 이 문제에 대해 본 논문에서는 패턴의 기여도에 따라 가변 하는 학습률과 학습에 기여하는 패턴만을 학습에 반영하는 패턴별 가변 학습률 및 학습생략 (COIL: Changing rate and Omitting patterns in Instant Learning)방법을 제안한다. 제안한 COIL의 성능을 입증하기 위해 화자증명과 음성인식을 실험하고 그 결과를 제시한다.

Neural Network Learning Method using Weight Mirroring and Direct Feedback Error

이소하(Soha Lee),양희성(Heesung Yang),박혜영(Hyeyoung Park) Korean Institute of Information Scientists and Eng 2024 정보과학회논문지 Vol.51 No.5

오류 역전파 알고리즘은 신경망의 핵심적인 학습 알고리즘으로 최근에도 다양한 딥러닝 모델에서 사용되고 있다. 그러나 오류 역전파 학습에서 상위층 오차 신호가 하위층으로 순차적으로 전달되면서 상위층의 가중치 정보가 하위층 가중치 업데이트에 사용되는 방식은 생물학적 타당성의 결여와 계산 효율성 저하의 문제가 지적되어왔다. 이러한 문제들을 개선하기 위하여 역방향 가중치를 별도로 사용하는 학습방법론들이 제안되었으나 아직 초기 연구에 머물고 있으며 다양한 관점에서의 분석이 필요하다. 본 논문에서는 상위층의 오차를 하위층으로 직접 투사하는 직접 피드백 정렬 방법과 별도의 역방향 가중치를 업데이트하는 단계를 가지는 가중치 미러 방법을 결합하여 새로운 학습 방법을 제안한다. 제안하는 방법은 기존의 두 알고리즘이 가지던 한계를 극복하여 생물학적으로 타당하며 효율적인 병렬 학습이 가능한 가중치 업데이트 방법을 구현한다. 여러 벤치마크 데이터에 대한 실험을 통하여 제안하는 방법의 가능성을 확인하였다. Error backpropagation algorithm is a core learning algorithm of neural networks and, until recently, has been used in various deep learning models. However, the weight update rule of error backpropagation, in which the error signal of the upper layer is sequentially transmitted to the lower layer and the weight values of the upper layer that are used to update the lower layer weights, has a problem of biological implausibility and computational inefficiency. To address these issues, learning methods using separate backward weights have been proposed, but they are still at an early stage and require further analysis and improvement from various perspectives. In this paper, we proposed a new learning method by combining the direct feedback alignment method, which directly projects the errors of the last layer into each hidden layer, and a weight mirror method with a separate step for updating backward weights. The proposed method overcomes the limitations of learning methods to implement a weight update method that is biologically plausible and allows for more efficient parallel learning. We confirmed the potential of the proposed method through experiments on various benchmark datasets.

인공신경망을 이용한 터널구간의 암반분류 예측

한명식,양인재,김광명,Han, Myung-Sik,Yang, In-Jae,Kim, Kwang-Myung 한국터널지하공간학회 2002 터널기술 Vol.4 No.4

터널을 설계함에 있어서 굴착방법이나 지보패턴을 결정할 때 어려움을 겪는 주된 요인은 현지 지반에 작용하는 응력조건 및 암반상태를 정확히 파악하는데 한계가 있기 때문이다. 현장 장비의 제약, 터널을 굴착 위치까지 접근성이 난이함 등의 기술적인 제약뿐만 아니라 최근에는 민원이나 각종 인허가 등으로 더욱 많은 제약요건이 존재한다. 그럼에도 불구하고 최근들어 대안설계나 턴키설계를 통하여 직접적인 시추에 의존하지 않더라도 미지의 산악터널구간에 대한 지반정보를 획득할 수 있는 고급화된 물리탐사기술이 눈부시게 발전하는 추세이며 이를 통하여 터널굴착구간의 암반에 대한 직 간접적인 지반정보를 입수할 수 있다. 인공신경망 (ANN)의 장점은 이러한 적은 양의 지반정보와 생물학적인 로직화 과정을 통하여 입력변수에 대한 보다 신뢰성있는 결과를 제공하여 준다는 것이다. 본 연구에서는 미지의 터널굴착구간에 대한 예비 지반정보를 입력항목으로 하여 인공신경망의 오류역전파 학습알고리즘기법에 의하여 학습된 패턴을 가지고 미지의 터널굴착구간에 대한 예비 암반분류 (RMR)를 수행하는데 그 목적을 두었다. 이를 위하여 연장 4km에 달하는 ${\triangle}{\triangle}$터널현장에 대한 인공신경망 모형적용시 입력자료에 대한 적정성을 사전 평가하였고, 그 이후에 물리탐사자료를 입력변수로 활용하여 미지의 터널구간에 대한 RMR을 예측하였다. 그 결과 자료의 일치성이나 예측 RMR에 대한 신뢰도가 높은 것으로 나타났으며, 향후에는 학습효과를 높이기 위한 입력변수의 민감도 분석 (sensitivity analysis)수행 및 모델과정에서 노출된 몇가지 문제점 보완등을 통하여 설계에 적극적으로 활용하고자 한다. Most of the problems in dealing with the tunnel construction are the uncertainties and complexities of the stress conditions and rock strengths in ahead of the tunnel excavation. The limitations on the investigation technology, inaccessibility of borehole test in mountain area and public hatred also restrict our knowledge on the geologic conditions on the mountainous tunneling area. Nevertheless an extensive and superior geophysical exploration data is possibly acquired deep within the mountain area, with up to the tunnel locations in the case of alternative design or turn-key base projects. An appealing claim in the use of artificial neural networks (ANN) is that they give a more trustworthy results on our data based on identifying relevant input variables such as a little geotechnical information and biological learning principles. In this study, error back-propagation algorithm that is one of the teaching techniques of ANN is applied to presupposition on Rock Mass Ratings (RMR) for unknown tunnel area. In order to verify the applicability of this model, a 4km railway tunnel's field data are verified and used as input parameters for the prediction of RMR, with the learned pattern by error back propagation logics. ANN is one of basic methods in solving the geotechnical uncertainties and helpful in solving the problems with data consistency, but needs some modification on the technical problems and we hope our study to be developed in the future design work.

신경회로망의 오류역전파 알고리즘을 이용한 오이 인식

민병로(Byeong-Ro Min),이대원(Dae-Weon Lee) (사)한국생물환경조절학회 2011 생물환경조절학회지 Vol.20 No.4

정확한 오이의 형상 및 위치를 인식하기 위하여 형상인식 알고리즘에 대한 연구를 수행하였다. 실제 영상에서 오이의 형상과 위치를 판정할 수 있도록 알고리즘을 개발한 결과, 다음과 같은 결론을 얻었다. 오이의 특징형상 검출은 15 × 15 간격으로 자동검출 되도록 처리하였다. 오이로 인식된 출력패턴 중에서 오검출된 출력패턴의 비율은 0.1~4.2%로 나타났다. 오류역전파 알고리즘은 영상크기를 445 × 363, 501 × 391, 300 × 421, 450 × 271, 297 × 421의 크기에 따라 출력패턴을 얻은 결과 영상의 크기에 따른 검출 값의 변화는 없는 것으로 나타났다. 학습패턴 수가 25개로 증가하면 영상에서 다른 패턴을 검출하는 비율이 16.02%로 나타났다. 또한 학습패턴이 2개인 경우 40개의 영상에서 8개의 오이를 검출하지 못하였다. 학습패턴의 수가 7~9개인 경우 오이의 검출이 가장 좋은 것으로 나타났다. We carried out shape recognition. We found out cucumber’s feature shape by means of neural network and back propagation algorithm. We developed an algorithm which finds object position and shape in real image and we gained following conclusion as a result. It was processed for feature shape extraction of cucumber to detect automatic. The output pattern rates of the miss-detected objects was 0.1~4.2% in the output pattern which was recognized as cucumber. We were gained output pattern according to image resolution 445 × 363, 501 × 391, 450 × 271, 297 × 421. It was appeared that no change was detected. When learning pattern was increased to 25, miss-detection ratio was 16.02%, and when learning pattern had 2 pattern, it didn’t detect 8 cucumber in 40 images.

인공신경망을 이용한 터널구간의 암반분류 예측

한명식,양인재,김광명 사단법인 한국터널지하공간학회 2002 한국터널지하공간학회논문집 Vol.4 No.4

Most of the problems in dealing with the tunnel construction are the uncertainties and complexities of the stress conditions and rock strengths in ahead of the tunnel excavation. The limitations on the investigation technology, inaccessibility of borehole test in mountain area and public hatred also restrict our knowledge on the geologic conditions on the mountainous tunneling area. Nevertheless an extensive and superior geophysical exploration data is possibly acquired deep within the mountain area, with up to the tunnel locations in the case of alternative design or turn-key base projects. An appealing claim in the use of artificial neural networks (ANN) is that they give a more trustworthy results on our data based on identifying relevant input variables such as a little geotechnical information and biological learning principles. In this study, error back-propagation algorithm that is one of the teaching techniques of ANN is applied to presupposition on Rock Mass Ratings (RMR) for unknown tunnel area. In order to verify the applicability of this model, a 4㎞ railway tunnel's field data are verified and used as input parameters for the prediction of RMR, with the learned pattern by error back propagation logics. ANN is one of basic methods in solving the geotechnical uncertainties and helpful in solving the problems with data consistency, but needs some modification on the technical problems and we hope our study to be developed in the future design work. 터널을 설계함에 있어서 굴착방법이나 지보패턴을 결정할 때 어려움을 겪는 주된 요인은 현지 지반에 작용하는 응력조건 및 암반상태를 정확히 파악하는데 한계가 있기 때문이다. 현장 장비의 제약, 터널을 굴착 위치까지 접근성이 난이함 등의 기술적인 제약뿐만 아니라 최근에는 민원이나 각종 인허가 등으로 더욱 많은 제약요건이 존재한다. 그럼에도 불구하고 최근들어 대안설계나 턴키설계를 통하여 직접적인 시추에 의존하지 않더라도 미지의 산악터널구간에 대한 지반정보를 획득할 수 있는 고급화된 물리탐사기술이 눈부시게 발전하는 추세이며 이를 통하여 터널굴착구간의 암반에 대한 직․간접적인 지반정보를 입수할 수 있다. 인공신경망 (ANN)의 장점은 이러한 적은 양의 지반정보와 생물학적인 로직화 과정을 통하여 입력변수에 대한 보다 신뢰성있는 결과를 제공하여 준다는 것이다. 본 연구에서는 미지의 터널굴착구간에 대한 예비 지반정보를 입력항목으로 하여 인공신경망의 오류역전파 학습알고리즘기법에 의하여 학습된 패턴을 가지고 미지의 터널굴착구간에 대한 예비 암반분류 (RMR)를 수행하는데 그 목적을 두었다. 이를 위하여 연장 4㎞에 달하는 △△터널현장에 대한 인공신경망 모형적용시 입력자료에 대한 적정성을 사전 평가하였고, 그 이후에 물리탐사자료를 입력변수로 활용하여 미지의 터널구간에 대한 RMR을 예측하였다. 그 결과 자료의 일치성이나 예측 RMR에 대한 신뢰도가 높은 것으로 나타났으며, 향후에는 학습효과를 높이기 위한 입력변수의 민감도 분석 (sensitivity analysis)수행 및 모델과정에서 노출된 몇가지 문제점 보완등을 통하여 설계에 적극적으로 활용하고자 한다.

인공신경망을 이용한 연약지반의 지반설계정수 예측 (Prediction of Various Properties of Soft Ground Soils using Artificial Neural Network)

김영수(Kim Young Su),정우섭(Jeong Woo Seob),정환철(Jeonge Hwan Chul),임안식(Im An Sik) 대한토목학회 2006 대한토목학회논문집 C Vol.26 No.2

This study performed field and laboratory tests for poor subsoils taken in six regions of the country and determined undrain shear strength. S<SUB>u</SUB> values and preconsolidation pressure are predicted using Back Propagation neural network (BPNN) and the application of BPNN is verified. The result of BPNN shows that correlation coefficient between test and neural network result is over 0.9, which means high correlativity. Especially the neural network uses only 6 parameters such as natural water content, void ratio, specific gravity, rate of passing 200th sieve, liquid limits and plasticity index among various affecting factors to estimate value and the correlation coefficent is 0.93. The conclusions obtained in this paper are from the tests performed for poor subsoils taken in the several regions of the country. If there were more test results, the prediction and influence of various soil properties could be effectively performed by neural network. 연약지반의 설계정수로 사용되는 비배수전단강도 및 선행압밀하중의 예측을 위해 전국적으로 산재해 있는 6개의 연약지반 대상구역의 실험결과를 이용하여 역전파학습알고리즘을 통해 학습 및 예측을 실시하였다. 실험결과치와 신경망학습의 결과치는 상관계수 0.9이상의 값을 나타냄으로서 높은 상관성를 나타내었으며 자연함수비, 간극비, 비중, 세립토의 함유율은 상관성을 높이는데 상당한 기여를 하는 것으로 나타났다. 본 연구를 통해 연약지반개량공법설계시 충분한 양질의 자료만 확보할 수 있다면 다양한 지반의 물성치를 인공신경망을 통해 효율적으로 예측할 수 있다는 것을 확인하였다.

블록 분류와 MLP를 이용한 블록 부호화 영상에서의 적응적 블록화 현상 제거

권기구,김병주,이석환,이종원,권성근,이건일,Kwon, Kee-Koo,Kim, Byung-Ju,Lee, Suk-Hwan,Lee, Jong-Won,Kwon, Seong-Geun,Lee, Kuhn-Il 대한전자공학회 2002 電子工學會論文誌-SP (Signal processing) Vol.39 No.4

본 논문에서는 블록 기반으로 부호화된 영상에 대하여 블록 분류 (block classification)와 다층 퍼셉트론 (multi-layer perceptron, MLP) 모델을 이용한 적응적 블록화 현상 제거 알고리듬을 제안하였다. 제안한 방법에서는 각 블록을 DCT 계수의 분포 특성에 따라 네 개의 클래스로 분류한 다음, 인접한 두 블록의 클래스 정보에 따라 수평 및 수직 블록 경계 영역에 대하여 적응적으로 신경망 필터를 적용한다. 즉, 평탄한 영역, 수평 방향 에지 영역, 수직 방향 에지 영역, 및 복잡한 영역에 대하여 각각 서로 다른 신경망 필터를 수평 및 수직 방향으로 적용하여 블록화 현상을 제거한다. 모의 실험 결과를 통하여 제안한 방법이 객관적 화질 및 주관적 화질 측면에서 기존의 방법보다 그 성능이 우수함을 확인하였다. In this paper, a novel algorithm is proposed to reduce the blocking artifacts of block-based coded images by using block classification and MLP. In the proposed algorithm, we classify the block into four classes based on a characteristic of DCT coefficients. And then, according to the class information of neighborhood block, adaptive neural network filter is performed in horizontal and vertical block boundary. That is, for smooth region, horizontal edge region, vertical edge region, and complex region, we use a different two-layer neural network filter to remove blocking artifacts. Experimental results show that the proposed algorithm gives better results than the conventional algorithms both subjectively and objectively.

오류 역전파(Error Backpropagation) 학습 알고리즘을 이용한 숫자 인식에 관한 연구

김진숙 동의공업대학 2001 論文集 Vol.27 No.1

This paper proposes and implements a multilayered neural network system which can learn and recognize the bitmap number images. To learn the bimap number, the system uses the learning algorithm, that is "Error Backpropagation Learning Algorithm" which is based on the delta rule. For the design of the system, we must consider not only the structure of the neural network, but also the initial weight value, learning rate and bias. According to the design concept, the system is implemented and then tested with the various number formats. The system can recognize test patterns 100% which are input patterns in learning phase. But with the other format, the system has the 60∼70% recognition.

고안전도 차량을 위한 자율주행 시스템

신영근,전현치,최광모,박상성,장동식 한국콘텐츠학회 2007 한국콘텐츠학회논문지 Vol.7 No.2

This paper is concerned with development of system to detect an obstructive vehicle which is an essential prerequisite for autonomous driving system of ASV(Advanced Safety Vehicle). First, the boundary of driving lanes is detected by a Kalman filter through the front image obtained by a CCD camera. Then, lanes are recognized by regression analysis of the detected boundary. Second, parameters of road curvature within the detected lane are used as input in error-BP algorithm to recognize the driving direction. Finally, an obstructive vehicle that enters into the detection region can be detected through setting detection fields of the front and lateral side. The experimental results showed that the proposed system has high accuracy more than 90% in the recognition rate of driving direction and the detection rate of an obstructive vehicle. 본 연구는 고안전도 차량의 자율주행을 위해 필수적인 장애물 차량 탐지를 위한 시스템 개발에 관한 것이다. 먼저 칼만필터를 이용해 차량에 부착된 CCD 카메라에 의해서 획득한 전방 영상으로부터 주행차선의 경계를 탐지한다. 그리고 탐지된 경계의 회귀분석을 통해 차선을 인식한다. 다음으로 주행 방향을 인식하기 위해 탐지된 차선내의 도로 굴곡 파라미터를 오류 역전파 알고리즘의 입력값으로 사용한다. 마지막으로 전방과 측방에 탐지영역을 설정함으로써 탐지영역으로 들어오는 장애물 차량을 탐지할 수 있다. 제안한 방법으로 실험한 결과 주행방향 인식과 장애물 차량의 인식 모두 90% 이상의 높은 정확도를 보였다.