다층퍼셉트론의 계층적 구조를 통한 성능향상

오상훈(Sang-Hoon Oh) 한국콘텐츠학회 2010 한국콘텐츠학회논문지 Vol.10 No.6

다층퍼셉트론이 충분한 중간층 노드 수를 지니면 임의의 함수를 근사시킬 수 있다는 이론적 연구결과에 기초하여, 다층퍼셉트론을 실제 문제에 응용하는 경우에 일반적으로 입력층, 중간층, 출력층으로 이루어진 3층 구조의 다층퍼셉트론을 사용한다. 그렇지만, 이러한 구조의 다층퍼셉트론은 입력벡터가 여러 가지 성질로 이루어진 복잡한 문제의 경우 좋은 일반화 성능을 보이지 않는다. 이 논문에서는 입력 벡터가 여러 가지 정보를 지닌 데이터들로 구성되어 있는 문제인 경우에 계층적 구조를 지닌 다층퍼셉트론의 구성으로 성능을 향상시키는 방법을 제안한다. 즉, 입력데이터를 섭-벡터로 구분한 후 섭-벡터별로 다층퍼셉트론을 적용시키며, 이 섭-벡터별로 적용된 하위층 다층퍼셉트론으로부터 인식 결과를 받아서 최종 결정을 하는 상위 다층퍼셉트론을 구현한다. 제안한 방법의 효용성은 단백질의 구조를 예측하는 문제를 통하여 확인한다. Based on the theoretical results that multi-layer feedforward neural networks with enough hidden nodes are universal approximators, we usually use three-layer MLP's(multi-layer perceptrons) consisted of input, hidden, and output layers for many application problems. However, this conventional three-layer architecture of MLP shows poor generalization performance in some applications, which are complex with various features in an input vector. For the performance improvement, this paper proposes a hierarchical architecture of MLP especially when each part of inputs has a special information. That is, one input vector is divided into sub-vectors and each sub-vector is presented to a separate MLP. These lower-level MLPs are connected to a higher-level MLP, which has a role to do a final decision. The proposed method is verified through the simulation of protein disorder prediction problem.

패턴인식 문제에 대한 다층퍼셉트론의 설계 방법

오상훈(Sang-Hoon Oh) 한국콘텐츠학회 2010 한국콘텐츠학회논문지 Vol.10 No.5

다층퍼셉트론 혹은 전방향 신경회로망이 임의의 함수를 근사시킬 수 있다는 이론적 연구결과에 기초하여 많은 분야에 응용되고 있다. 이 다층퍼셉트론을 실제 문제에 응용하는 경우에 여러 가지 파라미터 혹은 학습 방법 등을 결정하여야 한다. 이 논문에서는 패턴인식 문제에 다층퍼셉트론을 적용하는 경우에 실제 결정하여야 할 파라미터의 결정방법과 학습 방법에 대하여 논의한다. 이 논의는 각층의 노드 수 결정 방법, 다층 퍼셉트론의 가중치 초기화, 그리고, 성능향상을 위하여 학습에 사용되는 여러 가지 오차 함수, 데이터 불균형 문제의 학습, 깊은 구조 등을 다루었다. Multilayer perceptrons(MLPs) or feed-forward neural networks are widely applied to many areas based on their function approximation capabilities. When implementing MLPs for application problems, we should determine various parameters and training methods. In this paper, we discuss the design of MLPs especially for pattern classification problems. This discussion includes how to decide the number of nodes in each layer, how to initialize the weights of MLPs, how to train MLPs among various error functions, the imbalanced data problems, and deep architecture.

스왑포인트 결정요소를 이용한 머신러닝 기반의 원/달러 환율 예측 모형에 관한 연구

김영철(Young Churl Kim),이현준(Hyun Jun Lee),김지우(Ji Woo Kim),안재준(Jae Joon Ahn) 한국데이터정보과학회 2018 한국데이터정보과학회지 Vol.29 No.1

경제의 개방화가 이루어지고 국가 간 교류가 더욱 증가하고 있는 상황 속에서, 국제간의 결제 및 금융거래의 기본이 되는 달러화는 대표적 기축통화로써 영향력이 증가하고 있다. 이러한 이유로 정확한 환율 예측에 대한 필요성은 금융시장에서 꾸준히 중요한 이슈로 다루어 지고 있다. 본 연구에서는 환율 및 금리와 관련된 데이터를 입력 값으로 다는 다층퍼셉트론 모형을 통해 원화와 달러화 사이의 환율을 예측한다. 환율 예측의 입력 변수는 외환시장의 스왑포인트 결정요소인 현물환율, 원화금리, 달러화금리, 달러화조달 리스크 프리미엄으로 설정하였으며, 다층퍼셉트론 모형의 은닉층과 노드의 개수를 변화시키면서 실험을 진행하여 환율예측에 가장 최적화된 구조를 탐색한다. 예측의 성과는 실제 환율과의 차이를 통해 측정하며, 정규분포에 기초한 랜덤워크 과정 및 선물환율 결정모형과 비교하여 본 모형의 우수성을 확인한다. 본 연구의 실험결과를 통해 대표적인 인공신경망 모형인 다층퍼셉트론 방법론의 환율 예측력을 확인했으며, 향후 시장 참여자들이 외환 투자에 대한 의사를 결정하고 거래에 참여하는데 도움을 줄 것으로 기대한다. With the globalization of the economy and the increasing interconnection of countries, the influence of the dollar, which is the main key currency of international settlement and financial transactions, is increasing, and the need for precise exchange rate prediction is emerging. In this study, the exchange rate between the korean won and the dollar is predicted by using multi layer perceptron model. The input variables are the spot exchange rate, the korean won interest rate, the dollar interest rate, and the dollar procurement risk premium, which are the determinants of the swap point. Empirical study is carried out by varying the number of hidden layers and nodes in the model to find the optimized model structure for USD/KRW exchange rate prediction. The performance of the prediction is measured by the difference from the actual exchange rate, and the superiority of the suggested model is verified by comparing the performance with the random walk process and forward exchange rate. The results of this study confirm the exchange rate forecasting ability of the multi layer perceptron, which is a representative artificial neural network. Also, the market participants will be supported for the foreign exchange investment by using proposed model in this study.

다층퍼셉트론의 출력 노드 수 증가에 의한 성능 향상

오상훈(Sang-Hoon Oh) 한국콘텐츠학회 2009 한국콘텐츠학회논문지 Vol.9 No.1

일반적으로 다층퍼셉트론을 패턴인식 문제에 적용할 경우 클래스 당 하나의 출력 노드를 배정하고, 이 출력 노드의 인덱스가 입력 패턴의 클래스를 뜻하도록 한다. 이 논문에서는 이와 달리 다층퍼셉트론의 성능 향상을 위하여 클래스 당 출력노드 수를 증가시키는 방법을 제안한다. 두 개의 클래스 문제를 대상으로 클래스 발생확률이 동일하고 각 클래스 내에서 출력노드가 균일분포를 지닌다는 가정 하에, 이 방법의 효용성을 확률론적인 유도를 통하여 증명하였다. 그리고, 50개의 고립단어 인식의 시뮬레이션으로 출력노드를 증가 시킬 경우 성능이 향상됨을 확인하였다. When we apply MLPs(multilayer perceptrons) to pattern classification problems, we generally allocate one output node for each class and the index of output node denotes a class. On the contrary, in this paper, we propose to increase the number of output nodes per each class for performance improvement of MLPs. For theoretical backgrounds, we derive the misclassification probability in two class problems with additional outputs under the assumption that the two classes have equal probability and outputs are uniformly distributed in each class. Also, simulations of 50 isolated-word recognition show the effectiveness of our method.

다중퍼셉트론을 이용한 이차원 이징 모형의 임계점 계산

김승연,임재형,곽우섭 한국물리학회 2019 새물리 Vol.69 No.6

The ordered states and the disordered states of the two-dimensional Ising model are studied by using the gradient descent method, which minimizes the error function in the multi-perceptron. The data obtained from simulations using the well-learned multi-perceptron and those obtained from simulations using the Wang-landau sampling method are compared with data obtained using the finite size scaling method. The critical temperatures, TcMP(1) = 2:26357 0:005024 and TcWL(1) = 2:262240:00222144, are obtained from multi-perceptron and from the Wang-Landau sampling method, respectively. These results show that the well-learned multi-perceptron can properly estimate the critical temperature of the Ising model. 이차원 사각격자에서의 이징모형 (Ising model)의 질서적인상태와 무질서적인상태를 길이차원 L = 4; 6; 8; 10; 12 에서 다층 퍼셉트론에 오차함수를 최소화 하는 경사 하강법 방법으로 학습시켰다. 잘 학습된다층 퍼셉트론(Multi-Perceptron)에 몬테칼로 전산시늉을 이용하여 만든 이징모형 (Ising model) 데이터를 입력하였을 때 나오는 시그모이드 함수 결과 값과 왕-란다우 표본잡기(Wang-Landau sampling)를사용한 몬테칼로 전산시늉 데이터를 이용하여 만든 이징모델 데이터의 자화율의 임계온도를 유한크기 눈금잡기 방법을 이용해 비교해 보았을 때 각각 계산된 자화율의 임계온도는 TcMP(1) = 2:263570:005024 과 TcWL(1) = 2:26224 0:00222144 로 나타났다. 이에 우리는 잘 학습된 다층 퍼셉트론이 만들어낸자화율에 대한 결과 값을 가지고 이를 이용한 유한크기 눈금잡기 방법을 통하여 임계온도를 적절히 유추할 수 있음을 알게 되었다.

다층 퍼셉트론에서의 빠른 화자 적응을 위한 선택적 주의 학습

김인철,진성일 한국음향학회 2001 韓國音響學會誌 Vol.20 No.4

In this paper, selectively attentive learning method has been proposed to improve the learning speed of multilayer Perceptron based on the error backpropagation algorithm. Three attention criterions are introduced to effectively determine which set of input patterns is or which portion of network is attended to for effective learning. Such criterions are based on the mean square error function of the output layer and class-selective relevance of the hidden nodes. The acceleration of learning time is achieved by lowering the computational cost per iteration. Effectiveness of the proposed method is demonstrated in a speaker adaptation task of isolated word recognition system. The experimental results show that the proposed selective attention technique can reduce the learning time more than 60% in an average sense. 본 논문에서는 에러 역전파 알고리듬에 기반한 다층 퍼셉트론의 학습 속도를 개선하기 위해 선택적 주의 학습방식을 제안한다. 제안된 방식은 학습 과정에서 세 가지 선택적 주의 기준을 적용하여 학습 데이터베이스 내의 일부 데이터만을 입력 패턴으로 사용하거나 주어진 입력 패턴에 대해 신경회로망내의 특정 영역만 선택적으로 학습이 이루어지도록 한다. 이러한 선택적 주의 기준은 다층 퍼셉트론의 출력층에서 계산된 평균 자승 에러와 은닉층의 각 노드에서 획득된 클래스 의존적인 적합도(relevance)를 이용하여 설정된다. 학습 속도의 개선은 학습 반복 횟수 당 계산량을 줄임으로써 이루어진다. 본 논문에서는 고립 단어 인식시스템에서의 화자 적응 문제에 대해 제안한 선택적 주의 학습방법을 적용하여 그 유효성을 알아보았다. 실험 결과로부터 제안한 선택적 주의 기법이 학습 속도를 평균 60%이상 개선시킬 수 있음을 확인하였다

다층 퍼셉트론 기반 흑백 항공사진 컬러화

김혜진(Kim, Hye Jin),어양담(Eo, Yang Dam),서대교(Seo, Dae Kyo),백근우(Paik, Geun Woo) 한국측량학회 2019 한국측량학회 학술대회자료집 Vol.2019 No.4

본 연구에서는 딥러닝 기법 중 다층 퍼셉트론을 활용하여 흑백 항공사진을 자동으로 채색한다. 제안한 방법은 입력 영상과 시기가 다른 동일 지역의 컬러 항공사진 참조하여 미 변화 지역을 추출하고 다층 퍼셉트론을 통해 색 공간정보를 학습시켜 컬러를 예측한다. 사실적인 채색을 위하여 색 공간정보뿐만 아니라 가버 필터를 활용한다. 실험 결과, 좋은 성능의 흑백사진의 컬러 복원이 가능함을 확인하였다.

다층퍼셉트론의 잡음 강건성 분석 및 향상 방법

오상훈(Sang-Hoon Oh) 한국콘텐츠학회 2009 한국콘텐츠학회논문지 Vol.9 No.1

이 논문에서는 다층퍼셉트론(MLP:Multilayer Perceptron)에서 입력에 잡음이 섞인 경우 출력노드의 확률밀도 함수를 유도하고, 이의 적분으로 잡음에 의하여 패턴이 오인식될 확률을 유도하였다. 그리고, 이를 향상시키는 선형적 방법을 제안하였다. 즉, 독립성분분석(ICA: independent component analysis)과 주성분분석(PCA: principle component analysis)를 적용하여, 이들이 지닌 잡음 처리 효과를 SNR(Signal-to-Noise Ratio) 관점에서 분석하였다. 그리고 이들이 잡음을 처리한 후 MLP에 입력 시 나타나는 잡음 강건성을 필기체 숫자 인식의 시뮬레이션으로 확인하였다. In this paper, we analyse the noise robustness of MLPs(Multilayer perceptrons) through deriving the probability density function(p.d.f.) of output nodes with additive input noises and the misclassification ratio with the integral form of the p.d.f. functions. Also, we propose linear preprocessing methods to improve the noise robustness. As a preprocessing stage of MLPs, we consider ICA(independent component analysis) and PCA(principle component analysis). After analyzing the noise reduction effect using PCA or ICA in the viewpoints of SNR(Singal-to-Noise Ratio), we verify the preprocessing effects through the simulations of handwritten-digit recognition problems.

다층 퍼셉트론의 새로운 두 단계 학습 알고리즘

최형준,이재욱 한국경영과학회 2003 한국경영과학회 학술대회논문집 Vol.- No.1

본 논문에서는 다층 퍼셉트론의 학습을 위한 새로운 두 단계 학습방법을 제안하였다. 첫 번째 단계는 국소최적해로 빨리 수렴하기 위해 Levenberg-Marquardt 알고리즘을 이용한 국소 탐색 단계이다. 두 번째 단계는 첫 번째 단계에서 찾은 국소최적해가 원하는 수준에 미치지 못할 경우 새로운 국소최적해로 벗어나기 위한 선형탐색을 기반의 터널링 단계이다. 이 방법은 연결가중치 공간에서 전역최적해를 빠르게 찾을 수 있는 새로운 학습 방법을 제공한다. 4가지벤치마크 문제에 기존의 다층 퍼셉트론의 학습 알고리즘과 비교 실험을 통해, 제안된 알고리즘이 빠른 수렴 속도와 낮은 오차값을 가짐을 알 수 있었다.

다층퍼셉트론 기법을 이용한 ECMWF 예측자료의 강수예측 정확도 향상

이승수,김가영,윤순조,안현욱 한국수자원학회 2019 한국수자원학회논문집 Vol.52 No.7

Subseasonal-to-Seasonal (S2S) prediction information which have 2 weeks to 2 months lead time are expected to be used through many parts of industry fields, but utilizability is not reached to expectation because of lower predictability than weather forecast and mid- / long-term forecast. In this study, we used multi-layer perceptron (MLP) which is one of machine learning technique that was built for regression training in order to improve predictability of S2S precipitation data at South Korea through post-processing. Hindcast information of ECMWF was used for MLP training and the original data were compared with trained outputs based on dichotomous forecast technique. As a result, Bias score, accuracy, and Critical Success Index (CSI) of trained output were improved on average by 59.7%, 124.3% and 88.5%, respectively. Probability of detection (POD) score was decreased on average by 9.5% and the reason was analyzed that ECMWF’s model excessively predicted precipitation days. In this study, we confirmed that predictability of ECMWF’s S2S information can be improved by post-processing using MLP even the predictability of original data was low. The results of this study can be used to increase the capability of S2S information in water resource and agricultural fields. 2주에서 2개월까지 선행기간을 가지는 계절내-계절(Subseasonal-to-Seasonal, S2S) 예측결과는 산업전반에 걸쳐 다양한 분야에 활용이 가능할 것으로 기대되고 있으나, 일기예보나 중장기 예보대비 낮은 예측성으로 인하여 현재까지 활용성이 매우 낮은 실정이다. 본 연구에서는 기계학습 기법중 비선형회귀 분야에서 좋은 결과를 보여주는 다층퍼셉트론 기법을 이용하여 S2S 예측자료의 후처리를 통한 국내 영역에서의 강수예측성 향상에 관한 연구를 수행하였다. 후처리 모형의 학습을 위한 입력자료로는 ECMWF의 S2S 과거예측(Hindcast) 정보를 이용하였으며 양분예보기법에 기반하여 학습된 다층퍼셉트론 모델을 이용한 후처리 결과와의 비교 분석이 수행되었다. 비교분석 결과 편차도(Bias score)는 평균 59.7% 감소하였고, 정확도(Accuracy)는 124.3% 증가하였으며, 임계성공지수(Critical Success Index)는 88.5% 향상된 것으로 분석되었다. 탐지확률(Probability of detection)의 경우 원자료 대비 평균 9.5% 감소하였으나 이는 ECMWF의 예측모델이 강수의 발생일을 과도하게 예측하였기 때문인 것으로 분석되었다. 본 연구 수행 결과 비록 ECMWF의 S2S 예측자료의 예측성이 낮더라도 후처리를 통해 예측성을 향상 시킬 수 있음을 확인하였으며, 본 연구 결과는 향후 수자원과 농업 분야에서 S2S 자료의 활용성을 높이는데 도움이 될 수 있을 것으로 판단된다.