다층퍼셉트론의 계층적 구조를 통한 성능향상

국문 초록 (Abstract)

다층퍼셉트론이 충분한 중간층 노드 수를 지니면 임의의 함수를 근사시킬 수 있다는 이론적 연구결과에 기초하여, 다층퍼셉트론을 실제 문제에 응용하는 경우에 일반적으로 입력층, 중간층, 출력층으로 이루어진 3층 구조의 다층퍼셉트론을 사용한다. 그렇지만, 이러한 구조의 다층퍼셉트론은 입력벡터가 여러 가지 성질로 이루어진 복잡한 문제의 경우 좋은 일반화 성능을 보이지 않는다. 이 논문에서는 입력 벡터가 여러 가지 정보를 지닌 데이터들로 구성되어 있는 문제인 경우에 계층적 구조를 지닌 다층퍼셉트론의 구성으로 성능을 향상시키는 방법을 제안한다. 즉, 입력데이터를 섭-벡터로 구분한 후 섭-벡터별로 다층퍼셉트론을 적용시키며, 이 섭-벡터별로 적용된 하위층 다층퍼셉트론으로부터 인식 결과를 받아서 최종 결정을 하는 상위 다층퍼셉트론을 구현한다. 제안한 방법의 효용성은 단백질의 구조를 예측하는 문제를 통하여 확인한다.

다국어 초록 (Multilingual Abstract)

Based on the theoretical results that multi-layer feedforward neural networks with enough hidden nodes are universal approximators, we usually use three-layer MLP's(multi-layer perceptrons) consisted of input, hidden, and output layers for many application problems. However, this conventional three-layer architecture of MLP shows poor generalization performance in some applications, which are complex with various features in an input vector. For the performance improvement, this paper proposes a hierarchical architecture of MLP especially when each part of inputs has a special information. That is, one input vector is divided into sub-vectors and each sub-vector is presented to a separate MLP. These lower-level MLPs are connected to a higher-level MLP, which has a role to do a final decision. The proposed method is verified through the simulation of protein disorder prediction problem.

목차 (Table of Contents)

• 요약
• Abstract
• Ⅰ. 서론
• Ⅱ. 일반적인 구조의 MLP와 학습방법
• Ⅲ. 계층적 구조를 지닌 MLP
• Ⅳ. 시뮬레이션
• Ⅴ. 결론
• 참고문헌
• 저자소개

참고문헌 (Reference)

1 오상훈, "다층퍼셉트론의 출력 노드 수 증가에 의한 성능 향상" 한국콘텐츠학회 9 (9): 123-130, 2009

2 오상훈, "다층퍼셉트론에 의한 불균형 데이터의 학습 방법" 한국콘텐츠학회 9 (9): 141-148, 2009

3 Z.-H. Zhou, "Training cost-sensitive neural networks with methods addressing the class imbalance problem" 18 (18): 63-77, 2006

4 A. S. Weigend, "Time Series Prediction: Forecasting the future and understanding the past" Addison-Wesley Publishing Co 1994

5 S.-H. Oh, "Sensitivity analysis of single hidden-layer neural networks with threshold functions" 6 : 1005-1007, 1995

6 J. Y. Choi, "Sensitivity analysis of multilayer perceptron with differentiable activation functions" 3 : 101-107, 1992

7 M. Stevenson, "Sensitiviety of feedforward neural networks to weight errors" 1 : 71-90, 1990

8 G. E. Hinton, "Reducing the dimensionality of data with neural networks" 313 : 504-507, 2006

9 R. P. Lippmann, "Pattern classification using neural networks"

10 D. E. Rumelhart, "Parallel Distributed Processing: Explorations in the Microstructures of Cognition" The MIT Press 1986

11 Sang-Hoon Oh, "On the Design of Multilayer perceptrons for Pattern Classifications" 59-62, 2009

12 K. Hornik, "Multilayer feedforward networks are universal approximators" 2 : 359-366, 1989

13 Y. Lee, "Input noise immunity of multilayer perceptrons" 16 : 35-43, 1994

14 S.-H. Oh, "Improving the error back-propagation algorithm with a modified error function" 8 : 799-803, 1997

15 A. van Ooyen, "Improving the convergence of the back-propagation algorithm" 5 : 465-471, 1992

16 Y.-M. Huang, "Evaluation of neural networks and data mining methods on a credit assessment task for class imbalance problem" 7 : 720-747, 2006

17 Z. R. Yang, "Bio-basis function neural netwrok for prediction of protease cleavage sites in proteins" 16 : 263-274, 2005

18 D. Simard, "Best practices for convolutional neural networks" 958-962, 2003

19 Y. Xie, "Analysis of the effects of quantization in multilayer neural networks using a statistical model" 3 : 334-338, 1992

20 Y. Lee, "An analysis of premature saturation in back-propagation learning" 6 : 719-728, 1993

21 J. B. Hampshire II, "A novel objective function for improved phoneme recognition using time-delay neural networks" 1 : 216-228, 1990

22 A. H. Waibel, "A novel objective function for improved phoneme recognition using time-delay neural networks" 1 : 216-228, 1990

23 F. J. Owens, "A multi-output-layer perceptron" 4 : 10-20, 1996