최적화된 Type-1/Type-2 pRBF 신경회로망 구조 : 비교 해석 및 방법론적 설계 = Optimized Type-1/Type-2 pRBF Neural Networks Architecture : Comparative Analysis & Methodological Design

다국어 초록 (Multilingual Abstract)

In this paper, we proposed Type-1/Type-2 polynomial Radial Basis Function Neural Networks. RBF neural networks based on Interval Type-2 fuzzy set consist of four layers such as Input layer, hidden layer, Karnik and Mendel (KM) layer, and output layer. In the receptive field of hidden layer, Interval Type-2 fuzzy set is used. The characteristic of Interval Type-2 fuzzy has Footprint of Uncertainly (FOU) which denotes a certain level of robustness in the presence of unknown information when compared with the Type-1 fuzzy set.
The prototype of the receptive field is obtained by three kinds of methods such as Min-Max, K-means, FCM algorithm. Also, the values of the standard deviation of input variables are used as distribution of coefficients receptive field. We use the linear polynomial function as connection weight of network. Type-2 fuzzy set needs type-reduction process in order to estimate model output. In KM layer, Karnik and Mendel (KM) algorithm is used for type-reduction. The parameters such as center values of receptive field, constant deviation, and connection weight between hidden layer and output layer are optimized by Conjugate Gradient Method (CGM) and Space Search Evolutionary Algorithm (SSEA). To handle proposed modeling as well as The pattern recognition problems, proposed modeling and pattern recognition methods are applied to modeling dataset (Gas furnace, Automobile Miles per Gallon, and Boston Housing) and pattern classification dataset (Synthetic, Iris, and Pima) and their results are compared with those reported in the previous studies.

국문 초록 (Abstract)

본 연구에서는 Type-1/Type-2 퍼지 집합을 결합한 pRBF 신경회로망을 제안하였다. 제안된 모델은 입력층, 은닉층, KM층, 출력층의 4층으로 구성되어 있다. Type-2 퍼지집합은 은닉층의 활성함수에 적용된다. Type-2 퍼지 집합의 장점은 Footprint Of Uncertainly(FOU)의 영역을 생성하여 주어진 데이터에 외부 외란이 포함되어 있어도 기존의 Type-1 보다 모델의 성능이 안정적으로 나타난다.
본 논문에서 제안한 모델은 Type-2 퍼지 집합을 개념을 은닉층 활성함수에 사용하여 적합도를 [Upper, Lower]값의 구간으로 나타내며, 이를 Karnik and Mendel 알고리즘(KM 알고리즘)을 사용하여 모델의 최종 출력을 계산한다. 은닉층 활성함수의 중심점은 입력 데이터를 균등하게 분할하여 결정하는 min-max 방법과 k-means 및 FCM 같은 클러스터링 방법을 적용하여 결정하는 방법이 있으며, 분포상수는 입력 데이터의 표준편차를 사용하였다. 연결가중치는 단일 상수항에서 확장하여 입력-출력 관계로 표현되는 1차식(linear)으로 사용하였다. 중심점 및 분포상수와 연결가중치는 Back-Propagation(BP)를 사용하였으며, 기존의 경사 하강법(Gradient Desent Method; GDM) 대신 Conjugate Gradient Method(CGM)를 사용하여 학습속도 및 성능을 개선하였다. 또한 BP의 사용이 불가능한 모델에 대해서는 진화 알고리즘의 하나인 공간 탐색 진화 알고리즘(Space Search Evolutionary Algorithm; SSEA)을 사용하여 파라미터를 최적화시켰다.
제안한 모델의 성능평가를 위해서 데이터를 모델링분야와 패턴인식분야로 나누어 실험 하였다. 모델링에 사용된 데이터는 gas furnace, Automobile Miles per Gallon(MPG), Boston Housing 데이터가 있으며, 패턴인식에서는 Synthetic, Iris, Pima와 같은 데이터를 사용하였다.
마지막으로, 제안한 모델과 기존 모델의 성능비교 및 분석을 통해 각각의 모델의 특징을 파악하며, 모델의 최적 설계 방법론을 모색한다.

목차 (Table of Contents)

• Ⅰ. 서론 1
• 1. 연구배경 및 목적 1
• 2. 연구내용 및 방법 2
• Ⅱ. 본론 5
• 1. Type-2 퍼지집합 멤버쉽 함수 5
• 2. Radial Basis Function 신경회로망 7
• 1) 입력층 8
• 2) 은닉층 8
• 3) 출력층 10
• 3. Interval Type-2 pRBF 신경회로망 11
• 1) Interval Type-2 pRBF 신경회로망 구조 11
• (1) 입력층 12
• (2) 은닉층 12
• 가. 활성함수 12
• 나. 연결가중치 14
• 다. Karnik and Mendel(KM) 알고리즘 15
• (3) 출력층 19
• 2) Interval Type-2 pRBF 신경회로망의 구조 19
• (1) 전반부 학습 19
• 가. Min-Max 방법 20
• 나. K-Means 알고리즘 21
• 다. FCM 알고리즘 23
• (2) 후반부 학습 26
• (3) 초기 파라미터 학습 31
• Ⅲ. 실험연구 및 결과고찰 35
• 1. 모델링 실험 37
• 1) gas furnace 37
• 2) Automobile Miles per Gallon 44
• 3) Boston Housing 52
• 2. 패턴분류 실험 59
• 1) Synthetic 59
• 2) Iris 63
• 3) Pima 70
• Ⅳ. 결론 및 향후 연구과제 79
• 1. 결론 79
• 2. 향후 과제 81
• 참고문헌 82
• Abstract 87