Expectation Maximization 학습을 이용한 방사형 기저함수 신경회로망 설계

노석범,오성권 한국지능시스템학회 2020 한국지능시스템학회논문지 Vol.30 No.1

방사형 기저 함수 신경회로망의 모델링 성능은 방사형 기저 함수의 파라미터에 영향을 받는다고 알려져 있다. 방사형기저함수 신경회로망은 다수의 지역모델의 선형 결합 형태로 이해 될 수 있으며, 유사한 출력 특성을 보이는 공간에 지역모델을 분포시킴으로서 전체 모델의 모델링 성능을 개선 할 수 있다. 본 논문에서는 방사형 신경회로망의 성능 개선을위하여 출력 공간에서 Expectation-Maximization 학습에 기반 한 Gaussian Mixture 모델을 적용하여 획득한 부가 정보를이용하여 입력 공간상에서 적절한 위치에 방사형 기저함수를 위치시키기 위하여 Context Fuzzy C-Means clustering 기법을사용한다. 제안된 방사형 기저함수 신경회로망에 대한 설계 방법론의 우수성을 논증하기 위하여 다수의 기계학습 데이터에적용한다.

주성분 분석법과 선형판별 분석법을 이용한 최적화된 방사형 기저 함수 신경회로망 분류기의 설계

김욱동(Wook-Dong Kim),오성권(Sung-Kwun Oh) 한국지능시스템학회 2012 한국지능시스템학회논문지 Vol.22 No.6

본 연구에서는 주성분 분석법 및 선형 판별 분석법을 이용한 다항식 방사형 기저 함수 신경회로망 분류기의 설계 방법론을 소개한다. 주성분 분석법과 선형판별 분석법을 사용하여 주어진 데이터의 정보 손실을 최소화한 특징데이터를 생성하고 이를 다항식 방사형 기저함수 신경회로망의 입력데이터로 사용한다. 방사형 기저 함수 신경회로망의 은닉층은 FCM 클러스터링 알고리즘으로 구성되며 연결가중치는 1차 선형식을 사용하였다. 최적의 분류기 설계를 위해서 최근에 제안된 Artificial Bee Colony(ABC) 최적화 알고리즘을 사용하여 구조 및 파라미터를 동조하였다. ABC 알고리즘을 통해 주성분 분석법과 선형판별 분석법의 고유벡터의 수 및 FCM 클러스터링 알고리즘의 퍼지화 계수등의 파라미터를 동조한다. 제안된 분류기는 대표적인 Machine Learning(ML) 데이터를 사용하여 성능을 평가하며 기존 분류기와 성능을 비교한다. In this paper, we introduce design methodologies of polynomial radial basis function neural network classifier with the aid of Principal Component Analysis(PCA) and Linear Discriminant Analysis(LDA). By minimizing the information loss of given data, Feature data is obtained through preprocessing of PCA and LDA and then this data is used as input data of RBFNNs. The hidden layer of RBFNNs is built up by Fuzzy C-Mean(FCM) clustering algorithm instead of receptive fields and linear polynomial function is used as connection weights between hidden and output layer. In order to design optimized classifier, the structural and parametric values such as the number of eigenvectors of PCA and LDA, and fuzzification coefficient of FCM algorithm are optimized by Artificial Bee Colony(ABC) optimization algorithm. The proposed classifier is applied to some machine learning datasets and its result is compared with some other classifiers.

희소벡터 복원 기법 구축을 위한 방사형 기저 함수망 설계 및 방사형 기저 함수의 비교 연구

박진우,허강열 한국전산유체공학회 2022 한국전산유체공학회지 Vol.27 No.3

Three radial basis functions (RBFs): Gaussian RBF, multiquadric RBF, and inverse multiquadric RBF, are compared for the radial basis function network (RBFN) as sparse reconstruction of a non-intrusive reduced order model (ROM) based on proper orthogonal decomposition (POD). Steady-state temperature distributions of an industrial-scale gas boiler by computational fluid dynamic (CFD) simulations are applied as training dataset for the ROM. The optimal number of training samples and truncated eigenmodes are selected by adaptive sampling and projection error, respectively. Sparse data of 16 sensors located in the inner wall of the boiler was applied as an input for the RBFNs of this study for the consideration of realistic application. Parameter study was performed for the shape factor on each RBF and reconstruction error are analyzed as the performance of each RBFN. The RBFN with Gaussian RBF showed the best predictability upon the optimal shape factor. Gaussian RBF is recommended for RBFN as sparse reconstruction under the premise of prior search for optimal shape factor.

무요소법(RPIM)을 이용한 구조 요소의 응력해석

한상을,양재근,주정식,Han, Sang-Eul,Yang, Jae-Guen,Joo, Jung-Sik 한국전산구조공학회 2007 한국전산구조공학회논문집 Vol.20 No.3

본 연구에서는 구조 요소의 응력해석을 위한 무요소 RPIM(Meshfree Radial Point Interpolation Methods)법을 제시한다. 이를 위하여 먼저 무요소법의 형상함수와 무요소 RPIM법의 정식화 과정 및 프로그래밍을 간략히 한다. 절점보간법은 방사기저함수와 다항기저함수를 포함하고 있고 이 중 다항기저함수는 특이성문제를 극복할 수 있다. 게다가 무요소 RPIM법의 보간함수는 영향영역의 절점을 통과하고 형상함수는 크로네커 델타 성질을 갖고 있으므로 최소자승법에 기반을 둔 무요소법보다 쉽게 필수경계조건을 만족시킨다. 본 연구의 정확성을 확인하기 위하여, 캔틸레버형 평판, 유공평판, 속이 빈 원통 문제의 수치예제를 수행하고 이론 해와 유한요소법 결과를 비교, 분석한다. A Meshfree is a method used to establish algebraic equations of system for the whole problem domain without the use of a predefined mesh for the domain discretization. A point interpolation method is based on combining radial and polynomial basis functions. Involvement of radial basis functions overcomes possible singularity Furthermore, the interpolation function passes through all scattered points in an influence domain and thus shape functions are of delta function property. This makes the implementation of essential boundary conditions much easier than the meshfree methods based on the moving least-squares approximation. This study aims to investigate a stress analysis of structural element between a meshfree method and the finite element method. Examples on cantilever type plate, hollow cylinder and stress concentration problems show that the accuracy and convergence rate of the meshfree methods are high.

최적화된 다항식 방사형 기저함수 신경회로망을 이용한 수도권 여름철 초단기 강수예측 패턴 설계

김현기(Hyun-Ki Kim),최우용(Woo-Yong Choi),오성권(Sung-Kwun Oh) 한국지능시스템학회 2013 한국지능시스템학회논문지 Vol.23 No.6

최근 빈번히 일어나는 국지성 집중호우로 인해 피해가 급격히 증가하고 있다. 인구가 밀집한 수도권과 같은 경우 산사태와 토석류 및 홍수로 인해 인명 및 재산피해가 심각하다. 따라서 집중호우에 대한 예측의 중요성이 증가하고 있다. 우리나라 악천후 강수의 특징으로는 태풍과 집중호우로 구분된다. 이는 지속시간과 지역에 따라 차이를 보인다. 또한, 지역적인 강수는 계절에 따라 변동성이 크고 비선형적이기 때문에 강수를 예측하는데 어려움이 따른다. 본 논문에서는 기상청에서 현업으로 사용하는 초단기 기상 분석 및 예측시스템 (Korea Local Analysis and Prediction System; KLAPS)의 기상 관측 자료를 이용하여 초단기 호우 예측 패턴 모델을 구현한다. 그리고 악천후 시 피해가 큰 수도권을 중심으로 여름철 호우 특보를 예측한다. 유전자 알고리즘(Genetic Algorithm; GA) 기반 다항식 방사형 기저함수 신경회로망(Radial Basis Function Neural Networks; RBFNNs)을 이용하여 초단기 강수 예측 패턴 모델을 설계한다. 최적화된 분류기를 설계하기 위하여 유전자 알고리즘을 이용하여 주요 파라미터인 입력변수의 수, 다항식 차수, 퍼지화 계수, FCM(Fuzzy C-mean) 클러스터 수를 동조한다. The damage caused by Recent frequently occurring locality torrential rains is increasing rapidly. In case of densely populated metropolitan area, casualties and property damage is a serious due to landslides and debris flows and floods. Therefore, the importance of predictions about the torrential is increasing. Precipitation characteristic of the bad weather in Korea is divided into typhoons and torrential rains. This seems to vary depending on the duration and area. Rainfall is difficult to predict because regional precipitation is large volatility and nonlinear. In this paper, Very short-term precipitation forecasting pattern model is implemented using KLAPS data used by Korea Meteorological Administration. we designed very short term precipitation forecasting pattern model using GA-based RBFNNs. the structural and parametric values such as the number of Inputs, polynomial type,number of fcm cluster, and fuzzification coefficient are optimized by GA optimization algorithm.

인공신경망모형(다층퍼셉트론, 방사형기저함수), 사회연결망모형, 타부서치모형을 이용한 컨테이너항만의 클러스터링 측정 및 2단계(Type IV) 교차효율성 메트릭스 군집모형을 이용한 실증적 검증에 관한 연구

박노경 사단법인 인문사회과학기술융합학회 2019 예술인문사회융합멀티미디어논문지 Vol.9 No.6

The purpose of this paper is to measure the clustering change and analyze empirical results, and choose the clustering ports for Busan, Incheon, and Gwangyang ports by using Artificial Neural Network, Social Network, and Tabu Search models on 38 Asian container ports over the period 2007-2016. The models consider number of cranes, depth, birth length, and total area as inputs and container throughput as output. Followings are the main empirical results. First, the variables ranking order which affects the clustering according to artificial neural network are TEU, birth length, depth, total area, and number of cranes. Second, social network analysis shows the same clustering in the benevolent and aggressive models. Third, the efficiency of domestic ports are worsened after clustering using social network analysis and tabu search models. Forth, social network and tabu search models can increase the efficiency by 37% compared to that of the general CCR model. Fifth, according to the social network analysis and tabu search models, 3 Korean ports could be clustered with Asian ports like Busan Port(Kobe, Osaka, Port Klang, Tanjung Pelepas, and Manila), Incheon Port(Shahid Rajaee, and Gwangyang), and Gwangyang Port(Aqaba, Port Sulatan Qaboos, Dammam, Khor Fakkan, and Incheon). Korean seaport authority should introduce port improvement plans by using the methods used in this paper. 본 논문에서는 아시아 38개 컨테이너항만 들을 대상으로 10년(2007년-2016년)동안의 4개의 투입요소(선석길이, 수심, 총면적, 크레인 수)와 1개의 산출요소(컨테이너화물 처리량)를 이용하여 인공신경망모형(다층퍼셉트론, 방사형기저함수)으로 클러스터링에 영향을 미친 요소들을 파악하였으며, 1단계 교차효율성 메트릭스를 이용한 군집 수를 사회연결망모형과 타부서치모형에 적용하여 클러스터링을 파악하고 효율성을 측정하였다. 또한 2단계효율성 메트릭스모형을 이용한 클러스터링을 파악하고 효율성을 측정하여 1단계 교차효율성 메트릭스에 의한 측정결과와 비교하였다. 주요한 실증분석 결과는 다음과 같다. 첫째, 인공신경망모형에 의해서 측정해 보았을 때, 군집에 영향을 많이 미친 요소별로 제시해 보면 컨테이너화물 처리량, 선석길이와 수심, 총면적, 크레인 수의 순서로 나타났다. 둘째, 사회연결망분석에서는 2단계 교차효율성(Type IV)메트릭스에 의한 군집은 benevolent 와 aggressive 모형에서 매년 동일한 결과를 보였다. 셋째, 클러스터링 후에 1단계 교차효율성 모형에 비해서 사회연결망 모형 분석과 타부서치 모형 분석에서 국내항만들의 효율성이 거의(사회연결망 모형에서 인천항의 경우 제외) 악화되는 것으로 나타났다. 다섯째, 일반적인 투입지향, 규모수확불변하의 CCR모형의 효율성 측정결과와 비교했을 때는 클러스터링이 모든 항만들에 대해서 약 37%이상의 효율성을 증대시켰다. 여섯째, 사회연결망모형과 타부서치모형에 의해서 클러스터링 되는 항만들은 부산항(고베, 오사카, 포트클랑, 탄중 펠파스, 마닐라항), 인천항(사히드 라자히, 광양), 광양항(아카바, 포트 슐탄 카바스, 담만, 크호르 파칸, 인천)으로 나타났다. 한국항만당국은 본 연구에서 이용된 방법을 도입하여 항만개선방안을 마련해야만 한다.

오차 보상을 위한 보상기 기반 방사형 기저함수 신경회로망 분류기 설계

박상범(Sang-Beom Park),오성권(Sung-Kwun Oh) 한국지능시스템학회 2019 한국지능시스템학회논문지 Vol.29 No.3

본 연구에서는 효과적인 오차 보상을 위한 퍼지 보상기 기반 방사형 기저함수 신경회로망(RBFNN) 분류기를 설계한다. 오차는 실제 출력과 RBFNN 분류기에서 구한 출력의 차이를 의미하고 이는 보상기의 교사신호로 간주한다. 교사신호를 기반으로, 보상기는 최소자승법을 사용하여 연결가중치를 추정하고 보상기의 출력을 계산한다. 보상기는 퍼지집합기반 신경회로망(FsNN) 분류기를 사용하였다. RBFNN 분류기와 보상기의 연결가중치는 상수항(Constant)을 사용하여 학습하였다. 본 연구에서는 UCI repository에서 얻은 다양한 기계학습 데이터를 사용하여 보상기 기반 방사형 기저함수 신경회로망 분류기의 분류지수를 평가한다. 보상기 기반 RBFNN 분류기는 기존에 사용한 RBFNN 분류기에 비해 제안된 분류기와의 분류지수와 성능지수를 비교하는 관점에서 우수성을 보여준다. In this study, a radial basis function neural network(RBFNN) classifier designed with aid of a fuzzy compensator is introduced for the effective compensation of errors. The errors considered as the supervised signal to learn the compensator mean the difference between the real output and the output of the RBFNN classifier. Based on the supervised signal, the connection weights of the compensator are estimated by using least square estimation(LSE) and also used to calculate the output of the compensator. Fuzzy set-based neural network (FsNN) classifier is exploited as the compensator. In the case of both RBFNN classifier and the compensator, the constants are used as the connection weights. In this study, various benchmark datasets which are obtained from UCI repository are exploited to evaluate the classification index of the compensator-based RBFNN classifier. It is shown that the compensator-based RBFNN classifier is preferred when compared to the conventional RBFNN classifiers in terms of the classification index and performance index.

측정오차 하에서 방사형 기저함수를 고려한 준모수적 Fay-Herriot 모형

류지인,황진섭 한국자료분석학회 2018 Journal of the Korean Data Analysis Society Vol.20 No.4

Various extension versions for Fay-Herriot model have been proposed and we developed semi-parametric Fay-Herriot model with the truncated polynomial basis functions under functional and structural measurement error covariate in previous our paper. However, it’s not always stable to use the truncated polynomial basis functions when the number of knots is large and the smoothing parameter close to zero. In such case, it’s known that the use of radial basis functions may be useful. Therefore we propose semi-parametric Fay-Herriot model with the radial basis functions under functional and structural measurement error covariate in this study. We use a hierarchical Bayesian approach based on the Markov chain Monte Carlo method for fitting the model and estimating parameters. Finally, we confirm the usefulness of the proposed model in this study through the simulation studies. As a result, the proposed model is more useful when the variance is large and the number of knots is large. 효율적인 소지역 추정을 위해 다양한 Fay-Herriot 확장모형이 개발되고 있으며, 특히 기존 연구에서는 공변량의 측정오차를 고려하고 절단 다항식 기저함수를 활용한 준모수적 확장모형을 개발하였다. 그러나 절단 다항식의 기저함수를 사용하는 경우 매듭의 수가 많고 평활 파라미터가 0에 가까워지는 경우 모수 추정이 안정적이지 못하다는 연구결과가 있으며, 이에 본 연구에서는 이러한 문제를 해결할 수 있는 방법으로 방사형 기저함수를 이용한 준모수적 회귀모형으로 확장모형을 제안하고 이를 기존 연구모형과 비교하고자 하였다. 본 연구에서는 측정오차 하에서 방사형 기저함수를 고려한 준모수적 Fay-Harriot 모형을 제안하기 위해 계층적 베이지안 방법을 이용하여 모형의 적합 및 모수를 추정하였으며, 다양한 상황에서의 모의실험을 통해 기존 모형과 비교하여 본 연구를 통해 개발하는 모형의 유용성을 확인하고자 하였다. 마지막으로 실증자료를 이용하여 기존 모형과 제안된 모형의 적합도를 비교하였다. 모의실험 결과에서는 분산이 커지고 매듭의 수가 많아지는 경우 본 연구에서 제안하는 모형이 기존 연구모형보다 우수함을 확인하였다.

CT 전처리 기법을 이용하여 조명변화에 강인한 얼굴인식 시스템 설계

진용탁(Yong-Tak Jin),오성권(Sung-Kwun Oh),김현기(Hyun-Ki Kim) 한국지능시스템학회 2015 한국지능시스템학회논문지 Vol.25 No.1

본 연구는 조명변화에 강인한 CT 전처리 기법 기반 개선된 얼굴인식 시스템을 소개한다. 전처리 알고리즘으로 CT알고리즘은 조명이 없는 환경에서도 얼굴의 지역적인 특징만을 추출한다. 얼굴의 지역적인 특징 추출을 가능하게 해준다. 처리된 데이터는 (2D)2 기반 대표적인 차원축소 알고리즘인 PCA를 사용하여 특징을 추출하였다. 전처리 알고리즘을 통한 특징 데이터는 제안한 방사형 기저함수 신경회로망의 입력으로 사용하였다. 방사형 기저함수 신경회로망의 은닉층은 FCM으로 구성하였고, 연결가중치는 1차 선형식을 사용하였다. 또한 ABC 알고리즘을 이용하여 제안된 분류기의 파라미터, 즉 입력의 수, 퍼지 클러스터링의 퍼지화 계수를 최적화 한다. 본 연구는 제안된 시스템의 성능 평가를 위해 Yale Face database B와 CMU PIE database로 실험하였다. In this study, we introduce robust face recognition system with illumination variation realized with the aid of CT preprocessing method. As preprocessing algorithm, Census Transform(CT) algorithm is used to extract locally facial features under unilluminated condition. The dimension reduction of the preprocessed data is carried out by using (2D)2PCA which is the extended type of PCA. Feature data extracted through dimension algorithm is used as the inputs of proposed radial basis function neural networks. The hidden layer of the radial basis function neural networks(RBFNN) is built up by fuzzy c-means(FCM) clustering algorithm and the connection weights of the networks are described as the coefficients of linear polynomial function. The essential design parameters (including the number of inputs and fuzzification coefficient) of the proposed networks are optimized by means of artificial bee colony(ABC) algorithm. This study is experimented with both Yale Face database B and CMU PIE database to evaluate the performance of the proposed system.

강수/비강수 사례 분류를 위한 RBFNN 기반 패턴분류기 설계

최우용(Woo-Yong Choi),오성권(Sung-Kwun Oh),김현기(Hyun-Ki Kim) 한국지능시스템학회 2014 한국지능시스템학회논문지 Vol.24 No.6

본 연구에서는 인공 벌 군집(ABC: Artificial Bee Colony) 알고리즘을 이용하여 주어진 레이더 데이터로부터 강수 사례와 비강수 사례를 분류하는 방사형 기저함수 신경회로망(RBFNNs: Radial Basis Function Neural Networks)분류기를 소개한다. 기상청에서 사용하고 있는 기상 레이더 데이터의 특성 분석을 통해 입력 데이터를 구성한다. 방사형 기저함수 신경회로망의 조건부에서는 Fuzzy C-Means 클러스터링 방법을 이용하여 적합도를 계산하고, 결론부에서는 최소자승법(LSE: Least Square Method)을 이용하여 다항식 계수를 추정한다. 추론부에서 최종출력 값은 퍼지 추론 방법을 이용하여 얻어진다. 제안된 분류기의 성능은 기상청에서 사용하는 QC와 CZ 데이터를 고려하여 비교 및 분석되어진다. In this study, we introduce Radial Basis Function Neural Networks(RBFNNs) classifier using Artificial Bee Colony(ABC) algorithm in order to classify between precipitation event and non-precipitation event from given radar data. Input information data is rebuilt up through feature analysis of meteorological radar data used in Korea Meteorological Administration. In the condition phase of the proposed classifier, the values of fitness are obtained by using Fuzzy C-Mean clustering method, and the coefficients of polynomial function used in the conclusion phase are estimated by least square method. In the aggregation phase, the final output is obtained by using fuzzy inference method. The performance results of the proposed classifier are compared and analyzed by considering both QC(Quality control) data and CZ(corrected reflectivity) data being used in Korea Meteorological Administration.