RAM 기반 신경망의 비지도 학습에 관한 연구

박상무(Sang-Moo Park),김성진(Seong-Jin Kim),이동형(Dong-Hyung Lee),이수동(Soo-Dong Lee),옥철영(Cheol-Young Ock) 한국컴퓨터정보학회 2011 韓國컴퓨터情報學會論文誌 Vol.16 No.1

RAM 기반 3-D 신경망은 2진 신경망(Binary Neural Network, BNN)에 복수개의 정보 저장 비트를 두어 교육의 반복 횟수를 누적하도록 구성된 가중치를 가지지 않는 신경회로망으로서 한 번의 교육만으로 학습이 이루어지는 효율성이 뛰어난 신경회로망이다. MRD(Maximum Response Detector) 기법을 이용한 3-D 신경망의 인식 방법은 지도 학습에 기반을 둔 것으로서 학습을 통해 신경망 스스로가 범주를 구분할 수 없으며 잘 구분된 범주의 학습 데이터를 통해서만 성능을 발휘할 수 있다. 본 논문에서는 기존 3-D 신경 회로망에 학습 데이터의 구분 없이 신경망 자체가 입력 패턴에 따라 학습하여 범주를 구분하는 비지도 학습 알고리즘을 제안한다. 제안된 비지도 학습 알고리즘에 의해 신경회로망은 판별자의 수를 스스로 조절할 수 있는 구조를 가지게 되며 이는 망의 유연한 확장성을 보장한다. 0에서 9까지의 다중 패턴으로 구성된 오프라인 필기체 숫자를 무작위로 추출하여 학습 패턴으로 인식 실험을 수행하였으며 실험을 통해 신경망이 스스로 비지도 학습에 의해 판별자의 수를 결정하게 되며 이것은 신경망이 각각의 필기체 숫자에 대한 개념을 가지게 되는 것으로 해석할 수 있다. A RAM-based Neural Net is a weightless neural network based on binary neural network. 3-D neural network using this paper is binary neural network with multiful information bits and store counts of training. Recognition method by MRD technique is based on the supervised learning. Therefore neural network by itself can not distinguish between the categories and well-separated categories of training data can achieve only through the performance. In this paper, unsupervised learning algorithm is proposed which is trained existing 3-D neural network without distinction of data, to distinguish between categories depending on the only input training patterns. The training data for proposed unsupervised learning provided by the NIST handwritten digits of MNIST which is consist of 0 to 9 multi-pattern, a randomly materials are used as training patterns. Through experiments, neural network is to determine the number of discriminator which each have an idea of the handwritten digits that can be interpreted.

유전 알고리즘을 이용한 비선형 시스템의 최적 신경 회로망 구조에 관한 연구

김홍복(Hong. Bok. Kim),김정근(Jeong. Keun. Kim),김민정(Min. Jung. Kim),황승욱(Seung. Wook. Hwang) 한국항해항만학회 2004 한국항해항만학회지 Vol.28 No.3

본 논문은 신경 회로망과 유전 알고리즘을 이용한 비선형 시스템 모델링을 다룬다. 비선형 함수의 근사성 때문에 시스템을 식별하고 제어하기 위해서 신경 회로망을 응용한 연구가 실제로 많이 이루어지고 있다. 빠른 응답시간과 최소의 오차를 위해서는 최적구조 신경 회로망을 설계하는 것이 중요하다. 유전 알고리즘은 최근에 그 단순성과 견고성 때문에 점점 많이 이용되는 추세이다. 따라서 본 논문에서는 유전알고리즘을 이용하여 신경 회로망을 최적화한다. 오차와 응답시간을 최소화하는 신경 회로망 구조를 위해서 유전알고리즘의 유전자로 이진 코딩하여 최적 신경회로망을 탐색하고자 한다. 시뮬레이션을 통해서, 최적 신경회로망 구조가 비선형 시스템 식별에 효과적인 것을 입증하고자 한다. This paper deals with a nonlinear system modelling using neural network and genetic algorithm. Application of neural network to control and identification is actively studied because of their approximating ability of nonlinear function. It is important to design the neural network with optimal structure for minimum error and fast response time. Genetic algorithm is getting more popular nowadays because of their simplicity and robustness. In this paper, we optimized a neural network structure using genetic algorithm. The genetic algorithm uses binary coding for neural network structure and searches for an optimal neural network structure of minimum error and fast response time. Through an extensive simulation. the optimal neural network structure is shown to be effective for identification of nonlinear system.

신경회로망을 이용한 헬리콥터 적응 비선형 제어

박범진(Bumjin Park),홍창호(Changho Hong),석진영(Jingyoung Suk) 한국항공우주학회 2004 韓國航空宇宙學會誌 Vol.32 No.4

본 논문에서는 광범위한 비선형 함수 근사 성질을 갖고 있는 온라인 적응 신경회로망을 이용하여 헬리콥터 비행 제어 시스템을 설계하였다. 기존의 시스템 모델링 오차를 보상하는 방식과는 달리, 시스템의 입출력 정보를 통해 피드백 선형화 기법에서 필요한 두 개의 비선형 함수를 신경회로망을 이용하여 대체하는 방법을 적용하였다. 두 개의 비선형 함수를 신경회로망으로 대체하여 구성된 폐회로 시스템의 추적 성능과 내부 안정성을 보장하기 위하여 신경회로망의 가중치 학습 방법을 리야프노프 함수를 이용하여 유도하였다. 그리고 헬리콥터 저속 비행 모드에 대한 수치 시뮬레이션 결과를 통해 신경회로망을 적용한 제어시스템의 성능을 검증하였다. In this paper, the helicopter flight control system using online adaptive neural networks which have the universal function approximation property is considered. It is not compensation for modeling errors but approximation two functions required for feedback linearization control action from input/output of the system To guarantee the tracking performance and the stability of the closed loop system replaced two nonlinear functions by two neural networks, weight update laws are provided by Lyapunov function and the simulation results in low speed flight mode verified the performance of the control system with the neural networks.

특이성 교란 문제의 해를 위한 신경회로망 접근 가능성

김지현(Jee-Hyun Kim),조영임(Young-Im Cho) 한국컴퓨터정보학회 2021 韓國컴퓨터情報學會論文誌 Vol.26 No.1

최근 특이성 교란 미적분 경계값 문제를 해결하기 위해 신경회로망 접근이 연구되고 있다. 특히 다양한 학습 알고리즘을 가진 백프로파게이션 알고리즘에 의해 훈련하는 피드-포워드 신경회로망의 이론적 모델이 제시되고 있으며, 딥러닝, 전이학습, 연합학습 등의 신경회로망 모델이 매우 빠르게 개발되고 있다. 본 논문의 목적은 특이성 교란 문제를 점근법적 방법과 함께 해결하기 위해 고도의 정확성과 속도를 가진 신경회로망 접근법에 관해 연구하는 것이다. 이를 위해 본 논문에서는 특이성 교란문제의 결과치와 교란되지 않은 문제의 결과치의 차이에 대해 신경회로망 접근 식을 사용하여 시뮬레이션 하였고 신경회로망 접근식의 효율성도 제시하였다. 결론적으로 특이성 교란 문제를 수식이 아닌 단순한 신경회로망 접근으로 효율적으로 해결할 수 있음을 제시한 것이 본 논문의 주요 기여사항이다. Recentlly neural network approach for solving a singular perturbed integro-differential boundary value problem have been researched. Especially the model of the feed-forward neural network to be trained by the back propagation algorithm with various learning algorithms were theoretically substantiated, and neural network models such as deep learning, transfer learning, federated learning are very rapidly evolving. The purpose of this paper is to study the approaching method for developing a neural network model with high accuracy and speed for solving singular perturbed problem along with asymptotic methods. In this paper, we propose a method that the simulation for the difference between result value of singular perturbed problem and unperturbed problem by using neural network approach equation. Also, we showed the efficiency of the neural network approach. As a result, the contribution of this paper is to show the possibility of simple neural network approach for singular perturbed problem solution efficiently.

최적 구조 신경 회로망을 이용한 선박용 안정화 위성 안테나 시스템의 모델링

김민정(Min. Jung. Kim),황승욱(Seung. Wook. Hwang) 한국항해항만학회 2004 한국항해항만학회지 Vol.28 No.5

This paper deals with modelling and identification of a shipboard stabilized satellite antenna system using the optimal neural network structure. It is difficult for shipboard satellite antenna system to control and identification because of their approximating ability of nonlinear function. So it is important to design the neural network structure using genetic algorithm is optimized. And genetic algorithm is also used for identifying a shipboard satellite antenna system. It is noticed that the optimal neural network structure actually describes the real movement of ship well. Through practical test, the optimal neural network structure is shown to be effective for modelling the shipboard satellite antenna system. 본 논문은 비선형성을 많이 내포하고 있어 수학적으로 모델링 하기 어려운 선박용 안정화 위성 안테나 시스템을 모델링하기 위해서, 신경 회로망의 오차 및 응답시간을 최소로 하는 최적 구조 신경 회로망 모델을 도출 하고 이를 적용하고자 한다. 오차와 응답시간을 최소화하기 위해 유전알고리즘을 이용하여 신경 회로망 구조를 설계하였다. 안테나 시스템으로부터 얻어진 입출력 데이터에 근거하여 본 논문에서 제안한 식별기를 이용하여 안테나 시스템을 식별하였으며, 실제 선박의 운동 성분에 대해서도 시스템을 잘 표현할 수 있는 최적 구조 신경 회로망 기반 시스템 식별기를 얻을 수 있었다. 실제 실험을 통해서, 최적 신경회로망 구조가 안테나 시스템 식별에 효과적인 것을 알 수 있었다.

원전 증기발생기 세관 결함 크기 예측을 위한 Bagging 신경회로망에 관한 연구

김경진(Kyung-Jin Kim),조남훈(Nam-Hoon Jo) 한국비파괴검사학회 2010 한국비파괴검사학회지 Vol.30 No.4

본 논문에서는 원자력 발전소 증기발생기 세관에 발생할 수 있는 결함의 크기측정에 사용되는 Bagging 신경회로망에 대한 연구를 수행하였다. Bagging은 부트스트랩(bootstrap) 샘플링에 기반을 둔 추정기 앙상블을 생성하는 방법이다. 증기발생기 세관의 결함 크기측정을 위하여 다양한 폭과 깊이를 갖는 4가지 결함패턴의 eddy current testing 신호를 생성하였다. 그 다음, 단일 신경회로망(single neural network; SNN)과 Bagging 신경회로망(Bagging neural network; BNN)을 구성하여 각 결함의 폭과 깊이를 추정하였다. SNN과 BNN 추정성능은 최대오차를 이용해서 측정하였다. 실험결과, 결함 깊이 추정시의 SNN과 BNN 최대오차는 0.117mm와 0.089mm 이었다. 또한, 결함 폭 추정 시에는 SNN과 BNN 최대오차는 0.494mm와 0.306mm 이었다. 이러한 실험결과는 BNN 추정성능이 SNN 추정성능보다 우수하다는 것을 보여준다. In this paper, we studied Bagging neural network for predicting defect size of steam generator(SG) tube in nuclear power plant. Bagging is a method for creating an ensemble of estimator based on bootstrap sampling. For predicting defect size of SG tube, we first generated eddy current testing signals for 4 defect patterns of SG tube with various widths and depths. Then, we constructed single neural network(SNN) and Bagging neural network(BNN) to estimate width and depth of each defect. The estimation performance of SNN and BNN were measured by means of peak error. According to our experiment result, average peak error of SNN and BNN for estimating defect depth were 0.117 and 0.089mm, respectively. Also, in the case of estimating defect width, average peak error of SNN and BNN were 0.494 and 0.306mm, respectively. This shows that the estimation performance of BNN is superior to that of SNN.

단기 전력 부하 첨두치 예측을 위한 심층 신경회로망 모델

황희수 한국융합학회 2018 한국융합학회논문지 Vol.9 No.5

스마트그리드에서 정확한 단기 부하 예측을 통한 자원의 이용 계획은 에너지 시스템 운영의 불확실성을 줄이고 운영 효율을 높이는데 있어서 매우 중요하다. 단기 부하 예측에 얕은 신경회로망을 포함한 다수의 머신 러닝 기법이 적용되어왔지만 예측 정확도의 개선이 요구되고 있다. 최근에는 컴퓨터 비전이나 음성인식 분야에서 심층 신경회로망의 뛰어난 연구 결과로 인해 심층 신경회로망을 단기 전력수요 예측에 적용해 예측 정확도를 개선하려는 시도가 주목 받고 있다. 본 논문에서는 일별 전력 부하 첨두치를 예측하기 위한 다층신경회로망 구조의 심층 신경회로망 모델을 제안한다. 제안된 심층 신경회로망은 층별 학습이 선행된 후 전체 모델의 학습이 이루어진다. 한국전력거래소에서 얻은 4년 동안의 일별 전력 수요 데이터를 사용, 하루 및 이틀 앞선 전력수요 첨두치를 예측하는 심층 신경회로망 모델을 구축하고 예측 정확도를 비교, 평가한다. In smart grid an accurate load forecasting is crucial in planning resources, which aids in improving its operation efficiency and reducing the dynamic uncertainties of energy systems. Research in this area has included the use of shallow neural networks and other machine learning techniques to solve this problem. Recent researches in the field of computer vision and speech recognition, have shown great promise for Deep Neural Networks (DNN). To improve the performance of daily electric peak load forecasting the paper presents a new deep neural network model which has the architecture of two multi-layer neural networks being serially connected. The proposed network model is progressively pre-learned layer by layer ahead of learning the whole network. For both one day and two day ahead peak load forecasting the proposed models are trained and tested using four years of hourly load data obtained from the Korea Power Exchange (KPX).

신경회로망과 퍼지 추론에 의한 필기체 숫자 인식

고창룡(Chang-Ryong Ko) 한국컴퓨터정보학회 2011 韓國컴퓨터情報學會論文誌 Vol.16 No.10

본 논문은 퍼지추론을 이용하여 신경회로망의 필기체 숫자 인식 개선 방법을 제안하였고 실험을 통하여 확인하였다. 신경회로망은 학습 시간이 오래 걸리고, 학습한 패턴에서는 100% 인식률을 보였다. 그러나 신경회로망은 시험 패턴에서는 좋은 결과를 보여주지 못했다. 실험결과 신경회로망의 인식률과 오인식률이 각각 초기 89.6%, 10.4%에서 90.2%, 9.8%로 각각 향상되었다. 특히, 숫자 3과 5에서 오인식률을 크게 감소시켰다. 실험에서 퍼지 소속 함수의 추출을 숫자의 밀도로 사용하였으나 필기체 숫자는 입력 패턴이 다양하기 때문에 다양한 특성을 추출하고 복합적으로 퍼지 추론을 사용해 더 나은 인식률을 높여야 한다. 또한 퍼지추론을 엄격하게 적용하기보다는 입력 패턴을 매칭 할 때 퍼지 추론을 적용하는 것을 제안한다. We present a method to modify the recognition of neural networks by the fuzzy inference in a handwritten digit recognition with large deformations, and we verified the method by the experiment. The neural networks take long time in learning and recognize 100% on the learning pattern. But the neural networks don't show a good recognition on the testing pattern. So, we apply the modified method as the fuzzy inference. As a result, the recognition and false recognition of neural networks was improved 90.2% and 9.8% respectively at 89.6% and 10.4% initially. This approach decreased especially the false recognition on digit 3, 5. We used the density of digit to extract the fuzzy membership function in this experiment. But, because the handwritten digit have varified input patterns, we will get a better recognition by extracting varifed characteristics and applying the composite fuzzy inference. We also propose the application of fuzzy inference on matching the input pattern, than applying strictly the fuzzy inference.

신경회로망 전 보상 PID 제어기에 의한 부하주파수제어

이오걸,김상효,정동일,주석민 동의공업대학 1999 論文集 Vol.25 No.1

In this paper, we propose a neural network precompensated PID(NNP PID) controller for load frequency control of 2-area power system. While proportional integral derivative(PID) controllers are used in power system, they have many problems because of high nonlinearities of the power system. Simulation results show that the proposed control technique is superior to a conventional PID controller and an optimal controller in dynamic responses about load disturbances. The proposed technique can be easily implemented by adding a neural network precompensator to an existing PID controller.

신경회로망을 이용한 전력부하의 단기예측 및 GUI의 개발에 관한 연구

이화석 거제전문대학 1999 論文集 Vol.8 No.-

This paper presents the methods of short-term load forecasting using Kohonen neural networks and back-propagation neural networks and a development of GUI by window programming with visual basic and visual C++. First, used historical load data is divided into 5 patterns for the each seasonal data using Kohonen neural networks and then load forecasting neural network using these results are used for next day hourly load forecasting. Next hourly load of weekdays and weekend except holidays are forecasted. In summer load forecasting, max-temperature and min-temperature data as well as historical hourly load data are used as inputs of load forecasting neural networks for a better forecasting accuracy. To show the possibility of the proposed method, it was tested with hourly load data of KEPCO.