이기종 컴퓨팅을 활용한 환율 예측 뉴럴 네트워크 구현

한성현,이광엽 사단법인 인문사회과학기술융합학회 2017 예술인문사회융합멀티미디어논문지 Vol.7 No.11

In this paper, we implemented the exchange rate forecasting neural network using heterogeneous computing. Exchange rate forecasting requires a large amount of data. We used a neural network that could leverage this data accordingly. Neural networks are largely divided into two processes: learning and verification. Learning took advantage of the CPU. For verification, RTL written in Verilog HDL was run on FPGA. The structure of the neural network has four input neurons, four hidden neurons, and one output neuron. The input neurons used the US $ 1, Japanese 100 Yen, EU 1 Euro, and UK £ 1. The input neurons predicted a Canadian dollar value of $ 1. The order of predicting the exchange rate is input, normalization, fixed-point conversion, neural network forward, floating-point conversion, denormalization, and outputting. As a result of forecasting the exchange rate in November 2016, there was an error amount between 0.9 won and 9.13 won. If we increase the number of neurons by adding data other than the exchange rate, it is expected that more precise exchange rate prediction will be possible. 본 논문에서는 이기종 컴퓨팅을 활용한 환율 예측 뉴럴 네트워크를 구현했다. 환율 예측에는 많은 양의 데이터가 필요하다. 그에 따라 이러한 데이터를 활용할 수 있는 뉴럴 네트워크를 사용했다. 뉴럴 네트워크는 크게 학습과 검증의 두 과정을 거친다. 학습은 CPU를 활용했다. 검증에는 Verilog HDL로 작성된 RTL을 FPGA에서 동작 시켰다. 해당 뉴럴 네트워크의 구조는 입력 뉴런 네 개, 히든 뉴런 네 개, 출력 뉴런 한 개를 가진다. 입력 뉴런에는 미국 1달러, 일본 100엔, EU 1유로, 영국 1파운드의 원화 가치를 사용했다. 입력 뉴런들을 통해 캐나다 1달러의 원화가치를 예측 했다. 환율을 예측 하는 순서는 입력, 정규화, 고정 소수점 변환, 뉴럴 네트워크 순방향, 부동 소수점 변환, 역정규화, 출력 과정을 거친다. 2016년 11월의 환율을 예측한 결과 0.9원에서 9.13원 사이의 오차 금액이 발생했다. 환율 이외의 다른 데이터를 추가해 뉴런의 개수를 늘린다면 더 정확한 환율 예측이 가능할 것으로 예상된다.

다양한 뉴럴 네트워크를 지원하기 위한 가속기 기반의 시스템 연구의 필요성

박평수(Pyeongsu Park),김장우(Jangwoo Kim) 한국정보과학회 2020 정보과학회 컴퓨팅의 실제 논문지 Vol.26 No.7

뉴럴 네트워크는 우리의 삶을 급속도로 변화시키고 있는 핵심 기술이다. 최근 하드웨어 설계자들은 이들의 중요성을 인식하고 텐서처리장치(TPU)와 같은 하드웨어 가속기들을 제시해왔다. 그 결과, 데이터센터부터 개인용 장치에 이르기까지 다양한 환경에서 하드웨어 가속기가 적용되기 시작하였다. 하지만, 본 논문은 현존하는 가속기들이 간단하고 정형화된 행렬 곱 기반의 연산만을 집중하고 있음을 지적한다. 따라서 이 가속기들은 중요성이 날로 커지는 새로운 보조적 연산을 지원하지 못하고 있다. 보조 레이어가 뉴럴 네트워크 성능에 끼치는 영향을 고려할 때, 이들을 지원하지 못하는 시스템은 성능상의 큰 손실을 감수할 수밖에 없다. 즉, 우리는 시스템상에서 다양한 연산을 지원할 수 있게 하는 것이 매우 중요함을 시사한다. 이와 더불어, 다양한 연산을 효율적으로 지원하기 위한 다양한 시스템 후보들을 살펴보고, 이들의 장단점에 대해서 논의한다. Neural networks are among the most important techniques that have dramatically changed the way we live. To efficiently support neural networks, hardware architects have proposed various neural network accelerators (e.g., TPUs). This has led to a proliferation of hardware accelerators for datacenters and personal devices. However, the scope of these hardware accelerators has been very limited to just the acceleration of simple and structured matrix multiplication operations. Specifically, while emerging helper layers such as pooling and normalization layers play an important role in the performance of neural networks, the current inflexible hardware accelerators are missing huge opportunities due to their restricted scope. These problems have prompted us to develop a computing platform that supports various emerging layers to take advantage of full potential of hardware accelerators. Hereinafter, we discuss various system designs that efficiently support emerging layers and their tradeoffs.

뉴럴네트워크 모델 기반의 IPMC 셀프 센싱 액추에이터

윤종일(Jong Il Yoon),딩광졍(Dinh Quang Truong),안경관(Kyoung Kwan Ahn) 대한기계학회 2010 大韓機械學會論文集A Vol.34 No.12

이 논문에서는 뉴럴네트워크 모델에 기초하여 셀프 센싱이 가능한 IPMC 액추에이터를 개발하고자 한다. IPMC의 양면에 있는 두 개의 지정된 점에서 측정된 입력 전압과 입력 신호들을 뉴럴네트워크 모델의 입력 신호로 사용한다. CCD 레이저 변위 센서는 제시된 뉴럴네트워크 모델의 학습된 출력값으로 사용되는 IPMC 끝의 변위를 정확히 측정하기 위해 설치된다. 결과적으로 뉴럴네트워크 모델은 수집된 입력/출력 학습데이터에 의해 최대한으로 활용된 IPMC의 끝의 변위를 평가하기 위해 만들어진다. IPMC 액추에이터를 위해 설계된 모델의 효율성은 결과들을 모델링함으로서 증명되어진다. We develop an IPMC actuator with self-sensing behavior based on an accurate neural network model (NNM). The supplied voltage and voltage signals measured at two determined points on both sides of the IPMC sheet are used as inputs to the NNM. A CCD laser displacement sensor is installed in the rig for accurate measurement of the IPMC tip displacement that is used as the training output of the proposed NNM. Consequently, the NNM model is used to estimate the IPMC tip displacement; the NNM parameters are optimized by the collected input/output training data. The effectiveness of the model for the IPMC actuator is then verified by modeling results.

생성 모델을 이용한 데이터 프리 양자화를 위한 Bit-width Aware Generator와 채널 어텐션 기반 중간 레이어 지식 증류

백재용(Jae-Yong Baek),허두환(Du-Hwan Hur),김덕웅(Deok-Woong Kim),유용상(Yong-Sang Yoo),신혁진(Hyuk-Jin Shin),박대현(Dae-Hyeon Park),배승환(Seung-Hwan Bae) 한국컴퓨터정보학회 2024 韓國컴퓨터情報學會論文誌 Vol.29 No.7

본 논문에서는 생성 모델을 이용한 데이터 프리 양자화에서 발생할 수 있는 지식 격차를 줄이기 위하여 BAG (Bit-width Aware Generator)와 채널 어텐션 기반 중간 레이어 지식 증류를 제안한다. 생성 모델을 이용한 데이터 프리 양자화의 생성자는 오직 원본 네트워크의 피드백에만 의존하여 학습하기 때문에, 양자화된 네트워크의 낮은 bit-width로 인한 감소된 수용 능력 차이를 학습에 반영하지 못한다. 제안한 BAG는 양자화된 네트워크와 동일한 bit-width로 양자화하여, 양자화된 네트워크에 맞는 합성 이미지를 생성하여 이러한 문제를 완화한다. 또한, 양자화된 네트워크와 원본 모델 간의 지식 격차를 줄이는 것 역시 양자화에서 매우 중요한 문제이다. 이를 완화하기 위해 제안한 채널 어텐션 기반 중간 레이어 지식 증류는 학생 모델이 교사 모델로부터 어떤 채널에 더 집중해서 학습해야 하는지를 가르친다. 제안한 기법의 효율성을 보이기 위해, CIFAR-100에서 학습한 원본 네트워크를 가중치와 활성값을 각각 3-bit로 양자화하여 학습을 수행하였다. 그 결과 56.14%의 Top-1 Accuracy를 달성하였으며, 베이스라인 모델인 AdaDFQ 대비 3.4% 정확도를 향상했다. In this paper, we propose the BAG (Bit-width Aware Generator) and the Intermediate Layer Knowledge Distillation using Channel-wise Attention to reduce the knowledge gap between a quantized network, a full-precision network, and a generator in GDFQ (Generative Data-Free Quantization). Since the generator in GDFQ is only trained by the feedback from the full-precision network, the gap resulting in decreased capability due to low bit-width of the quantized network has no effect on training the generator. To alleviate this problem, BAG is quantized with same bit-width of the quantized network, and it can generate synthetic images, which are effectively used for training the quantized network. Typically, the knowledge gap between the quantized network and the full-precision network is also important. To resolve this, we compute channel-wise attention of outputs of convolutional layers, and minimize the loss function as the distance of them. As the result, the quantized network can learn which channels to focus on more from mimicking the full-precision network. To prove the efficiency of proposed methods, we quantize the network trained on CIFAR-100 with 3 bit-width weights and activations, and train it and the generator with our method. As the result, we achieve 56.14% Top-1 Accuracy and increase 3.4% higher accuracy compared to our baseline AdaDFQ.

퍼지 뉴럴 네트워크 기반 다중모델 기법 추적 시스템

손현승(Hyun Seung Son),주영훈(Young Hoon Joo),박진배(Jin Bae Park) 한국지능시스템학회 2006 한국지능시스템학회논문지 Vol.16 No.4

본 논문에서는 기동표적의 추적에 대한 새로운 퍼지 뉴럴 네트워크 기반의 다중모델 기법을 소개한다. 표적의 가속도를 효과적으로 다루기 위하여, 이 논문에서는 표적의 가속도를 시변 변수인 표적의 추가적인 잡음으로 두고 각각의 가속도 간격의 정도에 따라 얻어지는 모든 잡음에 대한 변수에 의해 각각의 하부 모델들을 특성화시켰다. 모르는 가속도에 따른 시변 변수를 적응적으로 어립잡기는 어렵기 때문에 정밀한 계산을 위하여 퍼지 뉴럴 네트워크가 이용되었다. 퍼지 뉴럴 네트워크의 동정을 위해서는 오차 역전파 학습법을 사용하였다. 그리고 제안된 알고리즘의 수행 가능성을 보여주기 위하여 몇 가지 예를 제시하였다. This paper presents a new fuzzy-neural-network based interacting multiple model (FNNBIMM) algorithm for tracking a maneuvering target. To effectively handle the unknown target acceleration, this paper regards it as additional noise, time-varying variance to target model. Each sub model characterized by the variance of the overall process noise, which is obtained on the basis of each acceleration interval. Since it is hard to approximate this time-varying variance adaptively owing to the unknown acceleration, the FNN is utilized to precisely approximate this time-varying variance. The error back-propagation method is utilized to optimize each FNN. To show the feasibility of the proposed algorithm, a numerical example is provided.

RBF 뉴럴네트워크를 이용한 리니어형 초전도 전원장치의 비선형적 충전전류특성 해석

정윤도(Yoon-Do Chung),박호성(Ho-Sung Park),김현기(Hyun-Ki Kim),오성권(Sung-Kwun Oh) 한국지능시스템학회 2010 한국지능시스템학회논문지 Vol.20 No.1

본 연구에서는 초전도 전원장치의 비선형적인 충전특성을 이론적으로 해석하기 위해서 Radial Basis Function 뉴럴 네트워크를 적용하였으며 이를 바탕으로 초전도 부하 마그넷에 따른 충전특성의 경향을 해석하였다. 본 논문에서는 안정적인 충전전류를 발생시키고 충전전류를 쉽게 제어할 수 있는 리니어형 초전도 전원장치를 개발하였고, 극저온 시스템에서 충전전류 특성을 실험적으로 수행하였다. 이를 통해 초전도 전원장치는 초전도 선재(초전도 Nb 박막)를 사용하기 때문에 비선형적인 충전전류 특성을 가짐을 알 수 있었다. 일반적으로, 극저온에서의 실질적인 실험에 있어서 주변 환경에 따른 냉각 비용 문제 등이 대두되기 때문에 다양한 실험을 수행하는데 연구의 어려움이 있다. 따라서 본 논문에서는 개발된 초전도 전원장치의 주파수에 대한 비선형적인 충전 특성을 기반으로 지능형 알고리즘인 RBF 뉴럴 네트워크를 통해서 그 결과를 예측하고 이에 대해서 지능 모델을 구현하였다. 본 논문에서 사용된 RBF 뉴럴 네트워크에서는 효율적인 데이터 처리를 위해서 은닉층에 FCM 클러스터링 알고리즘을 사용하였으며, 클러스터의 수가 모델의 은닉층에서의 노드의 수가 되도록 설계하였다. In this work, to theoretically analyze the nonlinear charging characteristic, a Radial Basis Function Neural Network (RBFNN) is adopted. Based on the RBFNN, an charging characteristic tendency of a Linear Type Magnetic Flux Pump (LTMFP) is analyzed. In the paper, we developed the LTMFP that generates stable and controllable charging current and also experimentally investigated its charging characteristic in the cryogenic system. From these experimental results, the charging current of the LTMFP was also found to be frequency dependent with nonlinear quality due to the nonlinear magnetic behaviour of superconducting Nb foil. On the whole, in the case of essentially cryogenic experiment, since cooling costs loomed large in the cryogenic environment, it is difficult to carry out various experiments. Consequentially, in this paper, we estimated the nonlinear characteristic of charging current as well as realized the intelligent model via the design of RBFNN based on the experimental data. In this paper, we view RBF neural networks as predominantly data driven constructs whose processing is based upon an effective usage of experimental data through a prudent process of Fuzzy C-Means clustering method. Also, the receptive fields of the proposed RBF neural network are formed by the FCM clustering.

딥 뉴럴 네트워크의 적절한 구조 및 자가-지도 학습 방법에 따른 뇌신호 데이터 표현 기술 분석 및 고찰

고원준(Won-Jun Ko) 한국전자통신학회 2024 한국전자통신학회 논문지 Vol.19 No.1

최근, 의료 데이터 표현 분야에서 딥러닝 방법들이 사실상의 표준으로 자리잡고 있다. 하지만, 딥러닝 기술은 내재적으로 많은 양의 학습 데이터를 필요로 하므로 대규모의 데이터를 확보하기 쉽지 않은 의료 분야에서는 직접적인 적용이 어려운 실정이다. 특히 뇌신호 모달리티의 경우, 변동성이 크기 때문에 여전히 데이터 부족 문제를 가진다. 이에, 최근 연구에서는 뇌신호의 시간-공간-주파수 특징을 적절하게 추출할 수 있는 딥 뉴럴 네트워크 구조를 설계하거나, 혹은 자가-지도 학습 방법을 도입하여 뇌신호의 신경생리학적 특징을 미리 학습하도록 한다. 본 논문에서는, 최근 각광받는 기술인 뇌-컴퓨터 인터페이스 및 피험자 상태 예측 등의 관점에서 소규모 데이터를 다루기 위해 적용되는 방법론에 대한 분석 및 향후 기술 방향성을 제시한다. 먼저 현재 제안되고 있는 뇌신호 표현을 위한 딥 뉴럴 네트워크 구조에 대해 분석한다. 또한 뇌신호의 특성을 잘 학습하기 위한 자가-지도 학습 방법론을 분석한다. 끝으로, 딥러닝 기반 뇌신호 분석을 위한 중요 시사점 및 방향성에 관하여 논한다. Recently, deep learning technology has become those methods as de facto standards in the area of medical data representation. But, deep learning inherently requires a large amount of training data, which poses a challenge for its direct application in the medical field where acquiring large-scale data is not straightforward. Additionally, brain signal modalities also suffer from these problems owing to the high variability. Research has focused on designing deep neural network structures capable of effectively extracting spectro-spatio-temporal characteristics of brain signals, or employing self-supervised learning methods to pre-learn the neurophysiological features of brain signals. This paper analyzes methodologies used to handle small-scale data in emerging fields such as brain-computer interfaces and brain signal-based state prediction, presenting future directions for these technologies. At first, this paper examines deep neural network structures for representing brain signals, then analyzes self-supervised learning methodologies aimed at efficiently learning the characteristics of brain signals. Finally, the paper discusses key insights and future directions for deep learning-based brain signal analysis.

입자군집 알고리즘 기반 다항식 뉴럴네트워크 연구

진용하(Yong-Ha Jin),김기상(Ki-Sang Kim),오성권(Sung-Kwun Oh) 한국지능시스템학회 2009 한국지능시스템학회 학술발표 논문집 Vol.19 No.1

본 연구에서는 최적 탐색 알고리즘인 입자군집최적화(Particle Swarm Optimization; PSO) 알고리즘을 이용하여 다항식 뉴럴네트워크(Polynomial Neural Network; PNN)의 최적 설계가 그 목적이다. PSO는 자연선택의 진화 메카니즘이 아닌 새 떼와 같은 생체군집의 사회적 행동양식을 바탕으로 한다. 기존의 PNN은 확장된 GMDH(Group Method of Data Handling) 방법에 기반을 두며, 네트워크의 성장과정을 통하여 각 층의 다항식 뉴런에서 미리 설정된 노드입력 및 입력 개수뿐만 아니라 다항식 차수를 이용하였다. 그러나 파라미터-즉, 입력변수의 개수, 입력변수, 및 다항식 차수-가 정해져 있다 보니 다양한 조건의 수행에 한계가 있다. 제안된 모델은 PSO를 이용하여 위 파라미터를 선택 동조함으로써 구조적으로 더 최적화된 네트워크가 되도록 한다. 또한 다른 지능모델보다 더 우수한 예측능력뿐만 아니라 높은 정확성을 가진 모델임을 보인다.

문자 수준 컨볼루션 뉴럴 네트워크를 이용한 추천시스템에서의 행렬 분해법 개선

손동희,심규석 한국정보과학회 2018 정보과학회 컴퓨팅의 실제 논문지 Vol.24 No.2

Recommendation systems are used to provide items of interests for users to maximize a company’s profit. Matrix factorization is frequently used by recommendation systems, based on an incomplete user-item rating matrix. However, as the number of items and users increase, it becomes difficult to make accurate recommendations due to the sparsity of data. To overcome this drawback, the use of text data related to items was recently suggested for matrix factorization algorithms. Furthermore, a word-level convolutional neural network was shown to be effective in the process of extracting the word-level features from the text data among these kinds of matrix factorization algorithms. However, it involves a large number of parameters to learn in the word-level convolutional neural network. Thus, we propose a matrix factorization algorithm which utilizes a character-level convolutional neural network with which to extract the character-level features from the text data. We also conducted a performance study with real-life datasets to show the effectiveness of the proposed matrix factorization algorithm. 추천시스템은 기업의 매출을 최대화 하기 위해, 사용자에게 관심도가 높은 제품을 제공해준다. 행렬 분해법은 추천시스템에서 자주 사용되는 방법으로 불완전한 사용자-제품 평점 행렬을 기반으로 한다. 하지만 제품과 사용자의 수가 점점 많아지면서, 데이터의 희소성문제로 인해 정확한 추천이 힘들어졌다. 이러한 문제점을 극복하기 위해, 제품과 관련된 텍스트 데이터를 사용하는 행렬 분해법 알고리즘이 최근에 제시되었다. 이런 행렬 분해법 알고리즘 중, 단어 수준 컨볼루션 뉴럴 네트워크를 사용하는 방법이 단어수준 특징들을 추출하여 텍스트 데이터를 효과적으로 반영한다. 하지만 단어수준 컨볼루션 뉴럴 네트워크에서는 학습해야 하는 파라미터의 수가 많다는 문제점이 있다. 그러므로 본 논문에서는 텍스트 데이터로부터 문자 수준 특징들을 뽑아 내기 위해 문자 수준 컨볼루션 뉴럴 네트워크를 사용하는 행렬분해법을 제안한다. 또한 제안하는 행렬 분해법의 성능을 검증하기 위해 실제 데이터를 이용하여 실험을 진행하였다.

뉴럴네트워크 기반의 유방암 조기 진단을 위한 분류

윤희진 한국융합학회 2017 한국융합학회논문지 Vol.8 No.12

유방암은 전체 여성의 암환자 중 두 번째로 많으며, 여성의 암으로 인한 사망 원인으로 가장 높은 것으로 나타났다. 유방암은 조기 발견 경우 완치율이 92%에 이른다. 하지만, 조기 발견을 하지 못할 경우 유방암은 전이 율이 매우 높다. 암세포의 전이는 암의 진행이 많이 될수록 다른 장기로의 전이가 더욱 잘 되는 것으로 나타났다. 암의 조기 진단은 삶의 질을 높일 수 있는 중요한 요소이다. 유방암을 검사하는 방법으로는 맘모그래피(Mammography), 초음파, 맘모톰(momotome) 등이 있다. 그 중 맘모그래피는 검사자에게 통증이 적을 뿐 아니라, 쉽게 접근할 수 있어 유방암 검사에 유용하게 사용된다. 본 논문에서는 유방암 진단 데이터로 맘모그래프 데이터를 사용하였다. 본 논문에서는 뉴럴네트워크인 NEWFM(Neural network with weighted fuzzy membership function)를 사용하여 암 조기 진단을 위한 클래스를 분류하였다. NEWFM을 이용하여 데이터를 학습시킨 후 유방암 데이터 분류 결과 정확도가 84.4391%가 나타났다. Breast cancer is the sccond most female cancer patient in the entire female cancer patient, and has emerged as the highest contributor to female cancer deaths. If breast cancer id detected early, the cure rate is 92 percent. However, if early detection fails, breast cancer has a very high rate of metastasis. The transition from cancer to cancer has become more successful as cancer progresses. Early diagnosis of cancer is an important factor in improving quality of life. Examples of breast cancer include Mammograph, ultrasound, and Momotome. Mommography is not only painful for the examiner, but also for easy access to breast cancer exam inations. In this paper, breast cancer diagnosis data mammograph data was used. In addition, the Neural Network were classified for early diagnosis of breast cancer early using NEWFM. After learning of data using NEWFM, the accuracy of the breast cancer data classification was 84.4391%.