학습률 적용에 따른 흉부영상 폐렴 유무 분류 비교평가

김지율,예수영 한국방사선학회 2022 한국방사선학회 논문지 Vol.16 No.5

This study tried to suggest the most efficient learning rate for accurate and efficient automatic diagnosis of medical images for chest X-ray pneumonia images using deep learning. After setting the learning rates to 0.1, 0.01, 0.001, and 0.0001 in the Inception V3 deep learning model, respectively, deep learning modeling was performed three times. And the average accuracy and loss function value of verification modeling, and the metric of test modeling were set as performance evaluation indicators, and the performance was compared and evaluated with the average value of three times of the results obtained as a result of performing deep learning modeling. As a result of performance evaluation for deep learning verification modeling performance evaluation and test modeling metric, modeling with a learning rate of 0.001 showed the highest accuracy and excellent performance. For this reason, in this paper, it is recommended to apply a learning rate of 0.001 when classifying the presence or absence of pneumonia on chest X-ray images using a deep learning model. In addition, it was judged that when deep learning modeling through the application of the learning rate presented in this paper could play an auxiliary role in the classification of the presence or absence of pneumonia on chest X-ray images. In the future, if the study of classification for diagnosis and classification of pneumonia using deep learning continues, the contents of this thesis research can be used as basic data, and furthermore, it is expected that it will be helpful in selecting an efficient learning rate in classifying medical images using artificial intelligence. 본 연구는 딥러닝을 이용한 흉부 X선 폐렴 영상에 대하여 정확하고 효율적인 의료영상의 자동진단을 위해서 가장 효율적인 학습률을 제시하고자 하였다. Inception V3 딥러닝 모델에 학습률을 0.1, 0.01, 0.001, 0.0001로 각각 설정한 후 3회 딥러닝 모델링을 수행하였다. 그리고 검증 모델링의 평균 정확도 및 손실 함수 값, Test 모델링의 Metric을 성능평가 지표로 설정하여 딥러닝 모델링의 수행 결과로 획득한 결과값의 3회 평균값으로 성능을 비교 평가하였다. 딥러닝 검증 모델링 성능평가 및 Test 모델링 Metric에 대한 성능평가의 결과, 학습률 0.001을 적용한 모델링이 가장 높은 정확도와 우수한 성능을 나타내었다. 이러한 이유로 본 논문에서는 딥러닝 모델을 이용한 흉부 X선 영상에 대한 폐렴 유무 분류 시 학습률을 0.001로 적용할 것을 권고한다. 그리고 본 논문에서 제시하는 학습률의 적용을 통한 딥러닝 모델링 시 흉부 X선 영상에 대한 폐렴 유무 분류에 대한 인력의 보조적인 역할을 수행할 수 있을 거라고 판단하였다. 향후 딥러닝을 이용한 폐렴 유무 진단 분류 연구가 계속해서 진행될 시, 본 논문의 논문 연구 내용은 기초자료로 활용될 수 있다고 여겨지며 나아가 인공지능을 활용한 의료영상 분류에 있어 효율적인 학습률 선택에 도움이 될 것으로 기대된다.

다중퍼셉트론의 강하 학습을 위한 최적 학습률

오상훈 한국콘텐츠학회 2004 한국콘텐츠학회논문지 Vol.4 No.3

This paper proposes optimal learning rates in the gradient descent training of multilayer perceptrons, which are a separate learning rate for weights associated with each neuron and a separate one for assigning virtual hidden targets associated with each training pattern. Effectiveness of the proposed error function was demonstrated for a handwritten digit recognition and an isolated-word recognition tasks and very fast learning convergence was obtained. 이 논문은 다층퍼셉트론의 학습을 빠르게 하기 위한 최적 학습률을 제안한다. 이 학습률은 한 뉴런에 연결된 가중치들에 대한 학습률과, 중간층에 가상의 목표값을 설정하기 위한 학습률로 나타난다. 그 결과, 중간층 가중치의 최적 학습률은 가상의 중간층 목표값 할당 성분과 중간층 오차함수를 최소화 시키고자 하는 성분의 곱으로 나타난다. 제안한 방법은 고립단어인식과 필기체 숫자 인식 문제의 시뮬레이션으로 효용성을 확인하였다.

학습률(Step-Size)변화에 따른 디지털 신호의 기계학습 방법 개선

지상민,박지은 한국디지털정책학회 2020 디지털융복합연구 Vol.18 No.2

Machine learning is achieved by making a cost function from a given digital signal data and optimizing the cost function. The cost function here has local minimums in the cost function depending on the amount of digital signal data and the structure of the neural network. These local minimums make a problem that prevents learning. Among the many ways of solving these methods, our proposed method is to change the learning step-size. Unlike existed methods using the learning rate (step-size) as a fixed constant, the use of multivariate function as the cost function prevent unnecessary machine learning and find the best way to the minimum value. Numerical experiments show that the results of the proposed method improve about 3%(88.8%→91.5%) performance using the proposed method rather than the existed methods. 기계학습은 주어진 디지털 신호 Data로부터 비용함수를 만들고, 그 비용함수를 최소화함으로 학습이 이루어진다. 비용함수는 디지털 신호 Data의 양과 인공신경망의 구조에 따라 비용함수에 부분 최솟값(local minimum)들이 생기게 된다. 비용함수의 부분 최솟값들은 학습을 방해하는 요소가 된다. 이러한 방법을 해결하는 여러 방법 중 우리의 제안 방법은 학습률(Step-size)을 변화시키는 방법이다. 학습률을 고정된 상수로 이용하는 기존의 방법과는 다르게 비용함수를 이용한 다변수함수를 이용함으로써 불필요한 기계학습이 이루어지는 것을 방지할 수 있으며, 최솟값으로 가는 최적의 길을 찾을 수 있다. 수치적 실험을 통하여 기존의 방법보다 우리가 제안하는 방법을 이용하여 약 3%(88.8%→91.5%)의 성능이 향상하는 결과를 얻었다.

퍼지 동적 학습률 제어 기반 하이브리드 RBF 네트워크

김광백(Kwang-Baek Kim),박충식(Choong-Shik Park) 한국컴퓨터정보학회 2014 韓國컴퓨터情報學會論文誌 Vol.19 No.9

FCM 기반하이브리드 RBF 네트워크는 서로 다른 학습 구조가 결합된 혼합형 모델로서, 입력층과 중간층의 학습 구조는 FCM 알고리즘을 적용하고, 중간층과 출력층 사이의 학습 구조는 Max_Min 알고리즘을 적용한다. 입력층과 중간층의 학습시 입력 벡터와 중간층의 노드 중에서 중심과 입력 벡터간의 가장 가까운 노드를 승자 노드로 선택하여 출력층으로 전달한다. 그리고 중간층과 출력층 사이의 학습구조인 Max_Min 신경망은 중간층의 승자 뉴런이 입력벡터로 적용된다. 그러나 많은 패턴이 입력벡터로 제시될 경우에는 학습성능이 저하되는 단점이 있다. 따라서 본 논문에서는 중간층과 출력층의 학습 구조인 Max_Min 알고리즘의 학습 성능을 향상시키기 위해 퍼지 논리 시스템을 이용한 학습률 자동 조정 방법을 제안한다. 제안된 방법은 목표값과 출력값의 차이에 대한 절대값이 0.1보다 적거나 같으면 정확성으로 분류하고 크면 부정확성으로 분류한다. 정확성의 총 개수를 퍼지 제어 시스템에 적용하여 학습률을 동적으로 조정한다. 제안된 방법의 학습 및 인식 성능을 평가하기 위해 컨테이너에서 추출한 숫자, 영문 식별자를 인식 및 성능평가 실험에 적용한 결과, 제안된 방법이 문자 패턴 인식에 효과적임을 확인할 수 있었다. The FCM based hybrid RBF network is a heterogeneous learning network model that applies FCM algorithm between input and middle layer and applies Max_Min algorithm between middle layer and output. The Max-Min neural network uses winner nodes of the middle layer as input but shows inefficient learning in performance when the input vector consists of too many patterns. To overcome this problem, we propose a dynamic learning rate control based on fuzzy logic. The proposed method first classifies accurate/inaccurate class with respect to the difference between target value and output value with threshold and then fuzzy membership function and fuzzy decision logic is designed to control the learning rate dynamically. We apply this proposed RBF network to the character recognition problem and the efficacy of the proposed method is verified in the experiment.

일반화 신경망의 개선된 학습 과정을 위한 최적화 신경망 학습률들의 효율성 비교

윤여창,이성덕,Yoon, Yeochang,Lee, Sungduck 한국통계학회 2013 응용통계연구 Vol.26 No.5

본 연구에서는 Liu 등의 학습 알고리즘과 Wu와 Zhang의 초기 가중값의 범위 설정, 그리고 Gunaseeli와 Karthikeyan의 초기 가중값에 관한 연구 결과를 이용하여 일반화 네트워크를 구할 수 있는 개선된 학습을 제안하고, 최적화된 신경망 학습률들을 이용하여 개선된 학습 과정의 학습효율등을 비교해 본다. 제시된 알고리즘을 이용한 학습에서 학습 초기에는 가장 단순한 학습 패턴과 은닉층으로부터 학습을 시작한다. 신경망 학습과정 중에 지역 최소값에 수렴되는 경우에는 가중값 범위 조정을 통하여 지역 최소값 문제를 해결하고, 지역 최소값으로부터 탈출이 용이하지 않으면 은닉노드를 점차적으로 하나씩 추가하면서 학습한다. 각 단계에서 새롭게 추가된 노드에 대한 초기 가중값의 선택은 이차계획법을 이용한 최적 처리절차를 이용한다. 최적 처리절차는 은닉층의 노드가 추가된 후의 새로운 네트워크에서 학습회수를 단순히 증가시키지 않아도 주어진 학습 허용오차를 만족시킬 수 있다. 본 연구에서 적용한 개선된 알고리즘을 이용하면서 초기 가중값들에 관한 기존 연구들을 적용하면 신경망 학습시의 수렴 정도를 높여주고 최소한의 단순 구조를 갖는 일반화 네트워크로 추정할 수 있게 된다. 이러한 학습률들을 변화시키는 모의실험을 통하여 기존의 연구 결과와의 학습 효율을 비교하고 향후 연구 방향을 제시하고자 한다. We propose a modified learning process for generalized neural network using a learning algorithm by Liu et al. (2001). We consider the effect of initial weights, training results and learning errors using a modified learning process. We employ an incremental training procedure where training patterns are learned systematically. Our algorithm starts with a single training pattern and a single hidden layer neuron. During the course of neural network training, we try to escape from the local minimum by using a weight scaling technique. We allow the network to grow by adding a hidden layer neuron only after several consecutive failed attempts to escape from a local minimum. Our optimization procedure tends to make the network reach the error tolerance with no or little training after the addition of a hidden layer neuron. Simulation results with suitable initial weights indicate that the present constructive algorithm can obtain neural networks very close to minimal structures and that convergence to a solution in neural network training can be guaranteed. We tested these algorithms extensively with small training sets.

퍼지 제어 시스템을 이용한 학습률 자동 조정 방법에 의한 개선된 역전파 알고리즘

김광백,박충식 한국정보통신학회 2004 한국정보통신학회논문지 Vol.8 No.2

본 논문에서는 역전파 알고리즘의 성능 개선을 위해 퍼지 제어 시스템을 적용하여 학습률을 자동으로 조정하는 개선된 역전파 알고리즘을 제안한다. 제안된 방법은 목표값과 출력값의 차이에 대한 절대값이 $\varepsilon$ 보다 적거나 같으면 정확성으로 분류하고 크면 부정확성으로 분류한다. 정확성과 부정확성의 개수를 퍼지 제어 시스템에 적용하여 학습률을 동적으로 조정한다. 제안된 방법을 XOR 문제와 숫자 패턴 분류에 적용하여 실험한 결과, 기존의 역전파 알고리즘, 모멘텀 방식, Jacob의 delta-bar-delta 방식보다 성능이 개선됨을 확인하였다. We propose an enhanced backpropagation algorithm by auto-tuning of learning rate using fuzzy control system for performance improvement of backpropagation algorithm. We propose two methods, which improve local minima and loaming times problem. First, if absolute value of difference between target and actual output value is smaller than $\varepsilon$ or the same, we define it as correctness. And if bigger than $\varepsilon$, we define it as incorrectness. Second, instead of choosing a fixed learning rate, the proposed method is used to dynamically adjust learning rate using fuzzy control system. The inputs of fuzzy control system are number of correctness and incorrectness, and the output is the Loaming rate. For the evaluation of performance of the proposed method, we applied the XOR problem and numeral patterns classification The experimentation results showed that the proposed method has improved the performance compared to the conventional backpropagatiot the backpropagation with momentum, and the Jacob's delta-bar-delta method.

심전도 패턴을 분류하기 위한 신경망 특성 평가

김만선 ( Man Sun Kim ),김원식 ( Wuon Shik Kim ),노기용 ( Gi Young No ),이상태 ( Sang Tae Lee ) 한국감성과학회 2003 춘계학술대회 Vol.2003 No.-

본 논문에서는 심근허혈 질환을 효율적으로 분류하기 위한 신경망을 설계하였다. European ST-T DB의 심전도로부터 ST 분절의 특징을 추출하여 입력노드를 결정하고 10개의 학습률과 학습 횟수에 따른 신경망의 MES를 계산하였다. 실험 결과 특징 파라미터의 조합을 ST0, ST80, Slope, Area로 하였을 때 MSE를 가장 작았다. 이러한 특징 파라미터를 이용하여 신경망의 입력으로 학습시킨 경우 학습 횟수의 증가에 따라 MSE가 지수합수적으로 감소하였으며 1,000회 이상에서는 둔하게 감소하였다. 또한 학습 횟수가 5,000회, 10,000회, 15,000회 각각의 경우에 대하여 학습률을 0.01부터 0.7까지 증가시키면서 MSE를 계산한 결과 학습 횟수가 증가할수록 MSE를 최소로 하는 최적학습률이 0.1부터 0.04까지 감소하였다.

신경망 학습의 일반화 성능향상을 위한 인자들의 결합효과

윤여창,Yoon YeoChang 한국정보처리학회 2005 정보처리학회논문지B Vol.12 No.3

The goal of this paper is to study the joint effect of factors of neural network teaming procedure. There are many factors, which may affect the generalization ability and teaming speed of neural networks, such as the initial values of weights, the learning rates, and the regularization coefficients. We will apply a constructive training algerian for neural network, then patterns are trained incrementally by considering them one by one. First, we will investigate the effect of these factors on generalization performance and learning speed. Based on these factors' effect, we will propose a joint method that simultaneously considers these three factors, and dynamically hue the learning rate and regularization coefficient. Then we will present the results of some experimental comparison among these kinds of methods in several simulated nonlinear data. Finally, we will draw conclusions and make plan for future work. 본 연구에서는 신경망 학습의 일반화 성능과 학습속도를 개선시키기 위한 인자들의 결합 효과를 살펴본다. 신경망 학습에서 중요한 평가 척도로서 여기서 고려하는 인자들에는 초기 가중값의 범위와 학습률 그리고 계수조정 등이 있다. 특히 초기 가중값과 학습률을 고정시킨 후 새롭게 조정된 계수들을 단계적으로 변화시키는 새로운 인자 결합방법을 이용한다. 이를 통하여 신경망 학습량과 학습속도를 비교해 보고, 계수조정을 통한 개선된 학습 영향을 살펴본다. 그리고 비선형의 단순한 예제를 이용한 실증분석을 통하여 신경망 모형의 일반화 성능과 학습 속도 개선을 위한 각 인자들의 개별 효과와 결합 효과를 살펴보고 그 개선 방안을 논의한다.

퍼지 제어 기법을 이용한 개선된 Max-Min 신경망

김광백,우영운,Kim, Kwang-Baek,Woo, Young-Woon 한국전자통신학회 2013 한국전자통신학회 논문지 Vol.8 No.8

본 논문에서는 퍼지 제어 기법을 적용하여 학습률을 자동으로 조정하는 개선된 Max-Min 신경망을 제안하였다. 개선된 Max-Min 신경망은 경쟁 단계에서 필요한 학습 시간을 줄이기 위하여, 정확성의 수와 부정확성의 수를 퍼지 제어 시스템의 입력으로 적용하여 학습률을 동적으로 조정하는 기법이다. 본 논문에서 제안된 방법을 실제 콘크리트 표면 균열 영상에서 추출한 균열의 방향성 패턴을 대상으로 인식 실험한 결과, 개선된 Max-Min 신경망이 효과적임을 확인할 수 있었다. In this paper, we proposed an enhanced Max-Min neural network by auto-tuning of learning rate using fuzzy control method. For the reduction of training time required in the competition stage, the method was proposed that arbitrates dynamically the learning rate by applying the numbers of the accuracy and the inaccuracy to the input of the fuzzy control system. The experiments using real concrete crack images showed that the enhanced Max-Min neural network was effective in the recognition of direction of the extracted cracks.

선택적 학습률을 활용한 학습법칙을 사용한 신경회로망

백용선(Young-Sun Baek),김용수(Yong-Soo Kim) 한국지능시스템학회 2010 한국지능시스템학회논문지 Vol.20 No.5

본 논문은 연결강도를 조정할 때 결정 경계선 근처에 있는 데이터를 더 반영하는 학습법칙을 제안하였다. 이 학습법칙은 outlier가 결정 경계선에 미치는 영향을 줄여 더 나은 결정 경계선을 형성하도록 한다. 제안하는 학습법칙을 IAFC(Integrated Adaptive Fuzzy Clustering) 신경회로망의 구조에 적용하였다. IAFC 신경회로망은 배운 것을 유지하는 안정성이 있으면서, 새로운 것을 배울 수 있는 안정성이 있다. 이 퍼지 신경회로망의 성능과 LVQ(Learning Vector Quantization) 신경회로망 및 오류역전파 신경회로망의 성능과 비교하였다. 실험결과 제안하는 퍼지 신경회로망의 성능이 우수함을 보여주었다. This paper presents a learning rule that weights more on data near decision boundary. This learning rule generates better decision boundary by reducing the effect of outliers on the decision boundary. The proposed learning rule is integrated into IAFC neural network. IAFC neural network is stable to maintain previous learning results and is plastic to learn new data. The performance of the proposed fuzzy neural network is compared with performances of LVQ neural network and backpropagation neural network. The results show that the performance of the proposed fuzzy neural network is better than those of LVQ neural network and backpropagation neural network.