신경망 모델의 학습 특성 반영을 통한 Successive Halving Algorithm 개선 = Improving Successive Halving Algorithm by Considering the Learning Characteristics of Neural Network

다국어 초록 (Multilingual Abstract)

Hyperparameter search is a field which aims to find the optimal hyperparameter of a machine learning model. The Successive Halving Algorithm is a one of the hyperparameter search methods for neural network. This method has the advantage of fast searching compared to other techniques, but it has a disadvantage that it is difficult to find the optimal hyperparameter. In this paper, we propose a technique to effectively perform the Successive Halving Algorithm by considering the learning characteristics of neural network. We validate our technique on hyperperameter search for the image classification model, achieving higher performance compared to other techniques.

국문 초록 (Abstract)

초매개변수 탐색은 기계학습 모델의 최적 초매개변수를 찾기 위한 기법이다. Successive Halving Algorithm은 초매개변수탐색 기법의 하나로 신경망 모델의 초매개변수 탐색에 활용된다. 해당 기법은 다른 기법 대비 탐색이 빠르다는 장점을가지지만 최적 초매개변수를 찾기 어렵다는 단점이 있다. 본 논문에서는 신경망 모델의 학습 특성을 반영하여 Successive Halving Algorithm을 효과적으로 수행하는 기법을 제안한다. 제안 기법의 검증을 위하여 Convolutional Neural Network 구조 기반 이미지 분류 모델에 대한 초매개변수 탐색을 수행하였으며, 이를 통해 제안 기법이 기존 기법 대비 탐색을효과적으로 수행하는 것을 확인하였다.

참고문헌 (Reference)

1 장지연, "통합모델의 강수물리과정 모수 최적화를 위한 알고리즘 비교 연구 : 마이크로 유전알고리즘과 하모니 탐색 알고리즘" 한국지능시스템학회 27 (27): 79-87, 2017

2 박승민, "컨볼루션 신경망 기반 운동심상을 이용한 뇌의 연결성 분석 및 분류방법" 한국지능시스템학회 29 (29): 124-129, 2019

3 김희수, "제조공정 데이터의 불균형 해소를 위한 생성적 적대 신경망 기반 가상 데이터 생성 프레임웍" 한국지능시스템학회 29 (29): 1-8, 2019

4 김경태, "딥 러닝과 Boosted Decision Tree를 활용한 고객 이탈 예측모델" 한국지능시스템학회 28 (28): 7-12, 2018

5 류지열, "대용량 자료에 대한 서포트 벡터 회귀에서 모수조절" 한국지능시스템학회 25 (25): 15-21, 2015

6 J. Bergstra, "Random Search for Hyper-Parameter Optimization" 2012

7 J. Snoek, "Practical bayesian optimization of machine learning algorithms" 2012

8 K. Jamieson, "Non-stochastic best arm identification and hyperparameter optimization" 2016

9 B. Zoph, "Neural architecture search with reinforcement learning" 2017

10 K. Kandasamy, "Neural architecture search with bayesian optimisation and optimal transport" 2018

11 R. Luo, "Neural architecture optimization" 2018

12 A. Krizhevsky, "Learning Multiple layers of features from tiny images" 2009

13 T. DeVries, "Improved regulariation of convolutional neural networks with cutout"

14 이우영, "HS 알고리즘을 이용한 CNN의 Hyperparameter 결정 기법" 한국지능시스템학회 27 (27): 22-28, 2017

15 J. Lee, "An Efficient Algorithm for Searching Parameters of Support Vector Machine" 2016

16 D. Lee, "A Co-Evolutionary Approach for Learning and Structure Search of Neural Networks" 1997