딥러닝 모델 설계를 위한 모델 패턴 추출 및 시각화

국문 초록 (Abstract)

최근 공개되고 있는 딥러닝 모델의 계층구조는 복잡한 형태를 갖는 경향을 보인다. 이러한 딥러닝 모델의 계층구조는 한눈에 파악하기 힘들고 재사용하기 힘들다는 어려움이 있다. 따라서 이 논문에서는 딥러닝 모델의 재사용과 가시화를 위해 복잡한 구조의 딥러닝 모델로부터 반복되는 계층을 추출하고, 모듈화하는 방법을 제안한다. 제안한 방법은 딥러닝 모델을 그래프 구조로 표현하고, 패턴 추출 과정에서 부분 그래프 마이닝 기법과 부분 패턴 마이닝 기을 단계적으로 거쳐 반복되는 패턴을 추출한다. 추가적으로, GUI 기반 에디터를 구현하여 복잡한 딥러닝 모델의 구조를 추상화함으로써 모델의 계층구조를 단순하게 표현할 수 있을 뿐만 아니라 기존 딥러닝 모듈의 효율적인 재사용이 가능하도록 지원한다.

다국어 초록 (Multilingual Abstract)

Recent deep learning models tend to have a complex architecture. But it is hard for developers to grasp such hierarchical structure of the deep learning models and it is also difficult to reuse existing deep learning models. To solve these problems, we propose a method of extracting and modularizing repeated layers from a deep learning model for model reuse and visualization. Each repeating pattern is extracted by subgraph mining and frequent pattern mining. We also propose the GUI based editor which not only displays more simplified structure by abstract of original structure but also provides deep learning model reuse.

목차 (Table of Contents)

• 요약
• Abstract
• 1. 서론
• 2. 관련연구
• 3. 제안하는 딥러닝 모델 패턴 추출 방법
• 4. 결론 및 향후 연구
• References

참고문헌 (Reference)

1 이상연, "토픽 모델링을 이용한 댓글 그래프 기반 소셜 마이닝 기법" 한국지능시스템학회 24 (24): 640-645, 2014

2 박기성, "유향그래프에서 동시발생 부분그래프 마이닝" 한국정보과학회 30 (30): 45-56, 2014

3 이수용, "시계열 자료의 데이터마이닝을 위한 패턴분류 모델설계 및 성능비교" 한국지능시스템학회 21 (21): 730-735, 2011

4 이준석, "데이터 마이닝을 통한 기술경영 전략 수립에 관한 연구" 한국지능시스템학회 25 (25): 126-132, 2015

5 김만선, "데이터 마이닝에서 패턴 분류를 위한 다중 SVM 분류기" 한국지능시스템학회 15 (15): 289-293, 2005

6 최재원, "감정 인식 및 강화학습 기법을 이용한 사용자 맞춤형 협동 로봇 모션 생성" 한국지능시스템학회 27 (27): 475-485, 2017

7 S. Hong, "The Analysis and Visualization System of Traffic Accident Unstructured Data based on GIS using Collective Intelligence" 24 (24): 169-170, 2014

8 J. Pei, "Prefixspan: Mining sequential patterns efficiently by prefixprojected pattern growth" 2001

9 A. Krizhevsky, "One weird trick for parallelizing convolutional neural networks"

10 K. S. Park, "Machine learning Model Script Generation with GUI-based Model Design" 441-442, 2018

11 Y. Bengio, "Learning long-term dependencies with gradient descent is difficult" 5 : 2-, 1994

12 김유환, "Inception 모듈을 이용한 Comparative Convolutional Neural Network 기반 나이추정 기법" 한국지능시스템학회 28 (28): 193-200, 2018

13 A. Krizhevsky, "Imagenet classification with deep convolutional neural networks" 2012

14 "H2O Driverless AI"

15 C. Szegedy, "Going Deeper with Convolutions"

16 M. Feurer, "Efficient and robust automated machine learning" 2962-2970, 2015

17 K. He, "Deep residual learning for image recognition" 770-778, 2016

18 P. Kim, "Concepts for Efficiently Merging on GPUs" 20 (20): 231-234, 2010

19 C. Thornton, "Auto-WEKA : Combined selection and hyperparameter optimization of classification algorithms" 847-855, 2013

20 K. M. Lee, "A Deep Learning Model Generation Method for Code Reuse and Automatic Machine Learning" 47-52, 2018