기계학습 알고리즘의 컴퓨팅시간 단축을 위한 새로운 통계적 샘플링 기법

국문 초록 (Abstract)

기계학습에서 모형의 정확도와 컴퓨팅시간은 중요하게 다루어지는 부분이다. 일반적으로 모형을 구축하는 데 사용되는 컴퓨팅시간은 분석에 사용되는 데이터의 크기에 비례하여 커진다. 따라서 컴퓨팅시간 단축을 위하여 분석에 사용되는 데이터의 크기를 줄이는 샘플링전략이 필요하다. 하지만 학습데이터의 크기가 작게 되면 구축된 모형의 정확도도 함께 떨어지게 된다. 본 논문에서는 이와 같은 문제를 해결하기 위하여 전체데이터를 분석하지 않아도 전체를 분석할 때와 비슷한 모형성능을 유지할 수 있는 새로운 통계적 샘플링방법을 제안한다. 주어진 데이터의 구조에 따라 최선의 통계적 샘플링기법을 선택할 수 있는 기준을 제시한다. 군집, 층화, 계통추출에 의한 통계적 샘플링기법을 사용하여 정확도를 최대한 유지하면서 컴퓨팅시간을 단축할 수 있는 방법을 보인다. 제안방법의 성능을 평가하기 위하여 객관적인 기계학습 데이터를 이용하여 전체데이터와 샘플데이터 간의 정확도와 컴퓨팅시간을 비교하였다.

다국어 초록 (Multilingual Abstract)

Accuracy and computing time are considerable issues in machine learning. In general, the computing time for data analysis is increased in proportion to the size of given data. So, we need a sampling approach to reduce the size of training data. But, the accuracy of constructed model is decreased by going down the data size simultaneously. To solve this problem, we propose a new statistical sampling method having similar performance to the total data. We suggest a rule to select optimal sampling techniques according to given data structure. This paper shows a sampling method for reducing computing time with keeping the most of accuracy using cluster sampling, stratified sampling, and systematic sampling. We verify improved performance of proposed method by accuracy and computing time between sample data and total data using objective machine learning data sets.

목차 (Table of Contents)

• 요약
• Abstract
• 1. 서론
• 2. 통계적 샘플링
• 3. 새로운 통계적 샘플링기법을 이용한 기계학습 컴퓨팅 시간단축
• 4. 실험 및 결과
• 5. 결론
• 참고문헌
• 저자소개

참고문헌 (Reference)

1 김영원, "표본조사의 이해와 활용" 교우사 2006

2 손건태, "전산통계개론 - 통계적 모의실험과 추정 알고리즘 제4판" 자유아카데미 2005

3 S. Jun, "Web Usage Mining Using Evolutionary Support Vector Machine" Springer-Verlag 3809 : 1015-1020, 2005

4 "The UC Irvine Machine Learning Repository"

5 M.-H. Ha, "The Key Theorem of Learning Theory Based on Random Sets Samples" 2826-2831, 2007

6 T. Hastie, "The Elements of Statistical Learning" Springer 2001

7 Y. Tille, "Survey Sampling-Package 'sampling'" R-Project CRAN 2009

8 J. Wang, "Support vector machines based on K-means clustering for real-time business intelligent systems" 1 (1): 54-64, 2005

9 S. R. Gunn, "Support Vector Machines for Classification and Regression" University of Southampton 1998

10 전성해, "Support Vector Machine based on Stratified Sampling" 한국지능시스템학회 9 (9): 141-146, 2009

11 A. Ben-Hur, "Support Vector Clustering" 2 : 125-137, 2001

12 C. S. Ding, "Stratified Random Sampling for Power Estimation" 17 (17): 465-471, 1998

13 V. N. Vapnik, "Statistical Learning Theory" John Wiley & Sons 1998

14 S. K. Thompson, "Sampling, 2nd ed" John Wiley & Sons 2002

15 R Development Core Team, "R: A language and environment for statistical computing" R Foundation for Statistical Computing 2010

16 P. A. D. I. Santos, Jr., "Prograssive Random Sampling With Stratification" 37 (37): 1223-1230, 2007

17 T. M. Mitchell, "Machine Learning" McGraw-Hill 1997

18 전성해, "Improvement of SOM using Stratification" 한국지능시스템학회 9 (9): 36-41, 2009

19 B. Repley, "Feed-forward Neural Networks and Multinomial Log-Linear Models-Package 'nnet'" R-Project CRAN 2009

20 R. L. Scheaffer, "Elementary Survey Sampling 6th edition" Duxbury 2006

21 K.-H. Yang, "Correlation Coefficient Method for Support Vector Machine Input Samples" 2856-2861, 2006

22 V. N. Vapnik, "An Overview of Statistical Learning Theory" 10 (10): 988-999, 1999

23 W. Ng, "An Evaluation of Progressive Sampling for Imbalanced Data Sets" 657-661, 2006

24 M. Xing, "An Effective Stratified Sampling Scheme for Environment Maps with Median Cut Method" 384-389, 2006

25 M. Keramat, "A study of stratified sampling in variance reduction techniques for parametric yield estimation" 1652-1655, 1997

26 Z.-J. Chen, "A SVC Iterative Learning Algorithm Based on Sample Selection for Large Samples" 3308-3313, 2007

27 Y. S. Jia, "A New Nu-Support Vector Machine for Training Sets with Duplicate Samples" 4370-4373, 2005