준지도 학습의 모수 선택에 관한 연구 = Smoothing parameter selection in semi-supervised learning

국문 초록 (Abstract)

반응 값이 없는 자료를 지도학습 (supervised learning)에 사용하는 준지도 학습 (semisupervised learning)은 분류에 더 많은 관심을 갖는다. 본 연구는 준지도학습을 회귀분석에 적용하는 준지도 회귀함수 추정법을 제안한다. 제안된 방법은 기존의 방법과 형태는 같지만 반응 값이 있는 자료와 없는 자료의 주변분포를 다르게 가정하고, 서로 다른 평활계수를 사용하는 등 좀 더 일반화된 형태를 가진다. 제안된 추정법의 점근분포를 계산하고 점근평균제곱오차를 최소화하는 최적의평활계수가 가지는 조건을 찾는다. 설명변수의 주변분포에 대한 추정이 잘 이루이지고, 반응 값이 있는 자료와 없는 자료의 크기에 대한 조건을 적절하게 통제할 수 있고, 그리고 평활계수가 적절하게 선택될 수 있다면 라벨없는 자료가 회귀분석에서도 도움을 줄 수 있음을 보인다. 그리고 준지도 분류에서 사용하는 것처럼 반응 값이 없는 자료의 초기추정은 작은 값을 가지는 평활계수를 사용하여 과적합(overfitting)되도록 하는 것이 좋음을 증명한다.

다국어 초록 (Multilingual Abstract)

Semi-supervised learning makes it easy to use an unlabeled data in the supervised learning such as classification. Applying the semi-supervised learning on the regression analysis, we propose two methods for a better regression function estimation. The proposed methods have been assumed different marginal densities of independent variables and different smoothing parameters in unlabeled and labeled data. We shows that the overfitted pilot estimator should be used to achieve the fastest convergence rate and unlabeled data may help to improve the convergence rate with well estimated smoothing parameters. We also find the conditions of smoothing parameters to achieve optimal convergence rate.

참고문헌 (Reference)

1 석경하, "준지도 커널능형회귀모형에 관한 연구" 한국데이터정보과학회 24 (24): 341-353, 2013

2 석경하, "Study on semi-supervised local constant regression estimation" 한국데이터정보과학회 23 (23): 579-585, 2012

3 Lafferty, J., "Statistical analysis of semi-supervised regression" 20 : 801-808, 2008

4 Watson, G. S., "Smooth regression analysis" 26 : 359-372, 1964

5 석경하, "Semisupervised support vector quantile regression" 한국데이터정보과학회 26 (26): 517-524, 2015

6 Xu, S., "Semisupervised least squares support vector regression machines" 8 : 885-892, 2011

7 Wei, R., "Semi-supervised learning via nonnegative least squares regression" 15 : 105-116, 2015

8 Zhu, D., "Semi-supervised learning literature survey" University of Wisconsin 2005

9 Chapelle, O., "Semi-supervised learning" MIT Press 2006

10 Wang, M., "Semi-supervised kernel regression" 1130-1135, 2006

11 Cortes, C., "On transductive regression" 19 : 305-312, 2007

12 Nadaraya, E. A., "On estimating regression" 9 : 141-142, 1964

13 Xu, Z., "More than semi-supervised learning" LAP LAMBERT Academic Publishing 2010

14 Niyogi, P., "Manifold regularization and semi-supervised learning: Some theoretical analyses" University of Chicago 2008

15 Belkin, M., "Manifold regularization : A geometric framework for learning from labeled and unlabeled examples" 7 : 2399-2434, 2006

16 Suykens, J. A. K., "Least squares support vector machines" World Scientific 2002

17 Zhu, X., "Introduction to semi-supervised learning" Morgan & Claypool 2009

18 Liu, B., "Constrained least squares regression for semi-supervised learning" 8444 : 110-121, 2014

19 Wasserman, L., "All of nonparametric statistics" Springer 2006