경제조사에서의 이상치 탐지와 처리방법 = Outlier detection and treatment in industrial sampling survey

다국어 초록 (Multilingual Abstract)

Outliers in surveys can have a large effect on estimates of totals. This is especially true in business surveys where the populations are drawn are typically skewed. In this paper, we discussed the practical development and implementation of methods to identify and deal with outliers. A detection method is based on quartile method and detected outlier is processed in various ways. The study examines two versions of winsorised estimators with three different cut-off thresholds for each one. For the simulation study, four types of weight transformation function have been considered.

국문 초록 (Abstract)

통계조사에서 이상치는 총계추정에 큰 영향을 줄 수 있다. 통계조사에서 보고된 값은 극단적이 아니지만 그것의 가중치 (weight)가 커서 추정값에 큰 영향을 주거나, 극단값이라 해도 그것이 작은 가중치를 가질 때 추정에 큰 영향을 주지 않는 경우도 있다. 이러한 극단값이나 추정에 영향을 주는 값 들은 표본조사에서 민감하다. 일반적으로 치우친 분포를 가진 모집단에서 추출된 표본으로 조사를 하는 사업체 조사에서는 특별히 더 큰 영향을 준다. 본 연구에서는, 우리는 이상치를 판별하고 처리하는 방법에 대해서 다루고자 한다. 이상치 판별은 분위수에 기초해서 판정하였으며, 판정된 이상치는 여러 가지 다양한 방법을 적용해 보았다. 연구에서는 2가지 winsorised 방법과 세가지 cut-off 방법에 대하여 적용하였다. 그리고 시뮬레이션에서는 4가지 방법의 가중치를 각각 적용하여 진행하였다. 여러 가지 이상치 처리방법들을 비교해 본 결과 type I 윈저화 방법보다는 type II 윈저화 방법이 효율적인 결과값을 보여주었으며, 가중치 변환방법들 중에서는 제곱근 변환을 통한 가중치 감소방법이 다른 처리방법에 비해 좋은 결과값을 보여주었다.

참고문헌 (Reference)

1 김종태, "낙동강 본류 측정소들의 생물학적 산소요구량 수치에 대한 비모수적 회귀분석과 특이점분석" 한국데이터정보과학회 25 (25): 119-130, 2014

2 손기철, "그럽 및 코크란 검정을 이용한 임상자료의 이상치 판단" 한국데이터정보과학회 23 (23): 657-663, 2012

3 Chambers, R., "Winsorization for identifying and treating outliers in business surveys" American Statistical Association Alexandria 717-726, 2000

4 Jin Kim, "Weight Reduction Method for Outlier in Survey Sampling" 한국통계학회 13 (13): 19-27, 2006

5 Ishikawa, A., "Treatment of outliers in business surveys : The case of short-term economic survey of enterprises in Japan (Tankan)" Bank of Japan 2010

6 Mattews, S., "The outlier detection and treatment strategy for the monthly wholesale and retail trade survey of statistics Canada" Statistical Society of Canada 63-68, 2002

7 Hidiroglou, M. A., "Statistical editing and imputation for periodic business surveys" 12 : 73-83, 1986

8 송규문, "R을 이용한 이상점 탐지 알고리즘의 구현" 한국데이터정보과학회 22 (22): 449-458, 2011

9 Eltinge, J. L., "Outliers and influential observations in establishment surveys" Federal Economic Statistics Advisory Committee

10 Kokic, P. N., "Optimal winsorizing cutoffs for a stratified finite population estimator" 10 : 419-435, 1994

11 Tukey, J. W., "Exploratory Data Analysis" Addison-Wesley 1977

12 Lee, H., "Chapter 26 in Business Survey Methods" Wiley 1995