한국 사회조사 단위무응답 처리를 위한 최적의 보조정보 구성에 관한 실증적 연구 = Treatment of unit non-response in Korean Social Survey

다국어 초록 (Multilingual Abstract)

Unit non-response is inevitable in most surveys. Statistics Korea had used substitution traditionally as a way to mitigate non-response issues. Due to serious concerns associated with selection bias in substitution, since 2016, Statistics Korea no longer uses substitution and has made attempt to investigate the ways to detect and handle non-response bias. In particular, there is considerable amount of paradata and administrative data available at Statistics Korea that can be used for non-response adjustment.
This study compares different adjustment approaches for non-response in the Korean Social Survey. Using the 2016 Korean Social Survey as a pseudo-population, a simulation study was carried out where samples were generated under various non-response mechanisms and non-response was corrected for using paradata and administrative data through weighting. Results indicates that weighting adjustment is effective in reducing non-response bias in the Korean Social Survey. In particular, including administrative data in the adjustment improves the effectiveness.

국문 초록 (Abstract)

모든 가구 표본조사는 어떠한 이유에서든 무응답을 필연적으로 수반할 수밖에 없다. 대부분 무응답은 비접촉과 응답거부 형태로 이루어진다. 사회조사는 이러한 무응답에 관한 문제를 제거하기 위해 조사현장에서 표본대체(substitution) 방법을 사용해 왔다. 하지만 표본대체 방법은 선택편향 및 특정 계층에서 체계적 오차 발생 등에 대한 오랜 논란이 있어, 이를 불식시키기 위해 2016년 조사부터는 무응답에 대한 탐색 및 처리를 위한 새로운 방법을 도입했다. 무응답 처리를 위해 필수적으로 필요한 보조정보(auxiliary information)를 파라데이터(paradata)와 행정자료로 부터 확보가 가능했기 때문이다. 이 연구에서는 사회조사에 적합한 무응답 처리 방법을 위해 모의실험을 전개한다. 2016년 사회조사 결과를 준모집단(pseudo-population)으로 간주하여 일부 표본자료를 300회 추출하고, 여기에서 6가지 무응답 메커니즘에 따라 무응답을 발생시키고 나서 가중값 조정법을 통해 무응답을 처리한다. 무응답 처리를 위해서는 무엇보다 응답성향과 관련 있고 동시에 조사변수와 연관성 높은 보조정보 구성이 중요하다. 보조정보 구성은 무응답 편향, 분산, 설계효과 등에 직접적 영향을 미치고 있음을 확인 할 수 있었다. 무응답 처리결과를 보면, 주요 조사변수와 관련성이 높은 파라데이터와 행정자료로부터 통합자료를 보조정보로 구성한 경우에 무응답 처리 성능이 더욱 우수하며, 특히 비임의결측(NMAR) 자료의 경우에도 유의미한 결과를 보여준다.

참고문헌 (Reference)

1 통계청, "표본설계 기준 및 지침, <통계청 내부자료>" 통계청 2016

2 "통계청 2017년 가계금융‧복지조사"

3 이승희, "총조사 오차(Total Survey Error)의 패러다임으로 이해하는 표본조사" 통계청 15 (15): 44-74, 2010

4 김정섭, "총오차 축소를 위한 Paradata 수집방안, <2010년 상반기 연구보고서 제Ⅱ권>" 62-110, 2010

5 김서영, "무응답가구의 특성 분석 사례연구" 한국조사연구학회 14 (14): 31-67, 2013

6 김서영, "가구 면접조사에서 무응답률과 무응답 편향, <2010년 상반기연구보고서 제Ⅱ권>" 111-164, 2010

7 변종석, "가계금융․복지조사의 무응답 처리를 위한 유용한 보조정보 선정" 한국조사연구학회 14 (14): 69-91, 2013

8 Kalton, G., "Weighting methods" 19 (19): 81-97, 2003

9 Kish, L., "Weighting for unequal Pi" 8 (8): 183-200, 1992

10 Lin, I.-F., "Using Survey Participants to Estimate the Impact of Nonparticipation" 59 : 236-258, 1995

11 Kreuter, F., "Using Proxy Measures and Other Correlates of Survey Outcomes to Adjust for Non-Response: Examples from Multiple Surveys" 173 : 389-407, 2010

12 Bover, O., "The Spanish Survey of Household Finances (EFF): Description and Methods of the 2008 wave" Bank of Spain, Working Paper 2011

13 Stoop, I. A. L., "The Hunt for the Last Respondent: Nonresponse in Sample Surveys" Social and Cultural Planning Office 2005

14 Curtin, R., "The Effects of Response Rate Changes on the Index of Consumer Sentiment" 64 : 413-428, 2000

15 Weeks, M. F., "Telephone Survey Methodology" Wiley 403-420, 1988

16 "Survey of Income and Program Participation 2014 Nonresponse Bias Report"

17 de Leeuw, E., "Survey nonresponse" Wiley 41-54, 2002

18 Kish, L., "Survey Sampling" John Wiley & Sons 1965

19 Olson, K., "Survey Participation, Nonresponse Bias, Measurement Error Bias, and Total Bias" 70 : 737-758, 2006

20 Statistics Canada, "Survey Methods and Practices" Statistics Canada 2003

21 Groves, R. M., "Survey Errors and Survey Costs" John Wiley &Sons 1989

22 Little, R.J.A., "Statistical Analysis with Missing Data" John Wiley & Sons 1987

23 West, B. T., "Paradata in Survey Research: Examples, Utility, Quality, and Future Directions" 4 (4): 2011

24 Little, R.J.A., "On weighting the rates in nonresponse weights" 22 : 1589-1599, 2003

25 Deming, W.E., "On a Least Square Adjustment of a Sampled Frequency Table When the Expected Marginal Totals are Known" 11 : 427-444, 1940

26 Atrostic, B.K., "Nonresponse in U.S. Government Household Surveys: Consistent Measures, Recent Trends, and New Insights" 17 : 209-226, 2001

27 Groves, R. M., "Nonresponse Rates and Nonresponse Bias in Household Surveys" 70 (70): 646-675, 2006

28 Little, R. J. A., "Models for Nonresponse in Sample Surveys" 77 : 237-250, 1992

29 Dillman, D. A., "Mail and Internet Surveys: The Tailored Design Method" John Wiley 2000

30 Bethlehem, J.G., "Linear Weighting of Sample Survey Data" 3 : 141-153, 1987

31 Rubin, D. B., "Inference and Missing Data" 63 : 581-592, 1976

32 Oh, H.L., "Incomplete data in sample surveys" Academic Press 143-184, 1983

33 Paul, D. A., "Handling Missing Data by Maximum Likelihood" SAS Global Forum 312-2012, 2012

34 Bethlehem, J., "Handbook of Nonresponse in Household Surveys" John Wiley & Sons 2011

35 Brick, J.M., "Explaining Rising Nonresponse Rates in Cross-Sectional Surveys" 645 (645): 36-59, 2013

36 Molenberghs, G., "Every Missingness not at Random Model has a Missingness at Random Counterpart With Equal Fit" 70 : 371-388, 2008

37 Matei, A., "Dealing with non-ignorable nonresponse in survey sampling: A latent modeling approach" 41 (41): 145-164, 2015

38 Guillaume, O., "Dealing with Non-ignorable Non-response using Generalised Calibration: A Simulation Study based on the Luxemburgish Household Budget Survey, Working Papers" 2013

39 Deville, J.C., "Calibration Estimators in Survey Sampling" 87 : 376-382, 1992

40 Brick, J.M., "Analysis of Nonresponse Bias in the Base Year, Early Childhood Longitudinal Study: Kindergarten Class of 1998-99. Unpublished Report" National Center For Education Statistics 2000

41 David, M., "Alternative Methods for CPS Income Imputation" 81 : 29-41, 1986

42 Steele, F., "Alternative Approaches to Multilevel Modelling of Survey Non-Contact and Refusal" 79 : 70-91, 2011

43 Rizzo, L., "A comparison of some weighting adjustment methods for panel nonrseponse" 22 : 43-53, 1996

44 Sukasih, A., "A Simulation Study to Compare Weighting Method for Nonresponse in the National Survey of Recent College Graduates" JSM 2009

45 UNECE, "A Handbook of Principles and Practices" UNECE 2011

46 Kalton, G., "A Comparison of Methods of Weighting Adjustments for Nonresponse, paper presented at the 1991 Census Research Conference"

47 Sharon L. Lohr., "2nd Ed" Cengage Learning 2010

48 통계청, "2016년 사회조사 표본설계 보고서, <통계청 내부자료>" 통계청 2016

49 통계청, "2016 인구주택총조사 전수 집계결과 보도자료, <통계청 보도자료>" 통계청 2017

50 통계청, "2015년 사회조사 조사과정 자료(Paradata) 분석, <통계청 내부자료>" 통계청 2016