설문조사 방식에 따른 비표본오차에 관한 연구 - TAPI와 PAPI 조사방식의 비교를 중심으로 = Does the choice of a survey method affects results? - Comparison of TAPI and PAPI methods

다국어 초록 (Multilingual Abstract)

Along with the development of diverse survey methods adopting information technology, many express concern that the choice of survey methods can affect responses, and tend to support the tradition paper-based survey. This study examined the difference of response results between PAPI and TAPI using 「public officials' survey on public sector performance」 comprehensively covering public officials in Korea. Our major finding suggests that there is no systematic difference between two methods even though we performed the comparison using simple two-group t-test, multiple regression, and regression decision tree. The finding is highly consistent regardless of the contents, scale, or dimension reduction of questionaires. Hence we conclude that TAPI shows high potential as an alternative PAPI which is costly and inconvenient.

국문 초록 (Abstract)

인터넷과 테블릿 PC 등 새로운 설문조사 도구의 활용이 늘어나면서, 설문조사 도구의 선택이 연구결과에 영향을 미치는지에 대한 의구심이 증대되고 있다. 본 연구는 종이설문지 방식(PAPI)과 테블릿 PC 방식(TAPI)을 함께 사용한 공무원 인식조사를 통해, 응답결과에 차이가 존재하는지를 분석하였다. 분석결과, 첫째, 거의 모든 문항에서 설문조사 방식에 따른 개별 문항의 응답결과에 통계적인 차이가 없었다. 둘째, 응답자의 개인특성을 통제한 회귀분석의 결과도 대부분의 모형에서 설문조사방식의 회귀계수는 통계적으로 유의미하지 않은 것으로 나타났다. 셋째, 분류나무분석 결과에서도 설문문항 중 어떠한 변수도 설문조사방식을 예측하는데 유효하지 않음을 확인하였다.
기존의 종이설문 방식과 새로운 기술기반 설문조사 방식 간에 통계적으로 유의미한 응답의 차이를 찾을 수 없다는 본 연구 결과는 새로운 설문조사 도구의 적극적 활용가능성을 보여준다. 이러한 결과는 상대적으로 낮은 조사비용, 무작위 질문구성을 비롯한 다양한 설문방식의 구현 가능성, 디지털 세대의 높은 친근감 등의 특성을 가진 설문조사 도구인 기술기반의 TAPI나 CAPI와 같은 효율적인 조사도구를 행정학 연구에 적극적으로 활용할 필요가 있음을 보여준다.

참고문헌 (Reference)

1 "한국사회과학자료원"

2 이건, "표본조사를 활용하는 사회과학연구에서 발생하는 오차에 대한 개념적 고찰" 17 (17): 77-118, 2014

3 김병섭, "편견과 오류 줄이기: 조사연구의 논리와 기법" 법문사 2010

4 김지혜, "종이책과 태블릿 PC를 이용한 e-book 읽기 후 자각증상과 읽기속도의 상관성" 한국안광학회 23 (23): 151-161, 2018

5 양수완, "종이책과 전자책의 적소 관계 분석" 한국비블리아학회 28 (28): 481-500, 2017

6 김권현, "설문지의 길이가 응답의 질에 미치는 영향" 한국조사연구학회 16 (16): 1-48, 2015

7 이광석, "설문지와 인터뷰의 언어구성에 관한 연구: 「한국행정학보」와 「지방정부연구」에 수록된 논문을 중심으로" 한국지방정부학회 17 (17): 165-191, 2014

8 심형인, "설문조사에서의 질문문항순서 및 선택지순서 효과: 한국문화 측정 문항을 중심으로" 한국행정학회 51 (51): 145-169, 2017

9 김기환, "설문조사에서 응답자에게 영향을 주는 요인에 관한 연구" 2002 : 215-224, 2002

10 고길곤, "설문조사에서 응답시간의 영향요인과 활용방안에 대한 연구 - 행정만족도 조사의 사례를 중심으로 -" 한국정책학회 25 (25): 211-242, 2016

11 고길곤, "설문조사에서 문항의 역코딩 여부가 응답결과에 미치는 영향: 자아존중감과 자기효능감 측정 사례를 중심으로" 한국행정학회 49 (49): 515-539, 2015

12 고길곤, "설문조사 연구에서 결측치의 영향과 대체방법의 적절성에 대한 실증연구" 한국정책분석평가학회 24 (24): 49-75, 2014

13 고길곤, "설문자료의 결측치 처리방법에 관한 연구: 다중대체법과 재조사법을 중심으로" 한국행정연구소 54 (54): 291-319, 2016

14 고길곤, "설문순서에 따른 응답오차의 유무와 원인에 대한 연구" 168-189, 2014

15 송인덕, "서베이 모드와 사회적 바람직함 편향: 민감한 주제에 대한 전화 면접, 대면 면접, 온라인 서베이 응답 비교" 한국조사연구학회 14 (14): 165-199, 2013

16 Fleming, C. M., "Web-based surveys as an alternative to traditional mail methods" 90 (90): 284-292, 2009

17 Biemer, P. P., "Total survey error: Design, implementation, and evaluation" 74 (74): 817-848, 2010

18 Weisberg, H. F., "The total survey error approach: A guide to the new science of survey research" University of Chicago Press 2009

19 Dillman, D. A., "Survey mode as a source of instability in responses across surveys" 17 (17): 30-52, 2005

20 "SAS/STAT® 14.1 User’s Guide The hpsplit procedure"

21 Koons, D. A., "Quality control and measurement of nonsampling error in the Health Interview Survey" 2 (2): 1973

22 Assael, H., "Nonsampling vs. sampling errors in survey research" 46 (46): 114-123, 1982

23 "Marketlinks"

24 Newell, S. M., "Evaluating tablet computers as a survey tool in rural communities" 31 (31): 108-117, 2015

25 Dalenius, T., "Bibliography on Non-Sampling Errors in Surveys: I (A to G)" 71-89, 1977

26 Greenlaw, C., "A comparison of web-based and paper-based survey methods: testing assumptions of survey mode and response cost" 33 (33): 464-480, 2009