온라인 패널 조사와 오프라인 대인면접 조사 간 데이터 품질 비교 = 신뢰도와 타당도를 중심으로

국문 초록 (Abstract)

본 연구는 동일한 표본추출방법을 통하여 얻은 온라인과 오프라인 표본에 대해 동일한 형태의 설문응답을 수집한 후, 온라인 데이터의 품질을 타당도(예측 타당도와 개념 타당도)와 신뢰도(동형검사 신뢰도와 내적 일관성)를 중심으로 오프라인 데이터와 비교ㆍ평가하였다. 비교결과, 온라인 조사는 오프라인 조사와 최소한 대등한 수준의 데이터 품질을 가지고 있으며, 평가차원에 따라서는 종종 오히려 더 우수한 데이터 품질을 갖는다는 것을 발견하였다. 주요 연구결과를 요약하면 다음과 같다. 첫째, 예측 타당도와 내적 일관성 신뢰도 측면에서는 온라인 조사가 오프라인 조사보다 우월하였다. 둘째, 개념 타당도와 동형검사 신뢰도의 측면에서는 온라인 조사와 오프라인 조사 간 차이가 없었다. 셋째, 오프라인 조사방식은 예측력 측면에서 설문문항의 난도의 고저에 따른 차이가 없었으나, 온라인 방식은 차이가 존재하였다. 온라인 조사의 경우 고난도 문항이 보다 낮은 수준의 예측 타당도를 갖고 있지만, 고난도 문항에 대한 예측 타당도는 오프라인 조사보다 우월하였다. 넷째, 개념 타당도와 동형검사 신뢰도의 경우, 온라인과 오프라인이라는 조사방식의 주 효과는 존재하지 않았으나 조사방식과 문항위치 간의 상호작용이 존재하였다. 온라인 조사에 있어서는 전반부에 문항이 위치한 경우에 보다 높은 수준의 개념 타당도와 동형검사 신뢰도를 가지는 데에 반해, 오프라인 조사는 역의 관계를 보였다.

다국어 초록 (Multilingual Abstract)

This paper empirically investigates qualities of on-line panel and off-line interview survey data. To this end, both on-line and off-line data are collected by using exactly same sampling schemes and questionnaires and then the qualities of both data sets were evaluated in terms of validities, predictive validity and construct validity, and reliabilities, parallel form reliability and internal consistency. Empirical examinations showed that the qualities of on-line data were as good as, and often better than, those of off-line data. Specifically, the major findings can be summarized as follows: (ⅰ) On-line data were superior to off-line data in terms of predictive validity and internal consistency. (ⅱ) On-line data were comparable to off-line data in terms of construct validity and parallel form reliability. (ⅲ) There existed an interaction effect of data collection modes and question difficulties on predictive validity; more difficult questions had lower predictive validity than less difficult ones in on-line data but predictive validity was not affected by the changes in question difficulties in off-line data case; it was also notable that more difficult questions in on-line data had still higher predictive validity than those in off-line data. (ⅳ) For the construct validity and the parallel form reliability, there was an interaction effect of data collection modes and question positions; it would be better to ask questions in the earlier(later) part of questionnaires for the on-line(off-line) data collection method.

참고문헌 (Reference)

1 제일기획 마케팅 연구소, "한국인의 라이프 스타일과 소비행동" 경문사. 1998

2 권익현, "패널을 이용한 온라인 서베이와 오프라인 서베이 데이터 사이의 신뢰도에 대한 탐색적 연구" 34 (34): 1261-1278, 2005

3 송해룡, "정보미디어·서비스의 여가적 수용에 관한 시론적 연구-이론적 가능성과 경험적 탐색-" 한국방송학회 2003 (2003): 167-195, 2003

4 류진화, "전자우편을 이용한 설문조사시 응답률, 응답속도, 자료의 질에 미치는 요인들에 관한 연구" 32 (32): 475-498, 2003

5 김종훈, "전자우편 설문조사 반응에 관한 문헌적 고찰" 3 (3): 91-122, 2002

6 명승환, "인터넷조사방법론의가능성과쟁점:행정학회회원들에대한 설문조사결과를 토대로" 한국행정학회 36 (36): 333-351, 2002

7 채서일, "사회과학 조사 방법론" 학현사 1998

8 이군희, "사회과학 연구방법론" 법문사 2005

9 문시연, "데이터 수집 과정의 품질향상을 위한 방안 모색" 한국마케팅여론조사협회 17-27, 2005

10 Couper, M. P, "Web Surveys:A Review of Issues and Approaches" 64 (64): 464-494, 2000

11 Couper, M. P, "Web Survey Design and Administration" 65 (65): 230-253, 2001

12 Braithwaite, D, "Using the Internet to Conduct Surveys of Health Professionals: a Valid Alternative?" 20 (20): 545-551, 2003

13 Terhanian, G, "Under- standing the Online Population: Lessons from the Harris Poll and the Harris Poll Online" Advertising Research Foundation 28-33, 1999

14 Oosterveld, P, "Two Modalities, One Answer? Combining Internet and CATI Surveys Effectively" ESOMAR Technovate Conference 133-154, 2003

15 McKane, R, "Traditional vs. Web: Business-to-business Panel Research in the Internet Age: The Bell Atlantic Case" ESOMAR 323-335, 2000

16 Dahan, E, "The Virtual Customer" 19 (19): 332-354, 2002

17 Terhanian, G, "The Record of Internet-Based Opinion Polls in Predicting the Results of 72 Races in the November 2000 US Elections" 43 (43): 127-138, 2001

18 Hoppe, M, "The Quality of Online Panels: A Methodological Test" ESOMAR 4 : 243-262, 2001

19 Rosenbaum, "The Central Role of the Propensity Score in Observational Studies for Causal Effects" 41-45, 1983

20 Siegler, "Social Psychological Aspects of Computer- mediated Communication" 1123-1234, 1984

21 Rathod, S, "Question- naire Length and Fatigue Effects: Does Size Really matter?" ESOMAR 73-87, 2005

22 Terhanian, G, "Propensity Score Matching as a Bias Correction Method for Internet-based Studies" American Statistical Association 34-58, 2004

23 Sheehan, K. B, "Online Research Metho- dology: Reflections and Speculations" 3 (3): 2002

24 van Zyl, J. M, "On the Distribution of the Maximum Likelihood Estimator of Cronbach's Alpha" 65 : 271-280, 2000

25 Schillewart, N, "Non-Probability Sampling for WWW Surveys: A Comparison of Methods" 40 (40): 307-317, 1998

26 Dibb, S, "New Survey Medium: Collecting Marketing Data with E-mail and the World Wide Web" 10 (10): 17-25, 2001

27 Ray, "Maximizing the Response-Rate in Surveys May be a Mistake" 5721-573, 1987

28 Toubia, O, "Fast Polyhedral Adaptive Conjoint Estimation" 22 (22): 273-303, 2003

29 Green,P, "Conjoint Measurement for Quantifying Judgemental Data" 8 : 355-363, 1971

30 Campbell, "Con- vergent and Discriminant Validation by the Multitrait-Multimethod Matrix" 81-105, 1959

31 Tse, A, "Comparing the Response Rate, Response Speed and Response Quality of Two Methods of Sending Questionnaires: E-mail vs. Mail" 40 (40): 353-363, 1998

32 Meulemeester, P, "Comparing Response Distributions of Offline and Online Data Collection Methods" 47 (47): 163-178, 2005

33 "Comparing Data Qualities of On-line Panel and"

34 Olson, "Annual Review of Psychology" 117-154, 1993

35 Fricker, S, "An Experimental Comparison of Web and Telephone Surveys" 69 (69): 370-392, 2005

36 Krosnick, J, "A Comparison of the Random Digit Dialing Telephone Survey Methodology with Internet Survey Methodology as Implemented by Knowledge Networks and Harris Interactive" Ohio State University 2001

37 Klein, D, "A Comparison Of Response Characteristics From Web And Telephone Surveys" 46 (46): 359-373, 2004

38 한국인터넷진흥원, "2005년 상반기 정보화 실태조사 최종보고서" 한국인터넷진흥원 2005년8월