TIMSS 2019 과학 문항에서 컴퓨터 기반 평가와 지필 평가 간의 검사 매체 차이 탐색 = The Study of the Mode Effect between Computer-based and Paper-based Science Tests in TIMSS 2019

국문 초록 (Abstract)

본 연구는 국제 학업성취도 평가인 TIMSS 2019 사전검사에서 지필 평가와 컴퓨터 기반 평가로 시행된 과학 평가 문항을 분석하여 검사 매체에 따라 문항 정답률에 영향을 미치는지를 문항 및 학년별로 살펴보았다. 그 결과, 4학년과 8학년 모두 검사 매체에 따른 과학과 문항 정답률 차이가 크지 않았다. 학년별로 살펴보면, 8학년보다는 4학년의 경우 정답률 차이가 상대적으로 크게 나타났다. 문항별로 살펴보면, 선다형 문항보다는 서답형 문항의 경우 정답률 차이가 상대적으로 크게 나타났다. 검사 매체 영향에 대한 과학과 평가 문항 내용을 분석한 결과로는 선다형 문항은 지필 평가와 컴퓨터 기반 평가 문항간의 차이가 거의 없었으나, 서답형 문항은 지필 평가에 비해 서답형 문항의 정답률이 낮아지는 경향을 보였다. 또한, 학년별로는 4학년 학생들이 8학년 학생들보다 서답형 문항에서 정답률이 낮아지는 것으로 나타났다. 본 연구를 토대로, 우리나라 컴퓨터 기반 평가의 개발과 현장 도입과 관련된 시사점을 제공하고 컴퓨터 기반 평가가 학교 평가로 잘 정착하기 위한 교육적 함의를 고찰하고자 한다.

다국어 초록 (Multilingual Abstract)

This study analyzed the science assessment items that were conducted by the paper and the computer-based assessment in the TIMSS 2019 pre-test, which is an international academic achievement assessment. We examined whether the test mode influenced the percentage of items answered correctly by each graders. As a result, there was no significant difference in the correct answer rates of science items according to the test media in 4th and 8th graders. Looking at the each graders, the difference in the percentage of correct answers was relatively large in the fourth grader rather than the eighth grader. In terms of items, the difference in the percentage of correct answers was relatively larger for the constructed items than the multiple choice questions. As a result of analyzing the content of science and assessment items on the influence of the test media, the multiple choice items showed little difference between the paper and the computer-based assessment items, but the answer-type items tended to have a lower percentage of correct answers than the paper-based assessment. In addition, by grade, 4th graders showed lower percentages of correct answers in the constructed items than 8th graders. This study provides implications related to the development and introduction of computer-based assessment in Korea, and suggests an educational implications for computer-based assessment to be well established as school evaluation.

참고문헌 (Reference)

1 Paek, S., 22 : 68-, 2006

2 Pomplun, M., 32 : 153-, 2005

3 Prisacari, A. A., 77 : 1-, 2017

4 Pommerich, M, 2 : 2004

5 Park, D. S., 15 : 247-, 2002

6 Akdemir, O., 51 : 1198-, 2008

7 Anakwe, B, 84 : 13-, 2008

8 Karay, Y., 27 : 57-, 2015

9 Choi, Y. H., 19 : 1335-, 2019

10 Lim, H. J., 14 : 193-, 2001

11 Way, W. D., 2006

12 Lee, M. J, 24 : 121-, 2004

13 김성렬, "온라인 시험의 가능성 탐색" 한국교원교육학회 24 (24): 347-367, 2007

14 노태희, "상황맥락적인 피드백을 활용한 CAI가 화학 학습에 미치는 효과" 대한화학회 51 (51): 193-200, 2007

15 신상근, "마킹 기능이 컴퓨터 기반 읽기 평가의 결과 및 수험자의 인식에 미치는 영향" 교과교육연구소 18 (18): 1305-1321, 2014

16 Department for Education (DfE), "The National Curriculum for England. GOV.UK. Framework document"

17 Australian Curriculum, Assessment and Reporting Authority (ACARA), "The Australian curriculum"

18 Mullis, I. V. S., "TIMSS 2019 Overview eTIMSS and paper TIMSS Item Development Activities" Boston College 2017

19 OECD, "PISA 2018 Technical Report" OECD 2020

20 Kim, S. H., "Korea Education Research Information Service" 2017

21 Lee, C. H., "KICE ISSUE PAPER"

22 Bocconi, S., "European Commission"

23 임은정, "Computer-Based Test(CBT) 개발 및 CBT에 대한 학생들의 인식" 한국의학교육학회 20 (20): 145-154, 2008

24 British Columbia, "BC’s Digital Literacy Framework"

25 AERA, A, "American Educational Research Association"

26 Song, J. J, "A Validity Study of Computer-based Tests in An Elementary Social Study: Comparability with Paperand-pencil Tests" Jeonju National University of Education 2009