한국사능력검정시험 문항 풀이 과정 분석을 통한 역사 선다형 문항 개선 방향 탐색 = Analysis of Students’ Response Processes in Proficiency Test of Korean History Items

국문 초록 (Abstract)

본 연구에서는 대학생 연구 참여자 10명이 한국사능력검정시험 12개 문항을 풀이한 120건의 문항 풀이 과정 사례를 분석하여 연구 참여자가 실제 어떤 지식과 사고력을 활용하여 문항을 풀이하는지, 그리고 연구 참여자가 사용한 지식과 사고력이 출제자가 측정하고자 한 지식 및 사고력과 일치하는지를 분석하였다. 분석 결과 연구 참여자는 지식 소환(59건, 49%), 수험전략 활용(34건, 28%), 추론(27건, 23%)이라는 세 가지 문항 풀이 과정을 활용하여 문항의 답을 찾고 있었다. 수험전략 활용과 추론은 한국사능력검정시험 목표 준거에 명시되지 않은 구인이었으나, 문항 풀이에서는 광범위하게 사용되고 있음을 확인할 수 있었다. 반면 목표 준거에 명시된 역사적 사고력을 활용하여 문항을 풀이한 사례는 찾아볼 수 없었다. 세 가지 문항 풀이 과정 중 지식 소환이 가장 많이 활용되었다는 측면에서 한국사능력검정시험 선다형 문항이 연구 참여자의 지식을 측정하고 있음을 파악할 수 있었으나, 연구 참여자가 실제로 문항 풀이에 활용한 지식의 종류와 수준을 분석한 결과 문항의 타당도를 높일 필요성을 확인할 수 있었다. 문항별·연구 참여자별 분석 결과도 타당도를 높일 필요성을 뒷받침했다. 분석 결과에 기초하여 한국사능력검정시험 문항 개선을 위한 3가지 방향을 제언하였다.

다국어 초록 (Multilingual Abstract)

This study analyzed how 10 college students solved twelve multiple-choice items from the Proficiency Test of Korean History(PTKS) to elicit the knowledge and thinking that students employed during the response processes. We analyzed how the knowledge and thinking that participants used in solving the multiple-choice items aligned with the knowledge and thinking intended for testing. The analysis results revealed that participants were engaged in three response processes in approaching and solving the test items: fact recall in 59 cases(49%), test taking skills in 34 cases(28%), and general reasoning in 27 cases(23%). Although test taking skills and general reasoning are construct-irrelevant variances, participants used them widely with all participants employing test taking skills and 9 out of 10 participants using general reasoning. Historical thinking skills specified in test purposes, however, did not surface in response processes, which raises the question of validity. The fact that participants used fact recall the most of the three response processes solidifies the claim that the PTKH assesses test takers’ historical knowledge, but the analysis of the kinds and levels of knowledge used in participants’ response processes called for the need to strengthen the validity of PTKH items. Cross case analysis of response processes across items and across participants also pointed to the need to strengthen the validity of the test items. Based on the analysis results, we discussed three implications of the study for enhancing the PTKH items.

목차 (Table of Contents)

• 한국사능력검정시험 문항 풀이 과정 분석을 통한 역사 선다형 문항 개선 방향 탐색 Ⅰ. 서론 Ⅱ. 학생들은 역사 선다형 문항을 어떻게 풀이하는가?: 선행 연구 검토 Ⅲ. 연구 방법 1. 연구 참여자 2. 면담에 활용한 문항 3. 자료수집방법 4. 자료 분석 방법 IV. 연구 결과 1. 문항 풀이 과정 분석: 지식 소환, 수험전략 활용, 추론 2. 문항별·참여자별 분석 V. 논의 및 제언 참고문헌 ABSTRACT

참고문헌 (Reference)

1 은동진, "한국사능력검정시험의 중급과 고급 간 위계성에 대한 검토" 서강대학교 2015

2 김정수, "한국사능력검정시험의 목표 준거와 문항 반응 분석-제1, 2회 3급 문항을 중심으로-" 12 : 69-134, 2011

3 김덕진, "한국사능력검정시험을 통해 본 초등학생의 역사의식" 호남사학회 (47) : 1-27, 2012

4 김민정, "한국사능력검정시험 평가 문항 현황과 개선 방안" 역사교육학회 (47) : 463-495, 2011

5 국사편찬위원회, "한국사능력검정시험 웹사이트"

6 김미선, "한국사능력검정시험 등급별 평가 수준 위계화 방안" 역사교육연구회 (118) : 1-49, 2011

7 김수미, "학생의 선다형 국사 문항 풀이 과정 분석" 역사교육연구회 (129) : 139-195, 2014

8 박덕우, "제1~8회 한국사능력검정시험 초급 문항 분석 : 초등학교 교과서와의 비교분석을 중심으로" 서울시립대학교 교육대학원 2010

9 김수미, "제 1ㆍ2회 한국사능력검정시험의 분석과 문항의 방향" 한국역사교육학회 (6) : 177-227, 2007

10 최상훈, "역사과평가의 이론과 실제" 책과함께 2012

11 오정현, "역사과 평가 문항의 위계성 검토" 한국역사교육학회 (9) : 97-144, 2009

12 오정현, "수능 필수 한국사의 평가목표 설정과 적용 방안" 역사교육연구회 (135) : 31-68, 2015

13 최상훈, "수능 필수 한국사의 내용타당도 제고 방안" 역사교육연구회 (135) : 1-29, 2015

14 박진동, "고등학생의 선다형 문항 풀이 과정과 시험전략 고찰" 역사교육연구회 (117) : 195-225, 2011

15 박진철, "人物史 敎育을 위한 ‘한국사능력검정시험’의 分析 硏究" 한국학연구소 (58) : 227-257, 2016

16 Messick, S., "Validity of psychological assessment: Validation of inferences from persons’reponses and performances as scientific inquiry into score meaning" 50 (50): 741-749, 1995

17 National Assessment Governing Board, "U.S. history framework for the 2010 National Assessment of Educational Progress"

18 Reich, G. A., "Testing historical knowledge : Standards, multiple-choice questions and student reasoning" 37 (37): 325-360, 2009

19 American Educational Research Association, "Standards for educational and psychological testing" American Educational Research Association 2014

20 American Educational Research Association, "Standards for educational and psychological testing" American Educational Research Association 1999

21 Blackey, R., "So many choices, so little time : Setting strategies for understanding and taking multiple-choice exams in history" 43 (43): 53-66, 2009

22 Patton, M. Q., "Qualitative research and evaluation methods" Sage 2015

23 Braden, J., "Psychology of classroom learning: An encylopedia. Vol. 2" Macmillan Reference USA 961-965, 2009

24 Ericsson, K. A., "Protocol analysis: Verbal reports as data" MIT Press 1993

25 Smith, M. D., "New multiple-choice measures of historical thinking : An investigation of cognitive validity" 46 (46): 1-34, 2018

26 Seixas, P., "New directions in assessing historical thinking" Routledge 102-116, 2015

27 VanSledright, B., "New directions in assessing historical thinking" Routledge 102-116, 2015

28 Pellegrino, J. W., "Knowing what students know: The science and design of educational assessment" National Academy Press 2001

29 Reich, G. A., "Imperfect models, imperfect conclusions : An exploratory study of multiple-choice tests and historical knowledge" 37 : 3-16, 2013

30 Smith, M., "History assessments of thinking : A validity study" 37 (37): 118-144, 2019

31 Haladyna, T. M., "Developing and validating multiple-choice test items" Lawrence Erlbaum Associates, Inc 2004

32 Smith, M. D., "Cognitive validity: Can multiple-choice items tap historical thinking processes?" 54 (54): 1256-1287, 2017

33 VanSledright, B., "Assessing historical thinking and understanding : Innovative designs for new standards" Taylor & Francis 2014

34 인사혁신처, "2021년 7급 공채시험에 공직적격성평가(PSAT)도입-2018.12.11.(화), 공무원임용시험령 개정(안) 국무회의 통과-"

35 박진동, "2017학년도 수능 한국사 필수화에 따른 교사 연수 자료"