수준설정의 타당성 검증을 위한 평정자 기대 정답률의 예측오차 분석 = Accuracy of estimating expected probability for MAPin standard setting

국문 초록 (Abstract)

이 연구는 앙고프(Angoff) 방법에 의한 수준설정의 절차적 측면에서 타당성을 점검하는 연구로, 평정자의 기대 정답률 예측에 대한 라운드별 예측 정확성을 탐색하였다. 2010년 중‧고등학교 학업성취도 평가의 수준설정에서 라운드별 평정자가 각 문항별로 예측한 기대 정답률 자료와 문항 응답 자료를 활용하여 기대 정답률 예측의 정확성 지수를 문항 난이도, 문항 유형별로 산출한 결과, 수준설정 라운드가 진행됨에 따라 평정자들의 기대 정답률과 실제 정답률간 오차가 점차 감소하여 절차적 측면에서의 타당성 증거를 확인하였다. 평정자들은 문항이 쉬울 경우 기대 정답률을 과소 추정하였고, 문항이 어려울 경우 과대 추정하는 경향을 보였으며, 문항 유형에 따라서는 학교급, 교과, 성취수준별로 라운드에 따른 오차 경향이 다양하게 산출되었다. 이러한 결과에 기반하여 내용 전문가의 문항 정답률 예측을 필요로 하는 수준설정 방법을 적용할 때 기대 정답률 예측에 대한 평정자 훈련의 고려사항을 제언하였다.

다국어 초록 (Multilingual Abstract)

This study investigated procedural validity of NAEA(National Assessment of Educational Achievement) standard setting by examining an accuracy of expected probability for MAP(minimally acceptable person). The expected probability for MAP obtained from standard setting procedure in NAEA were compared with real proportion for students who earned cut-score at each achievement level in terms of item difficulty and type. As a results, we confirmed the procedural validity of standard setting in NAEA based on the fact that the magnitude of overall difference between expected probability and real proportion were decreased as a round was progressed. We also found panels overestimated the correct probability in difficult items and underestimated the correct probability in easy items. The magnitude of accuracy in item type showed different patterns across subjects and achievement levels. We also suggested to train the panel in order to obtain more authentic cut scores in standard setting based on the results of this study.

목차 (Table of Contents)

• Ⅰ. 연구 배경 및 목적
• Ⅱ. 수준설정 타당화
• Ⅲ. 연구 방법
• 1. 분석대상
• 2. 분석방법
• Ⅳ. 연구 결과
• 1. 평정 라운드에 따른 기대 정답률 예측 오차
• 2. 문항 난이도에 따른 기대 정답률 예측 오차
• 3. 문항 유형에 따른 기대 정답률 예측 오차
• Ⅴ. 결론 및 논의

참고문헌 (Reference)

1 한국교육개발원, 한국교육개발원 2014

2 민경석, "한국과 미국 국가수준 학업성취도 평가의 성취수준 비교" 사범대학부속중등교육연구소 61 (61): 111-136, 2013

3 양길석, "준거지향평가의 준거설정 방법 비교 : 중학교 논술 기초능력 검사를 중심으로" 13 (13): 107-133, 2000

4 백순근, "준거지향평가 기준 설정을 위한Rasch 방법의 숙달 학습자 판정 일치도-원점수 및 Angoff 방법과의 비교를 중심으로-" 한국교육평가학회 19 (19): 157-178, 2006

5 김석우, "준거지향검사 기준설정 방안의 비교분석" 37 (37): 227-247, 1999

6 이규민, "의사 국가시험 합격선 설정에 관한 측정학적 접근" 1 (1): 5-14, 2004

7 한국교육과정평가원, "성취평가제 적용, 이렇게 하세요 – 고등학교 보통교과용 -" 한국교육과정평가원 2014

8 장윤선, "문항반응이론에 기초한 준거설정 방법 비교" 한국교육평가학회 22 (22): 659-680, 2009

9 김신영, "대학수학능력시험의 개선 방안 탐색" 한국교육평가학회 22 (22): 1-27, 2009

10 강태중, "대학수학능력시험 발전 방향 모색" 한국교육과정평가원 2014

11 송미영, "대규모 준거참조평가에서 성취수준의 분류 일치도와 정확도 분석" 한국교육평가학회 26 (26): 391-413, 2013

12 김성숙, "다변량 일반화가능도 이론을 적용한 성취수준 설정에서의 오차분석과 최적 조건 탐색" 한국교육평가학회 25 (25): 679-700, 2012

13 박연복, "군집분석을 이용한 수준설정 방법과 타당성 연구" 한국교육평가학회 24 (24): 645-664, 2011

14 박정, "국가수준 학업성취도 평가 : 기술보고서" 한국교육과정평가원 2006

15 한국교육평가학회, "교육평가 용어사전" 학지사 2004

16 강태훈, "검사 길이와 수행등급 개수에 따른 성취수준 분류 일관도 및 정확도 연구" 한국교육평가학회 24 (24): 1017-1038, 2011

17 Kane, M. T., "Validating the performance standards associated with passing scores" 64 : 425-461, 1994

18 Kane, M. T., "The interpretability of passing scores(Tech. Bulletin No. 52)"

19 Lewis, D. M., "The bookmark standard setting procedure." McGraw-Hill 1999

20 김경성, "The Validity of the Angoff and Bookmark Standard Setting Methods" NCME 2010

21 Zieky, M. J., "Standard setting: Concepts, methods, and perspectives" Erlbaum 19-51, 2001

22 Raymond, M. R., "Standard setting: Concepts, methods, and perspectives" Erlbaum 119-157, 2001

23 Impara, J. C., "Standard setting : An alternative approach" 34 (34): 353-366, 1998

24 Cizek, G. J., "Standard setting" Sage Publication, Inc 2007

25 Glass, G. V., "Standard and criteria" 15 : 237-261, 1978

26 Kane, M. T., "Setting performance standards: concepts, methods, and perspectives" Lawrence Erlbaum Associates 53-88, 2001

27 Shepard, L. A., "Setting performance standards for student achievement" National Academy of Education 1993

28 Cizek, G. J., "Setting passing scores" 15 (15): 20-31, 1996

29 Allen, N. L., "Scaling procedures" National Center for Education Statistics 227-246, 2001

30 Shepard, L. A., "Practices and problems in competency-based measurement" ational Council on Measurement in Education 1979

31 Giraud, G. T., "Making the cut in school districts : Alternative methods for setting cut-scores" 6 : 291-304, 2000

32 Jeager, R. M., "Establishing standards for teacher certification test" 9 : 15-20, 1992

33 Angoff, W. B., "Educational Measurement" American Council on Education 1971

34 Berk, R. A., "A consumer’s guide to setting performance standards on criterionreferenced tests" 56 : 137-172, 1986

35 van der Linden, W. J., "A conceptual analysis of standard setting in large-scale assessments" 2 : 97-117, 1995

36 Norcini, J. J., "A comparison of three variations on a standard-setting method" 24 : 56-64, 1987

37 Brennan, R. L., "A comparison of Nedelsky and Angoff cutting score procedures using generalizability theory" 4 (4): 219-249, 1980

38 교육부, "2017학년도 대입제도 확정 발표 보도자료(2013. 10.24)"

39 한국교육과정평가원, "2012학년도 성취평가제 운영 매뉴얼 – 중학교용-" 한국교육과정평가원 2012

40 김성숙, "2010년 국가수준 학업성취도 평가 기술보고서" 한국교육과정평가원 2010

41 이인제, "2003년초등학교 3학년 국가 수준 기초 학력 진단 평가 연구 : 종합" 한국교육과정평가원 2004

42 이현숙, ""Types" of Classification Consistency from the Perspective of Replication" 한국교육과정평가원 10 (10): 103-119, 2007