표준화 시험 FLEX 러시아어 문항의 변별도 분석

국문 초록 (Abstract)

본 논문은 표준화 시험 FLEX 러시아어 문항을 개별 분석하여 본 시험의 변별도에 영향을 주는 요인을 연구하는 논문으로 문항분석의 기제로 고전문항분석과 문항반응이론을 도입하였으며, 각 이론에 근거한 문항분석에 따른 변별도 결과의 상관관계를 파악하고 있다. 분석결과 듣기와 읽기, 각 영역에서 매력적인 오답, 특별한 문법 규칙과 익숙하지 않은 어휘들을 포함한 문항 등이 변별도에 상당히 영향을 주는 것으로 나타났다. 두 가지 분석 결과에 따른 변별도 상관관계 평균은 높은 수치인 .47로 산출되었다. 예상했던 바대로 몇 몇 개별문항에 있어서는 변별도 결과의 차이가 있었다. 본 논문은 분석의 결과와 함께 문항 출제자가 유의하여야 하는 주요한 사항들을 재확인 하고, 평가도구에 대한 후속 연구, 즉 검사지 동등화와 같은 분석을 통한 후속 연구에 대해서 제안하고 있다.

다국어 초록 (Multilingual Abstract)

The present article focuses on the study of identifying the variables that may affect the level of discrimination on the items of a standardized test between the results from classical item analysis and those from analysis based on IRT(item response theory). The data for the analysis were brought from FLEX(Foreign Language EXamination) Russian. The results indicate that attractive distracters, grammar with exceptional rules and unfamiliar words were noticeable variables that may have influenced the level of discrimination in the Listening and Reading Sections. The average correlations of the results between the two analyses were estimated as .47, which indicates a high level of correlation. As expected, there were discrepancies in case of some test items. This article also suggests that the examiners should have in mind when they crete testing items. More studies on FLEX are also suggested.

목차 (Table of Contents)

• 국문요약
• 1. 서론
• 2. 문항분석이론
• 3. 문항분석
• 4. 결론
• 참고문헌
• Abstract
• 부록

참고문헌 (Reference)

1 최인철, "음성 인식 기술을 활용한 채점자 엄격도 반영 및 유창성 측정 타당성" 한국외국어교육학회 11 (11): 171-194, 2004

2 김경석, "수학능력시험 문항 분석: 선택지 매력도를 중심으로" 팬코리아영어교육학회 16 (16): 181-205, 2004

3 성태제, "문항반응이론의 이해와 적용" 교육과학사 2001

4 한국교육과정평가원, "대학수학능력시험 출제 매뉴얼: 외국어 영역" 한국교육과정평가원 2004

5 Heaton, J., "Writing English language tests" Longman 1991

6 Downing, S. M., "Twelve steps for effective test development in : Handbook of test development" Lawrence Erlbaum Associates 3-25, 2006

7 Hughes, A., "Testing for language teachers" Cambridge University Press 2003

8 조동완, "TEPS(Test of English Proficiency developed by Seoul National University)의 타당도에 대한 연구" 16 (16): 197-213, 2000

9 Bachman, L. F., "Statistical analysis for language assessment" Cambridge University Press 2005

10 신동일, "Rasch 모형을 이용한 고등학교 영어과 말하기 및 쓰기 능력 등급 기술표 개발" 한국영어교육학회 57 (57): 469-499, 2002

11 Weir, C. J., "Language testing and validation" Palgrave Macmillan 2005

12 Brown, H. D., "Language assessment: Principles and classroom practice" Longman 2004

13 Downing, "Handbook of test development" Lawrence Erlbaum Associates 3-25,

14 김민수, "FLEX 러시아어 2" 한국외국어대학교 출판부 2008

15 Ebel, R. L., "Essentials of educational measurement in : Englewood Cliffs" Prentice-Hall 1979

16 Cangelosi, J., "Designing tests for evaluating student achievement" Longman 1990