『한국교육종단연구2005』의 수직척도 타당성 검토 = A Validity Study for Vertical Scale of Korean Educational Longitudinal Study(KELS) 2005

국문 초록 (Abstract)

『한국교육종단연구2005』에서는 매년 학생들의 학년별 성취도 변화를 평가하도록 우리나라에서는 처음으로 국가수준 학업성취도 평가에서 수직척도가 개발되어 적용되었다.이 연구는『한국교육종단연구2005』에서 개발된 수직척도의 타당성을 검토하고자 (연구)설계되었고, 2005년 이후 4년 간 누적된 자료를 이용하여 척도화 표본과 표준화 표본을 통합하여 분석하였다. 수직척도의 타당성을 검토하기 위해, 6가지 서로 다른 수직척도 개발 방법을 선정하여 국어, 수학, 영어 교과에 적용하였고, 다층분석 기법을 적용하여 수직척도화 방법을 비교하였다. 분석 결과, 문항반응이론을 적용하기 위한 표본의 사례 수제한과 그로 인한 모수추정의 불안정성 문제, 학년 간에 100점이라는 임의 성장 정보를 추가한 문제, 차별적으로 기능하는 문항을 학년 간 수직척도 개발을 위한 공통문항으로 사용한 문제, 문항 반응 패턴 채점 방식이 아닌 총점과 수직척도 점수 변환 방식을 사용한 문제 등은 개발된 수직척도의 타당성을 위협하는 요인이 아님을 확인할 수 있었다. 단지, 학년 내 척도 점수의 분산 수준 결정은 수직척도 개발을 통한 학교효과 분석에 영향을 주는 것으로 나타났다. 그러나 척도 변환의 미결정성은 모든 척도개발에 관련되는 사항으로, 이러한 점이『한국교육종단연구2005』수직척도의 타당성을 위협하는 근거로 해석되는 것은 적절하지 않을 것이다. 따라서 향후 다년간에 걸친 자료 분석과 결과 비교를 위해 개발된 수직척도를 계속 유지하는 것이 바람직할 것이다

다국어 초록 (Multilingual Abstract)

A new vertical scale was firstly developed and implemented for national achievement evaluation in the Korean Educational Longitudinal Study started in 2005 (KELS 2005). This study was designed to investigate the validity of the newly developed vertical scale of KELS 2005 by using both vertical scaling samples and standardization samples aggregated for 4 years after its inception. Six different vertical scaling methods were differentiated and applied to Korean Language, Mathematics, and English subject matter areas, and multilevel models and analysis techniques were adopted to compare six vertical scaling methods. Based upon the results of this study, we can conclude several factors would not be related in threatening the validity of vertical scale of KELS 2005. Those factors include (1) relatively small sample size for applying item response models and the related unstability issue of item parameter estimates, (2) the problem of adding manipulated growth information, like 100-point growth per grade, onto the vertical scale, (3) the impact of the use of differentially functioning items as common items for vertical scaling, and (4) the implementation of number correct to scale score
conversion table insead of pattern scoring. The level of score variation within grades in vertical scale
had some influences on the analyses of school effectiveness under multilevel models. However, it would
be reasonable not to interpret this result as the evidence to invalidate the vertical scale of KELS 2005, because the level of score variation within grades would not be a generic factor to vertical scale, but would be related to all possible score scales. In turn, it would be recommended to maintain the level of score variation within grades set in 2005 to support the comparison of student achievement growth over several years after 2005.

목차 (Table of Contents)

• Ⅰ. 서 론
• Ⅱ.『한국교육종단연구2005』수직척도 개발
• Ⅲ. 연구방법
• Ⅳ. 연구결과
• Ⅴ. 결론 및 논의

참고문헌 (Reference)

1 임현정, "한국교육종단연구2005(V)" 2009

2 김성식, "한국교육종단연구2005(IV)" 2008

3 김성식, "한국교육종단연구2005(III)-조사개요보고서-" 한국교육개발원 연구보고 RR 2007-20 2007

4 김성식, "한국교육종단연구2005(III)-기초분석보고서-" 한국교육개발원 기술보고 RR 2007-20-1 2007

5 김양분, "한국교육종단연구2005(II)" 2006

6 류한구, "한국교육종단연구2005(I)-예비조사 보고서-" 2005

7 이규민, "초등학교 3학년 국가수준 기초학력 진단평가 동등화 방안" 한국교육평가학회 18 (18): 125-152, 2005

8 부재율, "수학 학업성취도 수직 척도화 결과의성별에 따른 집단 불변성 검증" 한국교육평가학회 19 (19): 225-240, 2006

9 김아영, "성인용 직업적성검사 연계화" 한국교육평가학회 17 (17): 107-130, 2004

10 이규민, "국가수준의 종단적 교육조사 연구를 위한 성취도 검사 및 척도개발" 2006

11 남현우, "검사동등화 방법" 교육과학사 2001

12 Fitzpatrick, A. R., "Two studies comparing the parameter estimates produced by PARDUX and PARSCALE" CTB/McGraw-Hill 1996

13 "Thurstone, L. L (1938). Primary mental abilities. Psychometric Monographs 1.1"

14 Briggs, D. C., "The impact of vertical scaling decisions on growth interpretations" 28 (28): 3-14, 2009

15 Yen, W. M., "The choice of scale for educational measurement: An IRT perspective" 23 (23): 299-325, 1986

16 Jones, L. V., "Test theory and methods" 40 : 23-43, 1989

17 Kolen, M. J., "Test equating, scaling, and linking" Springer-Verlag 2004

18 Zyskowski, G., "TAKS vertical scale development" 2009

19 Lord, F. M., "Statistical theories of mental test scores" Addison Wesley 1968

20 Mantel, N., "Statistical aspects of the analysis of data from retrospective studies of disease" 22 : 719-748, 1959

21 Petersen, N. S., "Scaling, norming, and equating. in: Educational measurement" MacMillan 221-262, 1989

22 Yen, W. M., "Scaling performance assessment: Strategies for managing local item dependence" 30 : 187-213, 1993

23 Patz, R. J., "Psychometric issues in vertical scaling" 2002

24 Rasch, G., "Probalistic models for some intelligence and attainment tests" The Danish Institute for Educational Research 1960

25 Muraki, E., "PARSCALE. in: Parameter Scaling of Rating Data [Computer program]" Scientific Software, Inc 1991

26 Bucket, G. R., "PARDUX [Computer program]" CTB/McGraw-Hill 1996

27 Hanson, B. A., "Obtaining a common scale for IRT item parameters using separate versus concurrent estimation in the common item nonequivalent groups equating design" 2 (2): 3-24, 2002

28 Clemnas, W. V., "Item response theory, vertical scaling, and something's awry in the state of test mark" 1 (1): 329-347, 1993

29 Petersen, N. S., "IRT versus conventional equating methods, A comparative study of scale stability" 8 (8): 137-156, 1983

30 Bock, R. D., "Estimating item parameters and latent ability when responses are scored in two or more nominal categories" 37 : 29-51, 1981

31 Tong, Y., "Comparisons of methodologies and results on vertical scaling for educational achievement test" 20 (20): 227-253, 2007

32 Tong, Y., "Comparison of Methodologies and Results in Vertical Scaling for Educational Achievement Tests" The University of Iowa 2005

33 Yen, W. M., "Comparison of Item Response Theory and Thurstone Methods of Vertical Scaling" 34 (34): 293-313, 1997

34 이규민, "Bookmark 방법을 이용한 수행 기준 설정" 16 (16): 143-150, 2003

35 Wright, B. D., "BIGSTEPS Rasch Analysis [Computer program]" MESA Press 1992

36 Lord, F. M., "Applications of item response theory to practical testing pro" Lawrence Earlbaum Associates 1980

37 Beard, J., "An investigation of vertical scaling with item response theory using a multistage testing framework" The university of Iowa 2008

38 Cook, L. L., "An NCME instructional module on IRT equating methods" 10 : 37-45, 1991

39 "American Educational Research Association, American Psychological Association, & National Council on Measurement in Education (1999). Standards for educational and psychological testing. Washington DC: Author"

40 Lee, G., "A comparison of the performance of dichotomous and polytomous IRT models in equating scores from tests composed of testlets" 25 : 357-172, 2001

41 Kim, S., "A comparison of linking and concurrent calibration under item response theory" 22 (22): 131-143, 1998