동등집단 설계를 사용하는 수직척도화에서 공통 능력척도의 개발을 위한 IRT 추정 방법의 비교 = Comparison of IRT Estimation Methods for Developing a Common Ability Scale in Vertical Scaling Using the Equivalent Groups Design

국문 초록 (Abstract)

문항반응이론(IRT) 기반 수직척도화(vertical scaling)에서 여러 학년들 간의 공통 능력척도는 '다집단 동시추정' 방법과 '개별추정 및 척도연계' 방법을 통해 개발될 수 있다. 수직척도화를 위한 자료수집 설계의 하나인 동등집단 설계에서 다(학년)집단 동시추정 방법과 개별추정 및 척도연계 방법의 기능을 모의실험을 통해 비교 분석하였다. 동등집단 설계에서, 3개의 학년 각각에서 두 랜덤 피험자 집단이 이전 학년 수준의 검사와 해당 학년 수준의 검사에 독립적으로 응시하는 것으로 설정하였다. 모의실험의 결과, IRT 수직 공통 능력척도를 개발함에 있어 전반적으로 개별추정 및 척도연계 방법이 다집단 동시추정 방법보다 우수한 수행을 보였다. 이러한 결과는 공통-문항 설계 혹은 척도화-검사 설계에서 발견된 결과와 상반된 것으로 보인다. 자료수집 설계에 따라 두 가지 IRT 수직 공통 능력척도 개발 방법의 상대적 기능이 다른 이유를 논의하였다.

다국어 초록 (Multilingual Abstract)

In item response theory (IRT) based vertical scaling, a common ability scale can be developed using the 'multiple-group concurrent estimation' method or the 'separate estimation and scale-linking' method. This study investigated, through computer simulations, the comparative performances of these two IRT estimation methods under the equivalent groups design. In the equivalent groups design, three grades were involved and examinees in each grade were randomly assigned to take either the test level designed for their grade or the test level designed for one grade below their grade. The computer simulations showed that overall the separate estimation and scale-linking method performed better than the multiple-group concurrent estimation method in developing a vertical common scale. This comparative results are inconsistent with those from the previous research conducted under the common-item and scaling-test designs. The possible reasons that the separate estimation and scale-linking method could be superior to the multiple-group concurrent estimation were discussed.

목차 (Table of Contents)

• 국문초록
• Ⅰ. 서론
• Ⅱ. 동등집단 설계 하에서의 IRT 수직 공통 능력척도의 개발
• Ⅲ. 연구방법
• Ⅳ. 연구결과
• Ⅴ. 논의 및 결론
• 참고문헌
• ABSTRACT

참고문헌 (Reference)

1 김성훈, "유한혼합분포에 대한 EM 알고리듬을 사용한 다집단 IRT 추정 방법의 원리와 기능" 한국교육평가학회 26 (26): 801-822, 2013

2 Hoover, H. D., "The most appropriate scores for measuring educational development in the elementary schools : GE’s" 3 (3): 8-14, 1984

3 Kolen, M. J., "Test equating, scaling, and linking: Methods and practices" Springer 2014

4 Kim, S., &, "STUIRT (version 1.0) [Computer software]"

5 Kim, S., "Robustness to format effects of IRT linking methods for mixed-format tests" 19 : 357-381, 2006

6 Thurstone, L. L., "Primary mental abilities" 1938

7 Hanson, B. A., "Obtaining a common scale for item response theory item parameters using separate versus concurrent estimation in the common-item equating design" 26 (26): 3-24, 2002

8 Kim, S., "Methods for obtaining a common scale under unidimensional IRT models: A technical review and further extensions" Iowa Testing Programs 2005

9 Hanson, B. A., "IRT Command Language (ICL) (Version 0.020301)"

10 Bock, R. D., "Handbook of modern item response theory" Springer-Verlag 433-448, 1997

11 Haebara, T., "Equating logistic ability scales by a weighted least squares method" 22 (22): 144-149, 1980

12 Kim, S., "Effects on scale linking of different definitions of criterion functions for the IRT characteristic curve methods" 32 (32): 371-397, 2007

13 Petersen, N. S., "Educational measurement" American Council on Education and Macmillan 221-262, 1989

14 Stocking, M. L., "Developing a common metric in item response theory" 7 (7): 201-210, 1983

15 Tong, Y., "Comparisons of methodologies and results in vertical scaling for educational achievement tests" 20 (20): 227-253, 2007

16 Zimowski, M. F., "BILOG-MG (Version 3.0) [Computer software]" Scientific Software International 2003

17 Hendrickson, A. B., "April). Dichotomous and polytomous scoring for IRT vertical scaling from scaling-test and common-item designs" 2005

18 Hendrickson, A. B., "April). Comparison of IRT vertical scaling from scaling-test and common-item designs" 2004

19 Lord, F. M., "Applications of item response theory to practical testing problems" Erlbaum 1980

20 Kim, S., "An extension of four IRT linking methods for mixed-format tests" 43 (43): 53-76, 2006