A Comparison of Random-Groups Design and Common-Item Design in IRT Equating : A Monte Carlo Study

국문 초록 (Abstract)

서로 다른 검사 형에서 얻어진 점수를 호환하여 사용하기 위해서는 두 검사 형을 같은 점수 척도 상에 올려야 하고, 이를 위해 대부분의 검사 기관에서 사용되고 있는 방법은 공통문항이나 무선적으로 동등한 피험자를 이용하는 방법이다. 두 검사 형 사이에 공통문항은 하나의 검사 형에서 나온 점수를 다른 검사 형의 점수로 변환하는 과정에 사용된다. 반면, 무선적으로 동등한 피험자를 이용하는 디자인에서는 서로 다른 검사 형이 무선할당 방법을 활용하여 생성된 피험자 집단에 서로 다른 검사 형이 시행된다. 능력면에서 동등한 피험자 집단에 시행되었기 때문에, 두 검사 형 사이의 검사 점수 비교는 더 이상의 조작 없이 성취될수 있다. 이 연구의 주요 목적은 동등화를 위한 집단의 다양한 수준의 동등성과, 표본크기,그리고 공통문항 수의 효과를 시뮬레이션 기법을 활용하여 탐색하는 것이다. 연구 결과, 두방법 중에 공통문항을 이용한 방법이 무선적으로 동등한 피험자를 이용한 디자인에 비해 선호될 수 있음을 확인할 수 있었다. 같은 표본크기를 사용할 경우, 무선적으로 동등한 피험자를 활용한 동등화 오차가 공통문항 디자인을 활용한 방법의 동등화 오차보다 크게 나타났다. 그리고 충분한 공통문항을 사용한 경우, 공통문항 방법이 무선적으로 동등한 피험자를 이용한 동등화 방법보다 작은 동등화 오차를 산출하였다.

다국어 초록 (Multilingual Abstract)

Two ways of item response theory(IRT) equating using either common items or randomly equivalent examinees have been commonly used by most testing institutes to put test forms on the same scale to achieve score comparability. The common items between two test forms are used to transform scores from one from to an alternative form. For the random groups design, alternative test forms are administered to two groups of examinees using random assignment techniques and the two examinee groups are considered as equivalent in ability and other characteristics. Consequently, score comparability between test forms can be accomplished without further any manipulation. The primary purpose of the present study is to compare the results of two equating designs with different degrees of equivalency between equating groups, sample sizes, and the numbers of the common items using simulation techniques. Based on the results of this study, it is suggested that if there are common items between equating forms under the random-groups design, equating methods based on the common-items could be preferred. Given the same sample size, equating errors from the randomly equivalent examinees were larger than were those from the common-items design. With sufficient common items, the common-item method produced smaller equating errors than did the equating with randomly-groups design.

목차 (Table of Contents)

• I. Introduction
• Ⅱ. Method
• Ⅲ. Results
• Ⅳ. Summary and Discussion