유한혼합분포에 대한 EM 알고리듬을 사용한 다집단 IRT 추정 방법의 원리와 기능

김성훈 한국교육평가학회 2013 교육평가연구 Vol.26 No.4

검사 문항에 대한 반응 자료가 다집단(multiple examinee groups)으로부터 얻어질 경우 문항반응이론(IRT) 문항모수의 추정은 각 피험자 집단의 능력분포의 추정과 동시에 이루어질 필요가 있다. 이를 위해 Bock과 Zimowski(1997)는 잠재능력변수를 연속변수로 가정하여 추정 공식을 도출하였다. 본 연구는 이 추정 방법의 대안으로서 '유한혼합분포에 대한 EM 알고리듬을 사용한 단일집단 IRT 추정 방법(Woodruff & Hanson, 1996)'을 다집단 검사자료로 확장한 방법의 원리를 제시하고, 다집단 검사자료의 구조에 따라 그 추정 방법의 기능이 어떠한지를 검토하고자 하였다. 모의실험을 통해 동일검사-다집단-반응 구조의 검사자료와 공통문항-다집단-반응 구조의 검사자료에 대해 '유한혼합분포에 대한 EM 알고리듬을 사용한 다집단 IRT 추정 방법'의 기능을 다른 추정 방법의 기능과 비교하여 검토하였다. 연구 결과, 다른 추정 방법과 비교하여 볼 때, 확장된 다집단 IRT 추정 방법은 동일검사-다집단-반응 구조의 검사자료에서보다는 공통문항-다집단-반응 구조의 검사자료에서 IRT 문항모수를 더 정확하게 추정하였다. 특히, 각 EM 사이클의 M 단계 후에 피험자 집단의 능력분포를 재척도화(re-scaling) 하지 않을 때 다집단 IRT 문항모수의 추정은 더 정확하게 수행되는 경향을 보였다. When test data are obtained from multiple groups of examinees, the objective of item response theory (IRT) analysis is to estimate concurrently the item parameters and the underlying distribution of a common ability for each group. For this IRT analysis, Bock and Zimowski (1997) presented a multiple-group estimation procedure based on a continuous latent variable. This study presents, as an alternative, a multiple-group IRT estimation procedure using the EM (Expectation-Maximization) algorithm for finite mixture distributions that is based on discrete latent variable and is an extension of Woodruff and Hanson's (1996) work for single-group data to multiple-group data. Compared to other estimation methods, including 'single-group distribution-fixed' versus 'combined-group distribution- estimated' methods, the performances of the multiple-group IRT estimation method extended were examined through computer simulations under two data-collection designs, one design in which multiple groups all respond to the same test items (MGST) and the other design which is typically found in the common-item nonequivalent groups (CING) equating. The simulation results showed that compared to the other methods, the multiple-group IRT estimation method worked better for the estimation of item parameters under the CING design than under the MGST design. The results also showed that the scale of the underlying ability distribution estimated during the EM cycles should not be standardized to obtain better estimates of item parameters using the multiple-group IRT estimation.

공통문항 비동등집단 설계에서 구성형 문항의 IRT 관찰점수 동등화 방법 비교

송윤아(Yoon Ah Song),최지원(Jiwon Choi) 한국교육평가학회 2021 교육평가연구 Vol.34 No.3

이 연구는 공통문항 비동등집단 설계에서 구성형 문항의 IRT 관찰점수 동등화의 정확성을 알아보기 위한 모의실험 연구로, 다음 세 가지 조건을 사용하여 동등화의 정확성을 확인하였다. 첫째, 구성형 문항만을 공통문항으로 사용하여 일차원 IRT 모형을 적용하였다. 둘째, 구성형 문항과 외부(external) 선택형 문항을 공통문항으로 사용하여 일차원 IRT 모형을 적용하였다. 셋째, 구성형 문항과 외부 선택형 문항을 공통문항으로 사용하여 다차원 IRT 모형을 적용하였다. 연구 결과, 다음의 제한된 조건에서 공통문항에 구성형 문항만을 사용하는 것보다 선택형 문항을 함께 사용했을 때 동등화 결과가 더 정확하였다. 즉, 1) 다차원 IRT 모형을 적용하였을 때, 2) 표본 크기가 클 경우, 그리고 3) 선택형 문항에서 집단 간의 능력 차이가 작을 때 구성형 문항의 동등화의 정확성이 향상되었다. 또한, 일반적으로 문항의 수가 많고 점수 범주의 수가 적을 때 구성형 문항의 동등화 결과가 정확하였다. This simulation study evaluated the equating accuracy of constructed-response (CR) items by using IRT observed equating methods under the common-item nonequivalent groups design for the following conditions: 1) CR items were only used as common items with the unidimensional IRT models; 2) CR items and external SR items were used as common items with the unidimensional IRT models; 3) CR items and external SR items were used as common items with the multidimensional IRT models. The results indicated that accuracy of the CR item equating can be improved by adopting external SR items compared to equating only CR items under some restricted conditions, which are 1) multidimensional models, 2) large sample size, and 3) small group difference in SR items. In general, more items with fewer score categories lead to a greater equating accuracy for CR items.

Effects of Model-Data Misfit on IRT Equating for Polytomous Data

전경희(Kyong Hee Chon) 한국교육평가학회 2016 교육평가연구 Vol.29 No.4

이 연구에서는 모형-자료 부적합이 다분 문항반응반이론 모형을 이용한 동등화 결과에 미치는 영향에 대해 살펴보았다. 비등등집단 가교문항 동등화설계를 가정한 모의연구를 통해 모형-자료 간 부적합 정도와 가교문항 및 일반문항 세트 내에서의 부적합 문항의 위치 등의 조건을 달리하였을 때 다분문항반응 자료에 대한 동등화 결과가 어떻게 다르게 나타나는지 점수변환표 상에서의 일치도와 동등성 지표를 기준으로 분석하였다. 모의실험 결과, 모형-자료 간 부적합 문항이 포함될 경우 점수변환체계 상의 동등화 관계에 있어 왜곡이 나타났으며, 이러한 왜곡 현상은 부적합 문항이 가교문항 세트 보다 일반 문항세트에 포함될 경우 더 심각해지는 것으로 분석되었다. 동등성 지표를 이용한 결과비교에 있어서도 부적합 문항이 일반 문항세트 중에 배치될 때 부정적인 결과를 보였다. 또한, 모형-자료간 부적합 정도와 검사 내 부적합 문항 위치에 따른 영향을 비교할 때 부적합 문항의 위치에 의한 영향이 더 큰 것으로 나타났다. This study examines the effect of model-data misfit on polytomous IRT equating under the common-item nonequivalent groups design. A simulation study was conducted to assess equating results according to different impacts and aspects of model-data misfit. The study factors include the proportion and the location of misfitting items on uncommon and common item sets. Equating results from different misfit conditions were evaluated based on two criteria: consistency in score conversions and equity properties. This study found that the equating relationship was substantially altered when a test from involves misfitting items in comparison to the situation where no misfit exists. Distortion of the score conversions tended to be more severe when misfits occurred in uncommon items rather than common items. First- and second- equity properties were not well achieved when uncommon items were functioning as misfitting items. The location of misfit rather than proportion of misfit has a larger impact on the equating results.

부트스트랩 방법으로 추정한 동등화 표준오차에 의한 검사동등화 방법의 비교

김화영(金和泳),김현철(金顯哲) 서울대학교 교육연구소 2018 아시아교육연구 Vol.19 No.2

본 연구의 목적은 공통문항 비동등집단 설계에서 모수와 비모수 부트스트랩 방법을 이용하여 동등화 표준오차를 추정하고 검사동등화 방법들을 비교하는 것에 있다. 비교의 조건으로는 검사 난이도 수준, 검사간 난이도 차이, 피험자 능력 차이, 모수모형 조건 등이 고려되었으며, 동등화 방법으로는 빈도추정 동백분위동등화, Tucker 동등화, Braun-Holland 동등화 등이 비교되었다. 연구의 결과는 이 연구의 모든 실험조건에서 빈도추정 동백분위동등화 방법이 안정적으로 나타났고 특히, 특정 모수모형 조건을 사용하는 모수 부트스트랩에 의한 빈도추정 동백분위동등화 방법이 가장 안정적으로 나타났다. Tucker 동등화 방법과 Braun-Holland 동등화 방법은 대부분 비모수 부트스트랩 방법을 사용하여 동등화 표준오차를 추정하는 것이 더 정확한 것으로 나타났으나, 검사의 난이도가 어려운 경우, 구검사가 신검사보다 어려운 경우, 피험자 능력 분포가 평균 중심으로 밀집되어 있는 경우에는 특정한 모수모형 조건의 모수 부트스트랩을 사용하는 것이 더 안정적이었다. The purpose of this study is to compare the three test equating methods- frequency estimation equating, Tucker equating, and Braun-Holland equating- in common-item nonequivalent groups design using the parametric and nonparametric bootstrap for estimating the standard error of equating. The conditions- The levels of test difficulty, the difference in difficulty between forms, the group ability- are considered. The results show that the frequency estimation equating with parametric bootstrap in specific parametric model is more stable than other equating methods under all conditions. Tucker and Braun-Holland equating have more reliable results using nonparametric bootstrap under almost all conditions, but are relatively more stable using parametric bootstrap in specific parametric models depending on certain conditions.

혼합형 검사에서 공통문항의 비율과 구성 방식이 Bi-Factor MIRT 관찰점수 동등화에 미치는 영향

안성현(Seonghyun An),강혜진(Hyejin Kang),이규민(Guemin Lee) 한국교육평가학회 2021 교육평가연구 Vol.34 No.3

이 연구에서는 Bi-Factor 다차원 문항반응모형을 공통문항 비동등집단 설계에서 수집되었다고 가정한 혼합형 검사 자료에 적용하여 관찰점수 동등화를 진행하고, 그 결과가 공통문항의 구성 조건 및 문항 유형 요인의 상관 정도에 따라 어떠한 차이를 보이는지 살펴보았다. 이를 평가하기 위하여 선행연구에서 많이 사용되었던 2모수 일차원 문항반응모형을 비교 모형으로 설정하였다. 연구 결과, 문항 유형 간 상관이 제일 낮은 조건인 0.5와 중간 조건인 0.7인 경우에서는 공통문항의 비율 및 구성 방식에 상관없이 모든 조건에서 Bi-Factor MIRT 모형의 동등화 오차가 일차원 모형보다 더 양호한 것으로 나타났다. 이에 반해 문항 유형 간 상관이 0.9인 경우에서는 2모수 일차원 문항반응모형의 동등화 오차가 더 낮은 것으로 나타났다. 공통문항의 구성에 따라서는 전체 검사의 선택형 문항과 서답형 문항의 비율과 유사하게 공통문항이 구성되었을 때 동등화 오차가 가장 낮은 것으로 나타났고, 전체 검사 문항에 대한 공통문항의 비율이 증가함에 따라 동등화 오차는 감소하는 것으로 나타났다. This study applied the Bi-Factor MIRT model to hypothetical simulated mixed-format test data in the context of observed-score equating with a common-item nonequivalent groups (CINEG) design. The equating results were compared with those derived from applying the two-parameter logistic (2PL) UIRT model across several conditions of combining proportions and compositions of common items, and correlations between two dimensions of item types. The Bi-Factor MIRT model produced lower root mean squared errors (RMSEs) than did the 2PL UIRT model for every conditions in 0.5 and 0.7 correlations between dimensions of item types. However, in 0.9 correlation, the RMSEs for 2PL UIRT model were lower than those for the Bi-Factor MIRT model. The RMSEs were the lowest when the compositions of common items reflected similarly the proportions of multiple-choice (MC) and free-response (FR) items in the total test. As the proportion of numbers of common items relative to the numbers of items in the total test increased, the RMSEs for both UIRT and MIRT equatings decreased as expected.

공통문항 비동등집단 설계에서 다차원 문항반응모형의 연계화와 동등화 결과 비교

정지영(Ji young Jung),이규민(Gue min Lee),강상진(Sang Jin Kang),민경석(Kyung Seok Min) 한국교육평가학회 2016 교육평가연구 Vol.29 No.4

본 연구는 공통문항 비동등집단 설계에서 이차원성을 갖는 검사자료에 다차원 문항반응모형을 적용한 연계화와 동등화 결과를 집단 간 비동등성, 차원 간 상관정도, 검사구조에 따라 모의실험을 통해 비교하였다. 각 연구조건에 따라 모의자료를 생성한 후 Oshima, Davey와 Lee(2000), Li와 Lissitz(2000), Min(2003)이 제안한 MIRT 연계화 방법을 적용하여 연계화를 시행하고 그 결과를 비교하였다. 이후 각 연계화 방법에 따라 공통 척도로 전환 된 모수를 사용하여 Brossman(2010)의 연구에서 제시한 복합 다차원 문항반응이론 관찰점수 동등화, 다차원 문항반응이론의 일차원적 접근 진점수와 관찰점수 동등화방법을 적용하여 동등화 결과를 비교하였다. MIRT 연계화 결과를 보면, Oshima, Davey와 Lee 방법이 Li와 Lissitz, Min 방법에 비해 집단 간 비동등성과 차원 간 상관정도에 따라 연계화 결과가 상대적으로 안정적으로 산출되었고, 검사구조에 따라서는 세 가지 연계화 방법의 결과가 유사하였다. MIRT 등동화 결과를 보면, Oshima, Davey와 Lee 연계화 방법이 적용된 경우에 모든 연구조건에서 세 가지 MIRT 동등화 방법의 결과가 유사하게 산출되었다. 한편 Li와 Lissitz, Min 연계화 방법이 적용된 경우에는 다차원 문항반응이론의 일차원적 접근 관찰점수와 진점수 동등화 방법 간 동등화 결과가 유사하였고, 복합다차원 문항반응이론 관찰점수 동등화 방법은 다른 패턴으로 동등화 결과를 산출하였다. The purpose of this study is to compare the results of MIRT linking and equating according to group nonequivalency, dimensional correlation, and test structures under the common item nonequivalent groups design with two dimensional simulation data. After separate calibration of generated simulation data, estimated parameters were linked by three MIRT linking methods: Oshima, Davey and Lee(2000), Li and Lissitz(2000), and Min(2003). Commonly scaled parameters by each linking method were equated by three MIRT equating methods: full MIRT observed score equating, approximate unidimensionalized MIRT true score, and approximate unidimensionalized MIRT observed score equating developed by Brossman(2010). A summary of the results of this study is divided into two parts because MIRT equating processes include MIRT linking procedures.