베이지안 문항반응이론 동등화에서 상위 사전정보 부여 방식들의 효과성 비교 = Modeling hyper-priors for Bayesian IRT equating: Fixed hyper-parameters or Hierarchical hyper-priors

다국어 초록 (Multilingual Abstract)

This study was conducted to identify the effectiveness of the methods of modeling hyper priors for the Bayesian IRT equating in the common plus matrix-sampled anchor items design. For the purpose of this research, the original data from the Korea National Assessment of Educational Achievement English test for the 1st grade high school students collected by the design of non-equivalent group anchor test was modified to the design of common plus matrix-sampled anchor items. The objective of this study was to examine the differential effectiveness between the fixed hyper-parameters methods and hierarchical hyper-priors methods. The fixed hyper-parameters methods have improved the equating results to a certain level of precision, but if the precision was too high, they had a side effect that shakes the basis of Bayesian IRT equating. The hierarchical hyper priors method showd the best equating results when assuming a very ordinary distribution of variance. I discussed that these findings do not conflict with the simulated research findings.

국문 초록 (Abstract)

채점되는 문항들에는 모든 피험자가 응답하게 하되 가교 문항들은 여러 구획에 나누어 배치되는 검사 설계에서 베이지안 IRT 동등화의 상위 사전 정보를 부여하는 방식들 간 효과성을 확인하고자 본 연구가 수행되었다. 비 동등 집단 가교 검사 설계로 수집된 국가수준학업성취도평가 고1 영어의 1,600명 검사 자료를 8개 구획의 행렬 표집 설계로 변형해서 사용했다. 문항 변별도와 난이도 모수의 상위 사전 정보를 특정 값으로 부여하는 방식과 어떤 확률 분포를 가정하는 방식 간 효과의 차이를 알아보고자 했다. 상위 모수 고정 방식은 일정 수준의 정밀도까지 동등화 결과가 개선되었지만 정밀도가 너무 높으면 오히려 베이지안 동등화의 근간을 흔드는 부작용이 생겼다. 위계적 상위 사전 정보 방식은 분산에 관한 매우 평범한 분포를 가정했을 때 가장 양호한 동등화 결과를 보였다. 이러한 연구 결과가 선행 모의 연구 결과들과 합치되는 또는 상충되는 점들을 논의했다.

참고문헌 (Reference)

1 남현우, "서답형이 포함된 행렬표집 가교문항 설계에서 베이지안 IRT 동등화의 위계적 모형화 가능성" 한국교육평가학회 30 (30): 639-664, 2017

2 남현우, "비 최적조건의 행렬표집설계에서 베이지안 동등화의 최소조건 탐색" 한국교육평가학회 28 (28): 1177-1201, 2015

3 남현우, "고부담시험에서 문항노출위험과 동등화편차를 최소화 할 수 있는 행렬표집설계 방안" 한국교육평가학회 22 (22): 633-657, 2009

4 Spiegelhalter, D. J., "WinBUGS version 1.4 user manual" MRC Biostatistics Unit 2003

5 Ames, A. J., "Using SAS Proc MCMC for item response theory models" 75 (75): 585-609, 2015

6 Keller, L. A., "The long-term sustainability of IRT scaling methods in mixed-format test" 50 (50): 390-407, 2013

7 Kolen, M. J., "Test equating, scaling, and linking-methods and practice-" Springer 2014

8 Kieftenbeld, V., "Recovery of graded response model parameters : a comparison of marginal maximum likelihood and Markov Chain Monte Carlo estimation" 36 (36): 399-419, 2012

9 Gelman, A., "Prior distributions for variance parameters in hierarchical models" 1 (1): 515-534, 2006

10 Wang, W., "Mixed-format test score equating: effect of item-type multi-dimensionality, length and composition of common-item set, and group ability difference" University of Iowa 2013

11 de la Torre, J., "Item Response Theory equating using Bayesian informative priors" 2001

12 Hu, H., "Investigation of IRT-based equating methods in the presence of outlier common items" 32 (32): 311-333, 2008

13 Kim, S., "IRT fixed parameter calibration and other approaches to maintaining item parameters on a common ability scale"

14 Kim, J., "Estimating Item Response Theory models using Markov Chain Monte Carlo methods"

15 Marcoulides, K. M., "Careful with those priors : A note on Bayesian estimation in two-parameter logistic IRT models" 16 (16): 92-99, 2018

16 Fox, J. -P., "Bayesian Item Response modeling: theory and application" Springer 2010

17 Curtis, S. M., "BUGS code for Item Response Theory" 36 (36): 1-34, 2010

18 Sheng, Y., "An empirical investigation of Bayesian hierarchical modeling with unidimensional IRT models" 40 (40): 19-40, 2013

19 Patz, R. J., "A straightforward approach to Markov Chain Monte Carlo methods for Item Response Theory" 24 (24): 146-178, 1999

20 Sheng, Y., "A sensitivity analysis of Gibbs sampling for 3-PNO IRT models : effects of prior specifications on parameter estimates" 37 (37): 87-110, 2010

21 Dai, Y., "A mixture Rasch model with a covariate : a simulation study via Bayesian Markov Chain Monte Carlo estimation" 37 (37): 375-396, 2013

22 Wang, X., "A Bayesian method for studying DIF : A cautionary tale filled with surprises and delights" 33 (33): 363-384, 2008