모형선택지수를 활용한 M2PLM과 MLTM 비교 연구 = A comparison study on the M2PLM and MLTM based on model selection indices

국문 초록 (Abstract)

본 연구에서는 다차원 문항반응이론 적용 맥락 하에서, 보상성 가정과 비보상성 가정 중 하나를 선택해야 할 때 모형선택지수의 활용가능성 및 수행 정도를 탐색하였다. 이를 위하여 다차원적 문항반응모형 중에서 각각 보상성 모형과 비보상성 모형을 대표한다고 할 수 있는 M2PLM과 MLTM을 고려하여 모의실험 연구를 수행하였다. 실제 검사 자료의 문항모수를 자료 생성 모수로 사용하였으며 피험자수, 검사 길이, 인지요소 간 상관계수의 크기, 생성 모형 등을 모의실험 요인으로 고려하였다. 각각의 모형으로 생성된 모의실험 자료에 대하여 모형선택지수 중 AIC, BIC, DIC, CVLL을 계산하여 어느 모형이 보다 간명하게 설명할 수 있는지를 조사하였다. 연구 결과 CVLL은 모든 모의실험 조건에서 진 모형을 매우 정확하게 선택하고 있는 것으로 나타나 다차원 자료에 대한 모형을 선택하고자 할 경우 양적인 근거로서 신뢰할 수 있는 수단으로 나타났다. 마지막으로 이와 같은 결과에 대해 논의와 함께 본 연구의 제한점 및 향후 연구 방향에 대하여 제시하였다.

다국어 초록 (Multilingual Abstract)

This study examined the performances of model selection indices as empirical tools to choose one of compensatory and non-compensatory models. For the purpose of this, we conducted a simulation study considering the M2PLM and MLTM which are representative of compensatory and non-compensatory models, respectively, in multidimensional item response theory. In this simulation study, an actual test dataset was calibrated by both models and the results were used to determine true model parameters. The simulation factors were sample sizes, test lengths, correlation coefficients between sub-abilities, and generation models. The model selection indices such as AIC, BIC, DIC, and CVLL were calculated for each simulated data set which is generated with one of the two models and calibrated by both. The results show that CVLL could provide very accurate selection at all the simulation conditions. Therefore, it can be concluded that CVLL is a very trustworthy tool to select a psychometric model for multidimensional test data. Finally, discussions of the findings were provided followed by limitations of this study and directions of future studies.

참고문헌 (Reference)

1 송미영, "인지진단모형을 통한 국가수준 학업성취도평가 결과 분석 및 성적 보고 탐색 방법" 한국교육과정평가원 2011

2 반재천, "불확실 Q행렬 요소의 비율 및 사례수가 베이지안 RDINA모형을 이용한 Q행렬 요소 추정의 정확도에 미치는 효과" 한국교육평가학회 26 (26): 775-799, 2013

3 김명연, "보상성·비보상성 가정이 심리측정 모형을 통한 다차원적 능력 추정에 미치는 영향" 성신여자대학교 2016

4 김명연, "보상성 및 비보상성 가정을 평가하기 위한 모형선택지수의 활용가능성 탐색: DINA와 DINO 모형 비교를 중심으로" 한국교육평가학회 29 (29): 383-404, 2016

5 민경석, "문항반응이론에서의 다차원적 접근" 한국교육평가학회 17 (17): 15-32, 2004

6 Spiegelhalter, D., "WinBUGS version 1.3 [Computer program]"

7 Suh, Y., "Using random effects modeling to address attribute beterogeneity in cognitive diagnosis" 2005

8 von Davier, M., "The DINA model as a constrained general diagnostic model: Two variants of a model equivalency" 67 (67): 49-71, 2013

9 Hitchcock, C., "Predictive versus accommodation and the risk of overfitting" 55 : 1-34, 2004

10 Ostini, R., "Polytomous item response theory models" Sage 2005

11 Reckase, M. D., "Multidimensional item response theory" Springer 2009

12 Li, F., "Model selection methods for mixture dichotomous IRT models" 2006

13 von Davier, M., "Hierarchical diagnostic classification models morphing into unidimensional ‘diagnostic’ classification models a commentary" 79 (79): 340-346, 2014

14 Bolt, D. M., "Estimation of Compensatory and Noncompensatory Multidimensional Item Response Models Using Markov Chain Monte Carlo" 27 (27): 395-414, 2003

15 Schwarz, G., "Estimating the dimension of a model" 6 : 461-464, 1978

16 von Davier, M., "Equivalency of the DINA Model and a Constrained General Diagnostic Model" Educational Testing Service 2011

17 Tatsuoka, K. K., "Diagnostic monitoring of dkill and knowledge acquisition" Lawrence Erlbaum Associates 453-488, 1990

18 de la Torre, J., "Cognitive Diagnosis Modeling: A General Framework Approach" 2011

19 Henning, C., "Cluster-wise assessment of cluster stability" Department of Statistical Science, University of College London 2004

20 Spiegelhalter, D. J., "BUGS 0.5* Bayesian inference Using Gibbs Sampling"

21 Buck, G., "Application of rule-space methodology to listening test data" 15 : 118-142, 1998

22 Sclove, S. L., "Application of model-selection criteria to some problems in multivariate analysis" 52 : 333-343, 1987

23 강태훈, "Application of Statistical Model Selection Methods to Assessing Test Dimensionality" 한국교육평가학회 21 (21): 153-175, 2008

24 Akaike, H., "A new look at the statistical model identification" 19 (19): 716-723, 1974

25 De Boeck, P., "A conceptual and psychometric framework for distinguishing categories and dimensions" 112 : 129-158, 2005