다변량 일반화가능도 이론을 적용하여 채점자 효과가 혼합형 검사 신뢰도에 미치는 영향 분석 = The Effects of Rater Effects on Reliability of Mixed-Format Tests Using Multivariate Generalizability Theory

다국어 초록 (Multilingual Abstract)

These days, mixed-format(MF) tests which are composed of multiple-choice (MC) items and free-response(FR) items are widely used. Unlike to MC items, FR items are affected by raters' subjectivity and errors are introduced by raters(Schoonen, 2005). It is called as 'rater effect'.
The most popular rater effects are rater severity/leniency and consistency/variability of rater severity. When a rater rates higher/lower score than the other raters, the rater is lenient/severe. When a rater gives scores consistently/inconsistently compared to the reasonable scores, the rater has consistency/variability of rater severity. Because these rater effects decrease the accuracy and reliability of measurement, it is recommended to use proper model considering rater effects.
Several studies examined reliability of MF tests using multivariate generalizability theory. First, Powers and Brennan(2009) estimated reliability of MF tests. However, the paper did not take a consideration of rater. Moses and Kim(2015) added rates facet in design, not rater. Recently, Kim et al.(2016) developed advanced research, and introduced new design for MF tests. Although the study is meaningful for using new indices to express MF test, limitation of using real data exists.
In this paper, simulation study is used to investigate the effect of rater effects on reliability of MF tests. The research question of this paper is to check the effects of various rater effects on reliability of MF tests by changing the design and the ratio of MC items and FR items.
With 12 rater conditions and 3 designs, MF tests data are generated, and the reliabilities are calculated. The result of this study was that the reliabilities of designs without rater effects were higher than those considering rater effects. The differences of severity had more effects on the reliability than consistency of severity. When the rater effects were low, by adding FR items, the reliability increased. And the reliabilities of crossed designs with raters were computed lower than nested designs.
To sum up, the conclusions of the study are like below. The effects of differences of rater severities on reliabilities are larger than another effect, especially to dependence index. When the difference of severity is high and the consistency of severity is low, the reliabilities are overestimated. And the reliabilities of rater nested models are higher than crossed model. The ratios of items function differently according to the rater effects.

국문 초록 (Abstract)

많은 평가 상황에서 선택형 문항과 서답형 문항으로 구성된 혼합형 검사가 사용되고 있다. 선택형 문항과 달리, 서답형 문항을 채점할 때는 채점 과정에서 채점자에 의한 오차가 개입될 수 있으며(Schoonen, 2005), 채점 시 채점자로 인해 추가되는 오차를 채점자 효과(rater effect)라고 한다.
채점자 효과는 크게 채점자의 엄격성/관대함과 채점자 엄격성의 일관성/변동성으로 구분된다. 채점자 엄격성/관대함은 다른 채점자가 부여하는 점수보다 낮은/높은 점수를 부여하는 채점자의 경향성을, 채점자 엄격성의 일관성/변동성은 타당한 채점점수를 기준으로 얼마만큼 일관적/비일관적으로 점수를 부여하는지를 의미한다(Myford & Wolfe, 2003). 채점자 효과는 신뢰도를 낮추므로, 분석 시 채점자를 고려하는 모형이나 설계를 적용할 필요가 있다.
다변량 일반화가능도 이론을 이용하여 혼합형 검사의 신뢰도를 계산하려는 시도는 꾸준히 이루어져왔다. Moses와 Kim(2015)은 채점 국면을 포함한 설계를 이용하여 혼합형 검사의 신뢰도를 계산하였으나, 채점자 국면이 아닌 채점 국면을 포함하였다. Kim et al.(2016)은 발전된 설계를 적용하여 혼합형 검사의 신뢰도를 산출하였다. Kim et al.(2016)의 연구는 새로운 기호를 사용하여 혼합형 검사의 설계를 규정하였다는 점에서 의의가 있으나, 기존의 자료를 가공하여 사용하여 연구의 결과가 연구에서 사용한 자료에 국한된다는 한계가 있다.
본 연구에서는 모의실험 연구를 통해 다변량 일반화가능도 이론을 적용하여 채점자 효과가 혼합형 검사의 신뢰도에 미치는 영향을 살펴보고자 하였다. 본 연구에서 설정한 연구의 문제는 채점자 효과가 여러 다변량 일반화가능도 모형의 신뢰도 차이에 어떠한 영향을 미치며, 채점자 효과가 다변량 일반화가능도 모형의 신뢰도에 미치는 영향은 어떠하며, 채점자 효과가 신뢰도에 미치는 영향이 문항 구성 비율에 따라 다르게 기능하는지 확인하는 것이다.
12가지 채점자 조건과 3가지 모형의 설계에 따라 혼합형 검사의 자료를 생성하였고, 문항 구성 비율을 다양하게 설정하여 각각의 신뢰도를 산출하였다. 연구 결과, 채점자를 고려하지 않는 모형의 신뢰도가 채점자를 고려하는 모형의 신뢰도보다 항상 높았으며, 신뢰도 간의 차이의 정도는 채점자 조건과 신뢰도의 종류마다 달랐다. 채점자 효과 중 채점자 간 엄격성의 차이가 채점자 내 엄격성의 일관성보다 신뢰도에 미치는 영향이 컸다. 또한 채점자 효과가 작을 때는 서답형 문항의 수가 증가할수록 신뢰도가 증가하였고, 채점자 효과가 클 때는 서답형 문항의 수가 증가할수록 신뢰도가 감소하였다. 채점자가 문항에 내재된 모형은 채점자와 문항이 교차하는 모형의 신뢰도보다 대체로 크게 추정이 되었으며, 과대추정의 정도는 채점자 조건마다 달랐다.
연구 결과를 종합하여 내린 결론은 다음과 같다. 채점자 효과 중 채점자 간 엄격성의 차이가 채점자 내 엄격성의 일관성보다 신뢰도에 미치는 영향이 더 컸고, 채점자 간 엄격성의 차이는 일반화가능도 계수보다 의존도 계수에서 더 큰 영향을 미쳤다. 그리고 채점자 간 엄격성의 차이가 크고 채점자 내 엄격성의 일관성이 낮을 때, 채점자를 고려하는 모형의 신뢰도가 과대추정이 되었다. 마지막으로, 채점자를 반영하지 않는 모형과 채점자를 반영하고 내재된 모형이 채점자를 반영하고 교차하는 모형보다 과대추정이 되었으며, 채점자 효과는 문항 구성 비율에 따른 신뢰도의 변화에 다르게 기능하였다.