가교검사 구성의 통계적 가정 완화에 따른 동등화의 정확성 비교 - 검사의 편포성과 검사 동등화 방법을 중심으로

국문 초록 (Abstract)

비동등집단 가교검사 설계의 타당성을 결정짓는 가장 중요한 요소 중 하나는 가교검사로 사용할 문항이 동등화 대상이 되는 두 검사를 연결하는 데 얼마나 정확하게 기능하는가 하는 점이다. 이에 선행 연구에서는 가교검사의 구성 조건을 변화시켰을 때 검사 동등화 결과에 어떠한 영향을 미치는 지가 다양한 맥락에서 고찰되어 왔다. 연구자들은 가교검사의 수가 적어도 전체검사의 20% 이상이어야 안정적인 동등화 결과를 얻을 수 있음을 강조하였고, 동등화를 실시하는 두 집단 간 비동등성을 가급적이면 줄이는 방식으로 동등화 집단을 선정하는 것이 매우 중요함을 시사하였다. 이와 더불어, 가교검사가 내용적․통계적 특성에 있어서 전체검사를 대표하는 축소판 검사로 개발해야 한다는 점도 많은 연구자들에 의해 강조되어 왔다.
그러나 최근 Sinharay와 Holland(2006, 2007)는 가교검사 구성시 전체검사에 대한 통계적 대표성 가정을 완화하는 것에 대해 긍정적인 견해를 밝힌 바 있다. Sinharay와 Holland는 가교검사의 곤란도 분포가 전체검사의 곤란도 분포에 비하여 좁은 범위에서 구성되는 검사의 경우, 선행 이론에서 제안한 바와 같은 축소판 검사에 비하여 가교검사와 전체검사 간 상관계수가 일반적으로 높게 나타났고, 결과적으로 동등화의 정확성이 향상되었음을 여러 가지 예를 통해 경험적으로 보여주었다.
Sinharay와 Holland(2006, 2007)의 연구 결과가 제기되면서, 이들의 주장이 다양한 검사의 맥락에서 타당하게 일반화될 수 있는지를 검토한 후속 연구가 속속 이루어지고 있다. 일례로, 가교검사 구성시 문항 곤란도 범위를 전체검사 곤란도 분포에 비하여 좁게 선정하는 것이 IRT 동등화 결과에 미치는 효과를 가교검사 문항의 비율, 가교검사 문항의 평균 곤란도와 전체검사 간 평균 곤란도의 차이, 동등화 집단 간의 능력 차이 등 여러 가지 모의실험 조건을 고려하여 평가한 결과, 가교검사의 곤란도가 좁은 범위에 걸쳐 분포하는 경우 전체검사의 곤란도 분포를 그대로 반영한 경우보다 가교검사와 전체검사 간 상관이 높게 나타났으며, 결과적으로 보다 정확한 동등화 결과를 산출하는 경향을 나타내었다(이현숙, 2009; 이현숙, 김성훈, 2010) Cho, Wall, Lee와 Harris(2010)는 혼합형 검사의 하위 검사 간 상관을 달리하여 동백분위동등화 결과의 정확성을 비교한 결과, 변별도가 높은 문항으로만 가교검사를 구성하는 경우는 모든 모의실험 조건에서 항상 가장 정확한 결과를 나타내었으며, 곤란도 분포가 전체검사와 동일하게 구성된 경우가 그렇지 않은 경우에 비하여 정확성이 약간 높게 나타나, 선행 연구 결과와는 다소 차이를 보였다. Antal, Proctor, Melica과 Wiley(2010)는 Sinharay와 Holland(2007)의 연구 결과가 동등화 체인을 통해 발생하는 척도 표류에 얼마나 민감한지에 관해 고찰한 결과, 전반적으로 가교검사의 통계적 구성조건 완화가 동등화 오차의 크기에는 큰 영향을 주지 않음을 관측하였으나, 보다 다양한 상황에서 본 연구 결과의 일반화 가능성을 높일 수 있는 추가적인 연구가 필요함을 언급하였다.
본 연구에서는 가교검사 구성시 요구되는 통계적 조건을 완화시키는 것의 타당성에 대한 일반화 가능성 확보를 위하여, 다음의 두 가지 조건을 추가로 고려하여 모의실험을 수행하고자 한다. 첫째, 검사 기관마다 적용하고 있는 동등화 방법이 다르므로, 가교검사 구성시 요구되는 통계적 조건의 완화가 동등화의 정확성에 미치는 영향이 동등화 방법에 따라 차이가 있는지 고찰하고자 한다. 둘째, 검사 점수 분포의 편포 정도를 변화시킨 상태에서 가교검사 구성의 통계적 조건 완화의 효과를 비교하고자 한다. 완화하는 통계적 조건으로서 곤란도와 변별도를 함께 고려하고자 하며, 선행 연구에서 중요한 요인으로 강조되었던 가교검사의 길이와 동등화 집단 간 피험자 능력의 차이도 모의실험 조건으로 고려하여 연구를 수행하고자 한다. 검사 문항은 모두 선다형으로 구성되어 있다고 가정하고, 전체검사와 가교검사의 곤란도 분포의 중심 경향은 동일하며, 가교검사 문항의 배치 위치에 따른 맥락 효과도 없는 것으로 가정하고자 한다. 또한 동등화 체인에 대한 고려 없이 신 검사형을 직접 구 검사형에 동등화 시키는 상황으로 설정하였으며, 표본 크기를 충분히 설정하여 모수 추정의 안정성이 확보되었다는 가정 하에 모의실험을 수행하고자 한다.