논증적 글쓰기 채점 기준의 타당도 검증 －Messick의 타당도 개념에 기반한 Rasch 모형 분석 = Validation of Scoring Criteria for Argumentative Writing :Rasch Model Analysis Grounded in Messick’s Concept of Validity

국문 초록 (Abstract)

본 연구는 논증적 글쓰기 평가에서 사용되는 채점 기준의 타당도를 Messick(1989, 1995)의 타당도 개념에 근거하여, Rasch 측정모형을 활용해 실증적으로 검증하고자 하였다. 이를 위해 채점 기준의 일관성, 평가 도구의 일차원성, 채점의 공정성과 신뢰성 등을 종합적으로 분석하였다. Rasch 모형의 적합도 지수를 통해 채점 기준의 내적 일관성을 검토하고, 표준화 잔차에 대한 주성분 분석(PCA of Residuals)을 통해 평가 도구의 일차원성을 확인하였다. 또한, 차별기능문항(DIF) 분석을 통해 특정 채점 기준이 글쓰기 주제에 따라 상이하게 작동하는지를 검토하였으며, 다국면 Rasch 모형(MFRM)을 활용하여 채점자 간의 일관성과 채점 기준의 일반화 가능성을 분석하였다. 그 결과, 대부분의 채점 기준이 통계적으로 유의미한 적합도와 신뢰도를 보였으며, 평가 도구의 일차원성이 타당하게 확보되었음을 확인할 수 있었다. 일부 기준에서 주제 간 DIF가 관찰되었으나, 후속 분석을 통해 보완 가능성이 제시되었다. 본 연구는 논증적 글쓰기 채점 기준의 타당도를 정량적으로 지지하는 실증적 근거를 제시함으로써, 교육 현장에서의 평가 신뢰성 향상에 기여할 수 있음을 시사한다.

다국어 초록 (Multilingual Abstract)

This study aims to verify the validity and reliability of scoring criteria in argumentative writing assessment by employing the Rasch measurement model based on Messick’s(1989, 1995) comprehensive concept of validity. The analysis includes fit statistics to examine the consistency of the scoring criteria and a principal components analysis (PCA) of standardized residuals to evaluate the unidimensionality of the assessment. In addition, Differential Item Functioning (DIF) analysis was conducted to determine whether certain scoring criteria function differently depending on the writing topic, and the Many-Facet Rasch Model (MFRM) was applied to comprehensively assess the reliability of raters and the fairness of the criteria. The results indicate that most scoring criteria showed statistically significant consistency, and the overall unidimensionality and measurement reliability of the assessment tool were confirmed. While some DIF patterns emerged, further analysis suggested that these were likely due to interactions with topic characteristics rather than flaws in the scoring criteria themselves. This study offers empirical evidence supporting the validity of the argumentative writing scoring criteria and contributes to the advancement of fair and reliable writing assessment practices.