교육평가학에서 타당도 논의의 변화: 고전검사이론에서 인공지능 기반 평가까지 = Rethinking Validity in Educational Assessment: From Classical Test Theory to AI-Based Assessment

국문 초록 (Abstract)

본 연구는 한국 교육평가학의 발전 과정을 타당도 개념의 관점에서 분석하고, 고전검사이론, 문항반응이론, 인공지능 기반 평가로 이어지는 방법론적 변화가 타당도 논의에 어떠한 영향을 미쳐 왔는지를 고찰하는 데 목적이 있다. 이를 위해 한국교육평가학회 학술지『교육평가연구』에 게재된 2002년부터 2025년까지의 논문 905편을 대상으로 문헌 계량 분석을 실시하고, 이 중 타당도 관련 논문 140편을 별도로 분석하였다. 분석결과, 교육평가 연구의 방법론은 고전검사이론에서 문항반응이론 중심으로 발전해왔으며, 최근에는 인공지능 기반 평가 연구가 등장하는 흐름이 확인되었다. 그러나 타당도 관련 논문은 전반적으로 고전검사이론 기반 연구에 집중되어 있어, 방법론의 변화와 타당도 논의 간에 비대칭적 구조가 존재하는 것으로 나타났다. 이에 본 연구는 인공지능 기반 평가 환경에서 기존의 심리측정학적 타당도 개념이 충분한 설명력을 가지기 어렵다는 점을 지적하고, 타당도 개념을 알고리즘의 예측 안정성, 데이터의 대표성, 설명가능성을 포함하는 방향으로 재구성할 필요성을 제안하였다. 이러한 논의는 교육평가학이 새로운 평가 환경에 대응하기 위한 이론적 확장의 필요성을 제시한다는 점에서 의의를 가진다.

다국어 초록 (Multilingual Abstract)

This study examines the development of educational assessment in Korea from the perspective of validity, focusing on how methodological shifts from Classical Test Theory (CTT) to Item Response Theory (IRT), and more recently to AI-based assessment, have influenced the concept of validity. A bibliometric analysis was conducted on 905 articles published in The Journal of Educational Evaluation between 2002 and 2025, with 140 validity-related studies analyzed separately. The results indicate that while research methodologies have shifted from CTT to IRT and recently toward AI-based approaches, validity-related studies remain largely grounded in the traditional CTT framework. This suggests a mismatch between methodological advances and the evolution of validity concepts. In response, this study argues that traditional psychometric notions of validity are insufficient in AI-based assessment contexts. It proposes an expanded framework of validity that incorporates algorithmic stability, data representativeness, and explainability. These findings highlight the need to reconceptualize validity in response to emerging assessment environments.