자동문항생성 기법을 활용한 읽기 평가 개발에 대한 시론 : 사실적 독해 문항 모형을 중심으로 = A Study on the Development of Reading Assessment Using Automatic Item Generation -focused on reading comprehension item model-

국문 초록 (Abstract)

본 연구는 교실 평가의 디지털 전환과 관련하여 평가 공학의 한 분야인 자동문항생성을 활용한 디지털 형태의 읽기 평가의 가능성을 논의하였다. 평가 공학적 접근은 측정 및 평가 설계와 평가 도구 개발의 디지털화에 초점을 두고 있으며, 이는 읽기 평가의 타당도 제고에 기여하는 한 방안이 될 수 있다. 이를 위해 평가 공학의 관점에서 AIG의 개념을 검토하고, 읽기 평가에서 문항 모형을 활용한 디지털 전환의 이론적 토대를 제시하였다. 특히 텍스트 명제 분석에 기반하여 읽기 평가 문항 모형을 설계하는 방안을 제시하였다. 이러한 논의에 기반하여 실제 사실적 독해영역의 문항 모형 개발 사례를 검토하였다. 하나의 텍스트에 대해 8개의 문항 형식으로 구성된 문항 모형을 검토하여 읽기 평가에서 자동문항생성의 실행 가능성을 논의하였다. 이 연구는 읽기 평가 설계 지식을 디지털화하여 코드로 구현한 점, 텍스트 이해를 평가하기 위한 명제 분석 기반의 평가 내용을 구성한 점, 코드화를 통한 문항 형식의 다양성(Versatility)을 구현한 점에서 의의가 있다. 이후 효과적 선지 설계, NLP 기술과의 접목, 적응형 평가, 학습을 위한 평가로 나아갈 수 있는 AIG를 활용한 읽기 평가 연구의 연구 과제를 논의하였다.

다국어 초록 (Multilingual Abstract)

About the digital transformation of classroom assessment, this paper discussed the possibility of digital reading assessment using automatic item generation, a field of assessment engineering. The assessment engineering approach focuses on the digitization of measurement and assessment design and development of assessment tools, which can be one way to contribute to improving the validity of reading assessment. To this end, the concept of AIG was reviewed from the viewpoint of assessment engineering. This paper presented the theoretical foundation for digital transformation using the item model in reading assessment. In particular, a method to design a reading assessment item model based on text proposition analysis was presented. Based on this discussion, this paper reviewed the case of item model development in the reading comprehension area. And this study discussed the feasibility of automatic item generation in reading assessment by examining the item model consisting of 8 item formats for one text. This study is significant in that the reading assessment design knowledge was digitized and implemented as a code, the proposition analysis-based assessment content to assess text comprehension was composed, and the versatility of the item format was realized through coding. Afterward, the future works of reading assessment research using AIG, which can progress to effective predictive design, grafting with NLP technology, adaptive assessment, and assessment for learning, were discussed.