기초학력 진단평가 서답형 문항의 자동채점 가능성 탐색 = The Application of Automatic Scoring Program to Supply-Type Items of Basic Competency Test

국문 초록 (Abstract)

본 연구의 목적은 초등학교 3학년 기초학습 진단평가의 서답형 문항을 대상으로, 2012년에 한국교육과정평가원에서 개발한 한국어 단어 · 구 수준 서답형 자동채점 프로그램을 적용하여 자동채점 가능성을 탐색하려는 것이다. 이를 위해 읽기, 쓰기 서답형 문항 중 11문항을 선정하고 각 506∼929명의 답안 자료를 대상으로 자동채점 프로그램을 적용하여 자동채점 단계별 정답 수, 오답 수, 미채점 수, 채점 비율을 계산하였다. 이와 함께 각 문항별로 Kappa계수와 상관계수를 계산하여 제시하였다.
한국어 서답형 자동채점 프로그램을 활용하여 채점한 결과 초3 기초학습 진단평가의 단어 · 구 수준의 단답형 문항은 대부분 자동채점이 가능한 것으로 나타났다. 즉, 초3 기초학습 진단평가의 단어 · 구 수준의 한국어 서답형 문항에 대한 자동채점 프로그램의 채점 비율과 채점자와의 일치도는 적정한 수준이었고, 일부 채점 오류가 있었으나 그 비율은 적은 편이었다. 채점 오류 중 가장 많은 것은 철자 오류이고, 나머지는 유사어를 인지하지 못하거나 다른 기호나 용어가 포함되어 있는 경우가 대부분이었다.
초3 기초학습 진단평가에 자동채점 프로그램을 적용할 경우, 담임교사들이 직접 채점하므로 맞춤형 교수학습이 가능하도록 학생별 정 · 오답 처리 결과를 피드백할 수 있는 기능을 추가하고, 교사들이 자동채점 프로그램을 쉽게 활용할 수 있도록 편의성이 높은 인터페이스를 추가로 개발할 것을 제안하였다.

다국어 초록 (Multilingual Abstract)

The purpose of this study is to explore possibility of automatic scoring supply‐type items of the Grade 3 National Diagnostic Assessment of Basic Competency (NDABC) to reduce scoring burden, to improve scoring efficacy and scoring reliability. This study presented scoring rates, scoring errors, and Kappa(correlation) coefficients of scores between human scoring and automatic scoring in order to ensure scoring reliability. We also analyzed the sources of scoring errors, where the automatic scoring program fails. We used automatic scoring program developed by the Korea Institute for Curriculum and Evaluation (KICE). The results showed that the scoring rate was very high(91.5∼100%), and that the Kappa coefficients depend on items. The numbers of scoring error were 1∼42. The sources of scoring errors were caused by spelling errors, the non-recognition of analogous terms and symbols.
This study presented two suggestions as following.
First an automatic scoring program for NDABC should be supplemented to give feedback and information about wrong answer to teachers and students. Second the program should focus on providing convenient interface for teachers.

목차 (Table of Contents)

• Ⅰ. 서 론
• Ⅱ. 한국어 서답형 문항 자동채점 프로그램 개요
• Ⅲ. 연구 방법
• 1. 분석 자료 및 분석 방법
• 2. 자동채점 프로그램의 채점 신뢰도 검증을 위한 일치도 계수
• Ⅳ. 연구 결과
• 1. 읽기
• 2. 쓰기
• Ⅴ. 결론

참고문헌 (Reference)

1 성태제, "학업성취도 평가 서답형 문항 컴퓨터 채점화 방안 연구" 한국교육과정평가원 2010

2 강원석, "질의문 유형 분석을 통한 서답형 자동 채점 시스템" 한국콘텐츠학회 11 (11): 13-21, 2011

3 조우진, "의미커널과 한글 워드넷에 기반한 지능형 채점 시스템" 한림대학교 대학원 2006

4 정동경, "벡터유사도와 시소러스를 이용한 주관식 답안의 채점방법" 동국대학교 교육대학원 2002

5 노은희, "대규모 평가를 위한 서답형 문항 자동채점 방안 연구" 한국교육과정평가원 2012

6 박도순, "교육평가-이해와 적용" 교육과학사 2007

7 Landauer, T. K., "The intelligent essay assessor: Putting knowledge to the test" 2001

8 Page, E. B., "Project essay grade: PEG, In Automated essay scoring: A cross-disciplinary perspective" Lawrence Erlbaum Associates 43-54, 2003

9 Chung, G. K., "Issues in the reliability and validity of automated scoring of constructed responses, In Automated essay scoring: A cross-disciplinary perspective" Lawrence 2003

10 Nichols, P. D., "Evidence for the interpretation and use of scores from an automated essay scorer" 2004

11 Clauser, B. E., "Development of a scoring algorithm to replace expert rating for scoring a complex performance-based assessment" 10 : 345-358, 1997

12 Jiang, J., "Automated scoring research over 40 Years : Looking back and ahead" 5 (5): 56-63, 2012

13 Burstein, J., "Automated essay scoring for nonnative English speakers" 68-75, 1999

14 Burstein, J. C., "Automated essay evaluation with natural language processing" 2001

15 Yang, Y., "A review of strategies for validating computer-automated scoring" 15 : 391-412, 2002

16 Bejar, I. I., "A methodology for scoring open-ended architectural design problems" 76 : 522-532, 1991

17 김명화, "3R's 기초학습 부진 선별 도구 개발 연구" 한국교육과정평가원 2011

18 반재천, "2011년 기초학력 향상도 평가의 분류일관성, 기초학력 도달 비율, 그리고 하위 단계 성취 정도와 학년말 기초학력 도달간 관계" 2012

19 Williamson, D. M., ""Mental Model"comparison of automated and human scoring" 36 : 158-184, 1999