구문의미트리 비교기를 이용한 주관식 문항 채점 시스템에 대한 연구 = Research on Subjective-type Grading System Using Syntactic-Semantic Tree Comparator

국문 초록 (Abstract)

주관식 문항은 깊이 있는 사고능력 평가와 고등정신능력 평가에 적합하나 채점하기가 쉽지 않다. 동일한 채점기준을 갖더라도 채점자에 따라 다른 채점결과를 가져올 수 있으므로 객관적인 자동 채점 시스템이 필요하다. 그렇지만 채점 시스템은 표현 언어인 한국어 분석과 비교의 문제가 걸려있다. 본 연구는 한국어의 구문 분석을 구현하고 결과인 구문분석 트리를 비교하는 비교기를 이용하여 주관식 문항을 채점하는 채점 시스템을 설계, 개발하였다. 이 시스템은 단어 중심의 채점 시스템과 구문의미트리 중심의 채점 시스템을 복합한 시스템으로 구문의미트리 비교기를 활용하였다. 본 시스템의 실험 결과 제안한 구문의미트리 중심의 채점 시스템과 복합 채점 시스템이 더 나은 결과를 가져옴을 알 수 있었다. 본 연구는 한국어 구문의미분석과 주관식 채점 영역에 활용할 수 있고 또한 문서 분류에도 활용할 수 있을 것이다.

다국어 초록 (Multilingual Abstract)

The subjective question is appropriate for evaluation of deep thinking, but it is not easy to score. Since, regardless of same scoring criterion, the graders are able to produce different scores, we need the objective automatic evaluation system. However, the system has the problem of Korean analysis and comparison. This paper suggests the Korean syntactic analysis and subjective grading system using the syntactic-semantic tree comparator. This system is the hybrid grading system of word based and syntactic-semantic tree based grading. This system grades the answers on the subjective question using the syntactic-semantic comparator. This proposed system has the good result. This system will be utilized in Korean syntactic-semantic analysis, subjective question grading, and document classification.

참고문헌 (Reference)

1 강승식, "학생 답안 분석과 정답 템플릿 생성에 의한 한국어 서답형 문항의 자동채점 시스템" 한국정보과학회 22 (22): 218-224, 2016

2 허정만, "투표 기반 서술형 주관식 답안 자동 채점 모델의 설계 및 구현" 한국컴퓨터정보학회 18 (18): 17-25, 2013

3 강원석, "질의문 유형 분석을 통한 서답형 자동 채점 시스템" 한국콘텐츠학회 11 (11): 13-21, 2011

4 천민아, "준지도학습 방법을 이용한 한국어 서답형 문항 반자동 채점" 한국인지과학회 26 (26): 147-165, 2015

5 김홍기, "주관식 평가를 위한 웹기반 온라인 평가 시스템의 구현 및 적용" 한국정보교육학회 8 (8): 251-260, 2004

6 강원석, "주관식 문제 채점에서의 구문의미트리 비교 시스템에 대한 연구" 한국컴퓨터교육학회 20 (20): 79-88, 2017

7 박일남, "정답 템플릿 작성 방식에 의한 한국어 서답형 문항 자동채점 시스템" 한국정보과학회 19 (19): 630-636, 2013

8 조우진, "의미커널과 한글 워드넷에 기반한 지능형 채점 시스템" 한국정보처리학회 12 (12): 539-546, 2005

9 박희정, "유의어 사전을 이용한 주관식 문제 채점 시스템 설계 및 구현" 한국컴퓨터교육학회 6 (6): 207-216, 2003

10 최윤정, "영어 논술 채점 컴퓨터 프로그램의 비교·분석" 한국교육평가학회 19 (19): 145-160, 2006

11 조지민, "서답형 문항 온라인 채점 시스템의 개발과 적용" 한국컴퓨터교육학회 17 (17): 39-51, 2014

12 이재영, "대규모 주관식 문제에서 유사한 답 채점 정보관리 시스템" 한국정보기술학회 9 (9): 187-196, 2011

13 천민아, "기계학습 분류기의 예측확률과 만장일치를 이용한 한국어 서답형 문항 자동채점 시스템" 한국정보처리학회 5 (5): 527-534, 2016

14 강원석, "구문의미트리 비교기를 이용한 유사문서 판별기" 한국콘텐츠학회 15 (15): 636-646, 2015

15 강원석, "구문-격의미 정보를 이용한 주관식 문제 채점 시스템 설계 및 구현" 한국컴퓨터교육학회 10 (10): 61-70, 2007

16 강원석, "검색엔진을 한 키워드 관련어 추출기의 설계 및 구현" 241-246, 2007

17 정상목, "LSA를 이용한서술형 주관식 평가 시스템의 설계 및 구현" 한국정보교육학회 9 (9): 289-298, 2005

18 김재훈, "KTAG99: 새로운 환경에 쉽게적응하는 한국어 품사 태킹 시스템" 99-105, 1999

19 Claudia Leacock, "C-rater: Automated Scoring of Short-Answer Questions" 37 : 389-405, 2003

20 조정현, "BLEU를 활용한 단기 서술형 답안의 자동채점" 606-610, 2009

21 Attali, Y., "Automated Essay Scoring With e-rater® V.2" 4 (4): 2006