채점자 경력 요인 및 작문 평가방식이 평가 결과에 미치는 영향 - 한국어 작문 평가를 중심으로 - = Effects of Rater Factors and Writing Assessment Methods on Evaluation Results - Focusing on Evaluation of Korean Writing

국문 초록 (Abstract)

본 연구는 첫째, 채점자의 경력 요인과 한국어 작문 평가방식이 평가 결과에 미치는 영향과 요인 간 상호작용 효과를 밝히고 둘째, 평가 결과에 영향을 미치는 오차원과 한국어 작문 평가의 효율적인 측정 조건을 찾는 데에 목적이 있다. 이를 위하여 Two-way ANOVA와 t-test, 일반화가능도이론을 적용하여 분석하였다. 연구 자료는 60회차 TOPIK Ⅱ 쓰기 4번 문항 답안지 70부로 채점자의 강의 경력 및 쓰기 시험 채점 경력 유무로 집단을 구분하여 분석적 채점을 진행하였다. 연구 결과, 채점자 경력 요인이 평가 결과에 미치는 영향은 통계적으로 유의미하였다. 유경력자 집단이 무경력자 집단에 비해 보다 일관적인 채점을 하였으며 두 평가방식 모두 유경력자 집단이 더 엄격한 채점을 하였다. 또한 특정 평가 범주에서 채점자 경력요인별, 평가방식별로 유의미한 차이가 나타났는데 이러한 차이는 채점자 훈련 및 채점 회의 등을 통해 줄일 수 있을 것으로 예상된다. 반면 평가방식이 평가 결과에 미치는 영향은 미미한 것으로 드러났다.

다국어 초록 (Multilingual Abstract)

This study aims to reveal the effects of the evaluating experience on the evaluation of Korean writing. Further, it aspires to find the source of error that affects the evaluation and efficiency in evaluating Korean writing. To this end, a two-way ANOVA, t-test, and generalizability theory were applied. The research was conducted using 70 samples from the 60th TOPIK II Writing Question 4 to determine the various scoring methods utilized by subjects with differing experience evaluation levels. The results showed that the group of experienced subjects had greater reliability and severity. Significant differences were found in specific scoring criteria determined by the evaluator’s career factors and methods. Conversely, the impact of the evaluation method on the evaluation results was found to be insignificant.

참고문헌 (Reference)

1 안수현, "한국어능력시험(TOPIK) 쓰기 평가의 채점 특성 연구" 국제한국어교육학회 28 (28): 173-196, 2017

2 김수현, "한국어 학습자의 쓰기 수행 평가 신뢰도 분석 - 다국면 라쉬 모형을 사용하여" 한국어의미학회 61 : 1-31, 2018

3 이인혜, "한국어 쓰기 평가의 채점 방식에 따른 채점자 신뢰도 연구 : 종합적 채점 및 분석적 채점을 중심으로" 고려대학교 대학원 2012

4 정지윤, "한국어 쓰기 평가의 영향 요인에 대한 교차분류 다층분석: 평가자, 평가 방법을 중심으로" 연세대학교 대학원 2017

5 김정숙, "한국어 쓰기 능력 평가 방안- 종합적 채점과 분석적 채점 결과를 중심으로" 이중언어학회 (43) : 81-99, 2010

6 이인혜, "한국어 교사의 쓰기 평가 효능감과 평가 특성 연구" 이중언어학회 (56) : 231-266, 2014

7 이은하, "학문 목적 한국어 쓰기 수행 평가의 채점자 신뢰도 검증 - 다국면 Rasch 모형을 활용하여 -" 한국국어교육학회 (103) : 311-354, 2015

8 김성숙, "학문 목적 한국어 쓰기 능력에 대한 분석적 평가의 일반화가능도 검증" 국제한국어교육학회 22 (22): 29-48, 2011

9 주현정, "컴퓨터 기반 작문과 지필 작문의 비교 연구: 동일한 필자가 수행하는 두 가지 작문 활동의 비교를 중심으로" 고려대학교 교육대학원 2011

10 김인숙, "지필쓰기 평가와 컴퓨터쓰기 평가의 차이 분석: 중학생 논설문평가를 중심으로" 한국교원대학교 대학원 2015

11 강민석, "다국면 라쉬 모형을 통한 한국어 쓰기 평가에서의 채점 경향연구" 고려대학교 대학원 2014

12 박영민, "‘손글씨 설명문’과 ‘워드 설명문’ 평가 과정에서 나타나는 국어교사 눈동자 움직임의 차이" 국어교육학회 49 (49): 193-224, 2014

13 Heaton, J. B., "Writing English Language Tests: Longman Handbook for Language Teachers" Longman Group UK Ltd 1988

14 Powers, D., "They Think Less of My Handwritten Essay If Others Word Process Theirs?" 31 (31): 220-233, 1994

15 Moore, M. A., "The effects of computer communications on the reading and writing performance of fifth-grade students" 8 : 27-38, 1992

16 Sprouse, J. L., "The Pygmalion Effect and Its Influence on the Grading and Gender Assignment on Spelling and Essay Assessments(ERIC document No. ED 374096)" University of Virginia 1994

17 Robinson, S., "Technical manual; Handwriting research corporation" Annual Meeating of the American Psychological Association 1990

18 National Center for Education Statistics, "Online assessment in mathmatics and writing: Reports from the NAEP technology-based assessment project. research and development series" National Center for Education Statistics 2005

19 Emerling, F., "Identifying ethnicity and gender from anonymous essays" 19 (19): 29-33, 1991

20 Russell, M., "Effects of handwriting and computer-print on composition scores: follow-up to Powers, Fowles, Farnum, &Ramsey" 9 (9): 231-255, 2004

21 Sweedler-Brown, C. O., "ESL essay evaluation: The influence of sentence-level and rhetorical features" 2 (2): 3-17, 1993

22 Hamp‐Lyons, L., "Communicative writing profiles : An investigation of the transferability of a multiple‐trait scoring instrument across ESL writing assessment contexts" 41 (41): 337-373, 1991

23 Weigle, S. C., "Assessing writing" Ernst Klett Sprachen 2002

24 Lee, H. K., "A Comparative Study of ESL Writers' Performance in a Paper-Based and a Computer-Delivered Writing Test" 9 (9): 4-26, 2004