Rating of Korean Students’ L2 Writing : Similarities and Differences Between Native and Non-Native Raters = 한국인 영어작문에 대한 평가 : 원어민·비원어민 평가자간 유사점과 차이점

다국어 초록 (Multilingual Abstract)

The present study investigates the rating behavior of two native-speaking teachers and two Korean teachers of English when assessing forty essays written by Korean EFL students. Three research questions guided this study: (1) are there any similarities or differences in their rating behavior in holistic scoring? (2) Are there any similarities or differences in their rating behavior in analytic scoring? (3) And what factors are involved in these similarities or differences? Forty college students preparing for their TOEFL were asked to write an essay. Their essays were evaluated by the four teachers based on the TOEFL writing scoring rubric using the six point scale. The teachers read each essay twice. They were first required to give overall scores; then, in the second reading, they provided analytic assessments for four subareas. A paired t-test was performed to examine any discrepancy in holistic and analytic scoring between the two groups. Differences in holistic scoring appeared statistically significant: the Korean teachers gave higher scores than did their native counterparts. With respect to analytic scoring, the Korean raters also gave higher scores in all subareas, and the differences between the two groups were much greater than those in the holistic scoring. Interestingly, both groups gave the highest score in vocabulary, followed by grammar, content, and organization. A qualitative analysis indicated that all the teachers prioritized the logical flow of ideas and emphasized rhetorical features rather than linguistic features. Native teachers tended to score linguistic features based on native intuition. They also followed the Western writing convention in rating, while the Korean teachers applied the Korean rhetorical style.

국문 초록 (Abstract)

본 논문은 원어민 교사와 한국인 교사의 영어작문평가 행위를 연구한 것이다. 원어민 교사 2명과 한국인 교사 2명이 연구에 참여하였으며, 이들은 미국 학부과정으로 유학을 준비 중인 대학생 40명의 토플 작문에 대하여 통합적 및 분석적 평가를 실시하였다. 평가는 토플작문평가 기준표를 사용하여 0에서 5점 사이의 점수를 부여하는 방식이었다. 통합적․분석적 평가에 있어서 두 집단 간 차이를 보기 위해서 t-검증을 실시하였다. 통합적 평가에서 한국인교사들이 원어민교사들 보다 높은 점수를 주었으며, 이는 통계적으로 유의미하였다. 분석적 평가에서도 한국인 교사들이 더 높은 점수를 부여하였고 그 차이가 통합적 평가보다 훨씬 큰 것으로 나타났으며, 이 역시 통계적으로 유의미한 것이었다. 분석적 평가의 항목별 점수를 보면, 두 집단 모두 단어, 문법, 내용, 구성의 순으로 높은 점수를 주었다. 정성적 분석에서는 모든 교사들이 공통적으로 논리의 흐름을 중시하고 내용과 구성을 강조한 것으로 나타났다. 차이점으로는 한국인 교사들은 단어사용과 문법 평가에 어려움을 겪은 반면, 원어민교사들은 직관에 따라 상대적으로 쉽고 정확하게 평가하는 것으로 나타났다. 또한, 원어민 교사들은 영어작문이 요구하는 수사학 형식에 따라 채점한 반면, 한국인 교사들은 채점 과정에서 한국어 작문의 수사학 형식을 따르는 경향이 있었다. 교사들의 언어․문화적 배경과 교육적 배경이 영어작문 채점에 영향을 끼치는 것으로 나타났다.

목차 (Table of Contents)

• 요약
• I. Introduction
• II. Literature Review
• 1. Early Interests of Writing Assessment
• 2. Issues of L2 Writing Assessment
• 3. Comparison Between Native and Non-Native English Teachers
• III. Research Methods
• IV. Findings
• 1. Comparison in Holistic Scoring
• 2. Comparison in Analytic Scoring
• 3. Factors Involved in Rating Behavior
• V. Conclusion
• References
• Abstract
• Appendix