숙련 및 미숙련 평가자들의 총체적, 분석적 및 진단적 채점기준을 활용한 영작문 평가 방식의 비교 분석 연구

김연희 학습자중심교과교육학회 2023 학습자중심교과교육연구 Vol.23 No.1

Objectives This study aimed to investigate experienced and novice raters’ assessment behaviors when they used holistic, analytic, and diagnostic rating scales in ESL writing assessments. It also closed examined how the two groups of raters perceived the different rating scales. Methods The experienced and novice rater groups consisted of five native English-speaking professors with more than three years of experience teaching and assessing ESL writing and four native English-speaking professors with less than three years of experience teaching and assessing ESL writing. Both groups of raters assessed 30 ESL compositions using the three different rating scales and completed an assessor questionnaire. Results The findings indicated that the novice raters were more lenient in assessing ESL writing across the three rating scales. The experienced raters also showed more variance in their scores than the novice raters when they used the holistic and analytic (i.e., task fulfillment) rating scales. In contrast, the novice raters showed more variance in their scores than the experienced raters when they used the analytic (i.e., lexical and grammar) and diagnostic rating scales. While the experienced raters preferred the holistic rating scale, the novice raters preferred the analytic rating scale. Both groups liked the diagnostic rating scale the least. Conclusions Based on these findings, this study proposes that raters should consider the assessment purpose and context and rater variability when choosing an appropriate rating scale. 목적 본 연구는 영작문 교수 및 평가 경력에 의하여 숙련 및 미숙련으로 구분되는 평가자 집단이 총체적, 분석적 및 진단적 채점기준을 사용하여 학습자들의 영작문을 평가하였을 때 나타나는 평가자 엄격성 및 변이성과 다양한 채점기준에 관한 숙련 및 미숙련 평가자들의 인식을 조사하고자 하였다. 방법 이를 위하여 영작문 교수 및 평가 경력이 3년 이상인 영어 원어민 교수 5명과 영작문 교수 및 평가 경력이 3년 미만인 영어원어민 교수 4명이 각각 숙련 및 미숙련 평가자 집단을 구성하였으며, 두 평가자 집단은 다양한 채점기준을 사용하여 30개의 영작문답안을 평가하고 설문에 응하였다. 결과 미숙련 평가자 집단은 모든 채점기준을 사용함에 있어서 학습자들의 영작문을 숙련된 평가자 집단보다 관대하게 평가하는 것으로 나타났다. 또한, 두 평가자 집단이 개별 영작문 답안에 대하여 부여한 점수의 표준 편차를 비교한 결과, 숙련된 평가자들은 총체적 및 분석적 채점기준의 과제 수행 척도를 사용하였을 때에 미숙련 평가자들보다 높은 표준 편차를 보여 주었다. 하지만, 분석적채점기준의 응집력 및 일관성 척도에서는 두 집단 간의 차이가 발견되지 않았으며, 미숙련 평가자들은 분석적 채점기준의 어휘력과문법 및 정확성 척도, 그리고 진단적 채점기준을 사용하였을 때에는 오히려 숙련된 평가자들에 비하여 높은 표준 편차를 나타내었다. 마지막으로, 다양한 채점기준에 관한 숙련 및 미숙련 평가자들의 선호도를 조사한 결과, 숙련된 평가자 집단은 총체적 채점기준을, 미숙련 평가자 집단은 분석적 채점기준을 가장 선호하는 것으로 나타났다. 이에 반하여 두 평가자 집단은 모두 진단적 채점기준을가장 선호하지 않는 것으로 밝혀졌다. 결론 제2언어 쓰기 평가에서 평가자들은 평가의 목적, 평가자 변인 및 평가 상황에 따라 적절한 채점기준을 활용하여 학습자들의영작문을 평가하는 것이 평가의 효율성을 높일 수 있는 가장 합리적인 방안이다.

담화 능력 평가를 위한 채점기준표 개발 - 수행결정나무(PDT) 방식을 사용하여 -

이향 국제한국언어문화학회 2021 한국언어문화학 Vol.18 No.1

지금까지 많은 연구들에서 담화 능력은 수험자의 의사소통 능력을 판단하기 위한 중요한 구인으로 다루어져 왔다. 하지만 담화 능력은 언어 능력의 다른 부분인 문법이나 어휘 혹은 발음 등과 같이 모국어 화자의 발화 직관만으로 평가 기준을 명확하게 기술하기 힘들다. 그래서 지금까지 많은 평가들에서는 담화 능력을 모호하고 주관적인 용어를 사용하여 채점 기준을 기술하고, 그 기준을 사용하여 평가해 왔다. 본 연구에서는 담화 능력을 평가하는 데 있어서 이러한 문제점을 보완하기 위하여 Fulture(2011)가 제안한 수행기반채점표(performance Decision Tree: PDT) 방식의 채점기준표 개발 방안을 제안하는 데 그 목적이 있다. 본 연구는 이해용․이향(2015)과 이용․이해용(2018)의 후속 연구로 선행연구들에서 다루었던 ‘부탁하기’ 과제에서의 모국어 화자의 담화 구조와 담화 능력별 한국어 학습자들의 담화 특징을 기반으로, 먼저 채점자들의 채점 경향을 분석하고, 그 결과를 범주화, 단계화하여 PDT 방식의 채점표를 개발하였다. 본 연구에서 제안한 담화 능력 평가를 위한 PDT 방식의 채점기준표는 담화 능력을 평가하는 데 있어 모호함이나 주관성으로 인하여 나타날 수 있는 채점 신뢰도 문제를 해결하여 보다 타당한 채점기준표를 개발하는 데 기여할 수 있을 거라 본다. Many researches have argued that discourse competence is a significant part of the communicative competences required for foreign learners. Accordingly, foreign language assessments treat discourse competence as an important construct for determining test takers' communicative competences. However, unlike for other linguistic competences, such as grammar, vocabulary, or pronunciation, it is difficult to present a clear grading scale for discourse competence that is based on the accuracy of native speakers on an absolute standard. As a result, many former assessments have used scoring rubrics with vague and subjective terms. To supplement these previous problems, this research presents a scoring rubric, based on the Performance Decision Tree method, and assesses native speakers’ discourse structures and foreign learners’ discourse characteristics per various levels of discourse competences in a REQUEST task. After conducting an additional analysis on graders’ grading tendencies, this study developed a performance-based scoring rubric by categorizing and sequencing the results. The Performance Decision Tree scoring rubric for discourse competence can contribute towards developing a more valid scoring rubric and solve the problem of scoring reliability, resulting from previous scoring rubrics’ vagueness and subjectivity.

수행평가의 이해와 실제

김경희,성태제 이화여자대학교 사범대학 2002 이화교육총서 Vol.2002 No.1

변호사시험 모의고사 형사법 기록형 문제와 채점기준표에 대한 몇 가지 오류 분석 - 2011년부터 2018년까지의 모의고사 분석 -

송관호 법조협회 2019 法曹 Vol.68 No.4

Since the introduction of a law school system in 2009, a total of 21 mock exams was conducted from 2011 to 2018. The purpose of the tests is not only to provide lawyers with an opportunity to prepare for an actual bar exam but also to assist in developing a bar exam that can accurately measure an applicant’s knowledge and skills developed during his or her law school education. Law school students on the other hand treat records-based criminal law questionnaires as one of the most important and relevant study materials for the actual bar exams, and they treat the evaluation standards and answer guidelines of such mock exams as a model answer. It is therefore not surprising that students regularly refer to the mock exam questionnaires during classes and/or study group sessions. Therefore, it is imperative that the questionnaires in the mock exams should not contain any errors, and they should strive to mirror the actual bar exam as much as possible because students who might not have yet had a chance to build a solid foundation of legal theory understanding and reasoning skills might be misguided by flawed questionnaires and/or incorrect answer guidelines in relation to such mock exams. Instead, the mock exams should endeavor to be as consistent with the actual bar exams and legal practice as possible so that law school students can better prepare for the bar exams and concurrently develop correct understanding of legal theories and practical legal writing and reasoning skills. On the above basis, after examining selected questionnaires and the corresponding scoring guidelines for such questions in 21 mock exams conducted between 2011 and 2018 and revealing discrepancies between questionnaires and evaluation standards, this paper demonstrates how such flaws could have been remedied and how alternative approaches should be considered. 2009년 로스쿨이 발족한 이래 2011년부터 2018년까지 총 21회에 걸쳐 변호사시험 모의고사가 실시되었다. 모의고사는 변호사시험 제도가 안정적으로 정착될 수 있도록 로스쿨 교육과 유기적으로 연계된 시험모델을 제시하여 변호사시험의 적정성을 제고하고 로스쿨 학생들에게 본시험에 대비할 수 있는 기회를 제공하는 것을 목적으로 한다. 형사법 기록형 모의고사 문제와 그 해설서 역할을 하는 채점기준표는 로스쿨 학생들에게 본시험을 대비한 기록형 문제에 대한 학습의 주요 기준이 되어 정규 강의시간에 다루어지거나, 학생들이 개별적으로 또는 스터디그룹을 결성하여 자체적으로 학습하고 있는 실정이다. 법학전문대학원에서 제작한 채점기준표는 모의고사의 사실상의 모범답안으로 받아들여지고 있으며 사실상의 공식적 해설서, 기출문제 학습의 기준으로 취급되고 있는 실정이다. 로스쿨 학생들이 변호사시험 본시험을 대비하기 위하여 모의고사 문제와 그 모범답안으로 받아들이고 있는 채점기준표를 금과옥조로 삼고 학습하고 있는 실정을 감안하면, 모의고사 문제는 무오류 혹은 무결점, 이론과 실무를 충실히 반영하는 완성도, 본시험과의 유사성 등을 갖추어야 하고 채점기준표 또한 이론적 오류가 없어야 하며 실무와 동떨어진 결론을 채점기준으로 삼아서는 안 될 일이다. 모의고사 문제나 채점기준표의 오류가 있어도 이를 알아챌 수 있는 이론적인 지식이나 실무능력, 비판적 시각 등이 제대로 구비되지 않은 로스쿨 학생들은 기존 모의고사 문제나 그에 대한 채점기준표를 있는 그대로 받아 들여 결과적으로 경우에 따라서는 잘못된 이론과 실무를 학습하는 학생들이 있을 수 있다는 점에서 안타까운 현실이다. 모의고사는 본시험의 출제 기준에 근접하도록 출제되어야 본시험을 대비하기 위한 모의시험으로서의 역할을 충분히 할 수 있고 그 문제와 채점기준이 법리에 부합하고 현재 시행되고 있는 실무를 반영하여야 이를 자료로 학습하는 로스쿨 학생들에게 정확한 법리와 실무 지식을 습득할 수 있도록 하는 기능을 할 수 있다. 이러한 관점에서 2011년도부터 2018년도까지 실시된 총 21회의 모의고사 형사법 기록형 문제와 그에 대한 채점기준표를 분석하여 문제와 채점기준표의 오류나 실무와 괴리된 부분이 있는지 살펴보고 이를 지적하여 바로 잡거나 비판적 의견과 건설적인 대안을 제시하는 것이 의미 있는 작업이 될 것이다.

말하기 평가 채점기준표(rubric)의 상세화 및 적용 사례 연구 -설득 목적의 과제를 중심으로-

최영인,박성석,정민주,백정이,장성민,김예원,허모아,음소현,민병곤 한국국어교육학회 2023 새국어교육 Vol.- No.134

Purpose: This Study was performed to enhance scoring reliability through the refinement of speaking assessment rubric of persuasive speaking task. Methods: The speaking responses were collected from the preliminary survey and main survey on second-year secondary school students. In each survey, the refined scoring rubric was applied by two different groups of scorers and to two different target student groups. Results: After examining the scoring results, all scoring criteria, which consist of three major categories and seven subcategories, demonstrated high reliability except for the ‘explicitly of claim’ of the second scoring. In both surveys, the consistency of inter-rater reliability (ICC) was confirmed. Conclusion: In this study, it was confirmed that by refining the scoring rubric, the inter-rater reliability can be improved. 목적: 설득 목적의 말하기를 수행하는 과제에 대한 말하기 평가 채점기준표(rubric)를 일정 수준으로 상세화하고 그것이 말하기 채점타당도에 미치는 영향을 탐색한다. 방법: 중학교 2학년 학생들을 대상으로 말하기 평가(예비 조사, 본 조사)를 실시하여 말하기 응답을 수집하였다. 채점자와 채점 대상을 모두 달리하여 1차 채점(예비 조사 채점)과 2차 채점(본 조사 채점)이 진행되었고, 이때 상세화한 채점기준표를 적용하였다. 각각의 채점이 끝난 후 채점자 간 신뢰도(ICC)를 확인하였다. 결과: 채점 결과, 3개 대범주와 7개 하위 범주로 구성된 채점기준 항목에서 2차 채점의 ‘주장의 명료성’을 제외하고 모두 양호한 신뢰도를 보였다. 채점자 간 신뢰도가 낮은 항목에 대한 원인을 탐색하였다. 결론: 본 연구에서 제안한 ‘채점기준표 상세화’가 채점자 간 신뢰도를 높이는, 나아가 평가타당도를 높이는 방안이 될 수 있음을 확인하였다.

수행평가 계획서에 나타난 과제와 채점기준표의 적절성 분석-D광역시 중학교 3학년 국어과를 중심으로-

김수진,김선,반재천 한국교육평가학회 2019 교육평가연구 Vol.32 No.1

The purpose of this study is to investigate the appropriateness of the task and the rubric according to the performance assessment task type, and the suitability of the performance assessment task and the rubric presented in the performance assessment plan. For this study, the performance assessment plan of the 123 middle schools 3rd grade, 2nd semester of Korean literature Course department of D metropolitan city was downloaded from the school information web site. The results of analysis on the research questions are summarized as follow. First, as a result of analyzing the appropriateness of the development of performance assessment task in terms of nine assessment standards, 61% to 66% of the performance assessment plan was suitable for the appropriateness of the educational objectives, and required high-level thinking. Second, the rubric of the performance assessment standards was found to be appropriate as a whole. More than 76% of the scores for the rubric of the performance assessment came out to be “somewhat” or higher. However, 42% of the study data did not have a description of the performance assessment task, and 61% of them didn’t have a rubric. Third, it was found that portfolio was the most frequently used type among the performance assessment types, but ironically it had the least properly developed task and rubric among them all. 본 연구의 목적은 교사들이 작성한 수행평가 계획서에 제시된 수행평가 과제 및 채점기준표가 적절한지, 수행평가 과제와 채점기준표의 적절성이 수행평가 과제 유형에 따라 차이가 있는지를 탐구하는데 있다. 본 연구를 위해 D광역시 123개교 중학교 3학년 국어과의 수행평가 계획서를 학교알리미 웹사이트에서 다운로드 받았다. 연구결과는 다음과 같다. 첫째, 수행평가 과제 개발의 적절성에 대해 9개 평가 기준으로 나누어 분석한 결과, 평가 횟수 및 시기의 명확성, 교육목표와 수행평가 과제 내용의 적합성, 고차적인 사고의 요구 여부에 대해 61%~66%정도만 적절했다. 수행평가 과제를 개발할 때 특히 교육목표와 수행평가 과제 내용의 적합성, 고차적 사고 요구 여부, 과업 지시의 명확성, 여러 가지 교육목표의 측정은 수행평가 과제가 갖추어야 할 기본 요건이라 할 수 있는데, 이러한 부분에 대한 적절성 비율이 44%~63% 정도에 불과했다. 둘째, 수행평가의 채점기준표가 적절한지에 대해 11개 평가 기준으로 분석한 결과, 전체적으로 적절한 것으로 나타났다. 11개 평가 기준에서 ‘다소 그렇다’ 이상으로 판정된 채점기준표의 비율은 76%이상으로 높은 편이었다. 그러나 전체 연구 자료의 42%는 수행평가 과제에 대한 기술이 없었으며, 61%는 채점기준표의 제시 자체가 없었다는 것에 비추어볼 때 많은 채점기준표가 충실히 작성되고 있지 않았음을 시사하고 있다. 셋째, 수행평가 과제 유형 중 포트폴리오(27.4%)는 다른 유형보다 많이 사용되고 있으나 수행평가 과제와 채점기준표의 적절성 기준을 충족하지 못하고 있었다.

역사 글쓰기 평가 문항과 채점을 위한 사례 연구

유득순 한국역사교육학회 2020 역사교육연구 Vol.- No.36

Over the past few years, the process based assessment has become more important in school classes, as performance assessment takes up more share. Various evaluating activities involving the process based assessment are implemented and learners are encouraged to make historic research in history class as well. Our society has a great interest in the assessment process, so it is emphasized to have expertise for teachers in assessment. Particularly, the method of scoring evaluation results is complicated and hard. However, there aren’t enough studies on it. Thus, I examined the scoring of writing evaluation questions that had been conducted in history classes(History movie based class and evaluation) from 2017 to 2018. I introduced three types of history writing evaluation questions(question that check facts and information, question that use historical imagination, and questions that assess and judge historical events), and analyzed the students’ answers, scoring process and problems. As a result, we could gain the following implications. First, teachers need to be well aware that evaluation is a part of learning and to design courses elaborately and students should be informed about the evaluation in advance. Second, when writing scoring criteria or evaluation items, the type of evaluation item should be considered. Third, the scoring criteria should be clear and subdivided. And teachers should create the complex rubric by considering all the cases. Fourth, teachers should have expertise in the course content, teaching methods and assessment, and by doing this they can develop elaborate teaching designs. And it’s important to have consistency in the objective, content and assessment of the class. 이론적이고 당위적인 차원에서 평가에 대한 논의는 많지만, 평가 문항 개발이나 채점처럼 실제적이고 현장 적합적인 평가 방안에 대한 논의는 아직도 부족한 편이다. 수행평가의 비율 증대와 과정중심 평가의 강조 추세는 정성적인 평가 요소가 많은 역사과에서 더욱 부담스러운 상황일 수 있다. 이에 채점이나 평가 결과의 처리 과정에서 겪은 시행착오를 공유하고 그 경험을 축적하여 보다 나은 평가 방안을 함께 모색해 보기 위해, 필자가 2017 2018년 동안 실시했던 역사영화를 활용한 역사 글쓰기 평가 문항의 채점을 반성적으로 살펴보았다. 우선 역사 글쓰기 평가 문항 가운데 ① 사실과 정보를 확인하는 문항, ② 역사적 상상력을 발휘하는 문항, ③ 역사적 사건을 평가・판단하는 문항을 소개하고, 학생 답안과 이에 대한 채점 과정 및 문제점을 살펴보았다. 이 과정에서 다음과 같은 시사점을 얻을 수 있었다. 첫째, 평가자인 교사는 학생 변별 외에도 학습의 한 과정으로서 평가의 목적에 대해 분명히 인식할 필요가 있다. 이러한 인식 위에서 수업과 평가 전반에 대한 철저한 설계와 안내가 필요하며, 채점 방식에 대한 고민이 이루어져야 한다. 둘째, 평가 문항의 유형에 따라 문항 작성의 유의점이나 채점 기준의 강조점이 달라짐을 유의할 필요가 있다. 사실과 정보의 확인이나 자료 분석 문항은 정확한 용어의 사용과 명확한 작성 조건을 제시해야 하며, 단순 지식을 확인하는 문항만으로 문항지를 구성하는 것은 지양해야 한다. 역사적 상상력을 발휘하는 문항은 학생의 사고를 제한하지 않되, 지나친 허구로 인해 비역사적인 글쓰기가 되지 않도록 주의해야 한다. 역사적 사건을 평가・판단하는 문항은 주장의 타당성과 근거의 논리성이 아닌 피시험자의 관점을 평가하지 않도록 주의해야 한다. 셋째, 채점 기준을 명확히 하고 세분화하는 것이 필요하다. 이때 채점 기준은 세분화하되, 각 채점 기준 안에서 등급이나 점수를 촘촘히 구분하지 않는 것이 좋을 것이다. 또한 채점 기준은 독립적이지만 답안은 종합적으로 작성되기 때문에 모든 경우의 수를 고려하여 채점 기준 및 급간을 조정하고 채점하는 복합적 루브릭이 필요하다. 넷째, 답안 내용의 평가는 채점자인 교사의 전문성에 달려 있기 때문에, 교사는 내용・수업・평가에 대한 전문성을 갖추어야 한다. 또한 목표 내용 평가의 수업 설계가 일관성 있게 이루어지도록 노력해야 한다. 이를 통해 학생이 학습과 평가 과정에 적극적으로 참여하고 학업 성취와 만족감을 높일 수 있도록 해야 할 것이다.

범죄 용의자의 거짓말탐지검사의 신뢰도와 타당도에 대한 일관성 채점기준의 효과

한유화 ( Yu Hwa Han ),정재영 ( Je Young Jeong ),박광배 ( Kwang Bai Park ) 한국감성과학회 2009 감성과학 Vol.12 No.4

현재 한국에서는 거짓말탐지검사의 채점과정에서 `일관성` 기준을 사용하고 있다. 본 연구에서는 현재 한국에서 사용하고 있는 거짓말탐지검사 기법의 채점 기준 중 `일관성` 기준의 실증적 타당성을 검증하고자 하였다. 구체적으로는 한국에서 이루어지고 있는 거짓말탐지검사의 채점과정에서 `일관성`을 실제로 고려하고 있는지의 여부를 검증한 후 `일관성`을 고려하여 채점하는 경우와 그렇지 않은 경우에서 거짓말탐지검사 결과의 신뢰도(Cronbach` α)와 정확성이 어떻게 달라지는지를 파악하였다. 본 연구는 실제 현장에서 `일관성`을 고려하여 채점 한 원채점자료와 `일관성`을 고려할 수 없도록 가공하여 채점한 실험채점자료를 분석하였다. 원채점자료와 실험채점자료는 동일한 검사관들이 채점하도록 하였다. 그 결과 현재 한국에서는 거짓말탐지검사의 채점과정에서 `일관성`을 고려하고 있는 것이 확인되었다. 신뢰도는 원채점자료가 .93, 실험채점자료가 .91로 비슷한 수준이었다. 정확성은 검찰의 기소 여부와 거짓말탐지검사 점수에 의한 판정을 지표로 사용한 잠재계층분석(N=182)의 결과를 실제 거짓말 여부를 판단하는 기준으로 사용했을 때 원채점자료에서 76.9%, 실험채점자료에서 61.5%로 나타났다. 논의에서는 이러한 결과가 나타난 원인과 한국에서 사용하고 있는 `일관성` 기준이 거짓말탐지검사 채점에서 갖는 유용성에 대하여 논의하였다. For scoring polygraph charts, the Prosecutors` Office of the Republic of Korea uses a consistency criterion in which an elevated signal on one physiological channel is scored as a deceptive response only if the signal is also elevated on other channels. In the current study, the effects of this scoring criterion on reliability and accuracy (validity) of polygraph scores were assessed. Polygraph tests on 26 suspects were evaluated twice by the same examiners. The examiners used the consistency criterion in the first evaluation. In the second evaluation, the examiners were prevented from using the criterion; the signals from each physiological channel were separated and randomly arranged before they were rescored by the same examiner. Reliability was assessed by the variation among the scores for each suspect. Accuracy was assessed by establishing a standard, based on a Latent Class Analysis model, using the results of polygraph tests on each of 182 additional suspects. Reliability and accuracy were both improved by the use of the consistency criterion which therefore was recommended.

쓰기 採點의 信賴度 確保 方案 -고급 한국어 학습자 主觀式 쓰기 문항 採點 實驗을 바탕으로-

이정화 한국어문교육연구회 2010 어문연구(語文硏究) Vol.38 No.2

Regarding language evaluation, the most sensitive cases to learners are that whether their writing skills are well evaluated as it is by the conducted evaluation questions and whether the evaluation processes are practiced impartially. Since the language skills that learners have show very different results of their language achievement tests depend on evaluation tools, evaluation environment of evaluators, learners' state, and also the evaluators' evaluations are not always consistent with the same language achievement results. In the paper, establishment of writing evaluation standard for security of objectivity and a desirable model of scoring process are presented by an evaluating experiment of subjective writing questions whose results are quiet influenced by teacher's subjective interpretation. For objective evaluation of writing ability, the framing of scoring standard for writing question should not be put in charge of question setter, insisted the necessity of testing agency's adjustment which regulate the whole test. Also, the scoring experiment shows even though the same analytic scoring system is applied, scoring method adding the point with standard is more reliable than that with subtracting the point. 본 硏究는 한국어 수업 교실에서 이루어지고 있는 쓰기 能力에 대한 成就度 評價를 대상으로 하여 評價 結果에 대한 信賴度를 確保하기 위한 방안을 모색하는 데 그 目的이 있다. 이를 위하여 먼저, 현재 韓國語 敎育機關들에서 사용하고 있는 쓰기 成就度 評價 항목들을 소개하고 보다 정밀한 評價 基準이 필요함을 지적하였다. 이어 쓰기 성취도 평가 주관식 문항에 대해 채점 基準을 달리 하는 경우와 採點者를 달리 하는 경우의 採點 結果를 비교하는 採點 實驗을 통하여 評價 基準과 採點 方式, 採點者에 따라 달라지는 評價 結果의 차이를 보이고 이를 統計的으로 해석함으로써, 採點者 訓練과 정밀한 評價 基準 樹立의 重要性을 보이고 있다. 쓰기 採點의 信賴度 確保를 위해서는 主觀式 문항의 客觀的 평가를 위한 機關 차원의 採點 基準 수립과 採點者 訓練이 필수적이다.

2015 개정교육과정에 따른 초등 영어 듣기‧말하기 평가도구의 현장적용 가능성 연구

박재희(Park, Jae-hee),정현성(Chung, Hyunsong) 학습자중심교과교육학회 2017 학습자중심교과교육연구 Vol.17 No.24

본 연구는 2015 개정교육과정 초등 영어 5~6학년군 듣기 말하기 성취기준을 교수·학습 및 평가의 준거로 반영한 평가도구를 개발한 후, 현장적용 가능성을 확인하는 것을 목적으로 하였다. 이를 위해, 교사와 학생설문을 실시하였다. 교사와 학생설문은 전국의 초등영어를 지도하고 있는 119명의 교사와 2017년 현재 G광역시 W 초등학교에 재학 중인 5~6학년 학생들 207명을 대상으로 실시하였다. 교사 및 학생 설문조사를 토대로 다음과 같이 듣기 및 말하기 평가과업 개발 지침을 만들어 적용하였다. 첫째, 듣기평가 과업은 차시별 교수학습활동 과정 중 형성평가로 운영하며, 후속하는 표현활동의 토대가 되도록 구안한다. 둘째, 듣기는 이해기능의 특성상, 상중하로 이해한 정도에 따라 평가한다. 셋째, 평가 실행에 어려움이 많은 말하기는 교육과정 성취기준과 평가기준 외에, 평가기준의 상, 중, 하를 평정하기 위한 별도의 말하기 평가 루브릭을 제작한다. 넷째, 말하기 평가 루브릭은 말하기 채점기준에 포함되어 활용된다. 그 다음 듣기말하기 성취기준의 구체화 명료화 과정을 거쳤으며 명료화과정을 거친 듣기말하기 성취기준과 교사학생설문결과를 토대로 9차시 분의 평가과제를 개발하였다. 각 평가과제는 목표 및 채점기준, 입력자료, 수행과제, 활동절차,수행결과물로 구성된다. 마지막으로 9차시분의 평가과제의 현장적용 가능성을 확인하기 위해 두 차례에 걸쳐, 평가내용 타당도와 채점기준 타당도 검증을 받았다. 평가과제 및 채점기준에 대한 타당도를 1차 검증을 받은 결과, 듣기·말하기 통합과제는 부자연스럽고 지나친 인지적 능력에 치우쳤으며, 채점기준이 불명확하고 너무 복잡하다는 지적을 받았다. 이를 수정하여 듣기와 말하기가 자연스럽게 연계되도록 하였고, 듣기와 말하기 채점기준을 간결하고 명확하게 수정하였다. 2차 검증을 받은 결과, 높은 점수로 평가과제의 타당도를 확보하고 수업에 적용할 수 있게 되었다. The purpose of this study is to develop assessment tools for elementary school students listening and speaking competence based on 2015 revised English curriculum and evaluate the validity and practicality of them in the classroom. For this purpose, survey responses were collected from 119 English teachers nationwide and 207 fifth and sixth graders in G Metropolitan City. Based on the survey results, listening and speaking assessment tasks were developed. First, the 5th and 6th graders’ listening and speaking achievement standards in the curriculum were analyzed. All fourteen achievements standards were evaluated in terms of curriculum conformity, clarity and practicality. Two of the standards needed to be revised, while the other standards were proved to be valid and practical. All fourteen standards were applied to developing listening and speaking assessment tasks. Each task consists of goals, input, activity and procedure, performance task, test criterion, and outcomes. Next, five experts measured these tasks on their content validity and criteria validity. The results showed that all the assessment tasks had low validity in their task and criteria. Integration of listening and speaking activities was not authentic and communicative. The results led us to revise the tasks in three ways: First, listening and speaking have been integrated gradually and naturally. Second, the listening and speaking criteria have been made simple for the ease of administration. Third, the level descriptors of listening and speaking assessment have been clearly specified for the sake of practicality in the classroom.