학생 글 채점 방법 및 채점 결과 기록 방법의 개선 방안

박영민(Park, Young-min) 학습자중심교과교육학회 2018 학습자중심교과교육연구 Vol.18 No.2

이 글의 목적은 학교에서 이루어지는 학생 글의 채점 방법과 그 채점 결과의 기록 방법을 점검하고 개선 방안을 논의·제안하는 데 있다. 지금까지 학교의 쓰기 평가에서 적용해 온 채점 방법은 ‘정수 채점’이었는데, 이 글에서는 ‘소수 채점’ 방법으로의 전환을 제안하였다. 소수 채점은 소수 점수를 채점에 반영하는 방법으로서 연속 척도의 본질에도 부합할 뿐만 아니라, 쓰기 수업 개선에 필요한 정보도 효과적으로 제공할 수 있기 때문이다. 한편, 학교 쓰기 평가에서 적용해 오고 있는 채점 결과를 기 록하는 방법은 ‘총점 기록’이었는데, 이 글에서는 채점 요소별 점수를 나열하여 제시하는 ‘요소 점수 기록’ 방법으로의 전환을 제안하였다. 채점 하위 요소 별로 채점 결과를 기록하면 총점을 구성하고 있는 요소별 점수가 어떠한지를 직관적으로 파악할 수 있어 쓰기 수업 개선에 필요한 정보를 효과적으로 수입할 수 있다. 이러한 방법을 결합하여 적용함으로써 학생 글을 채점하는 학교 쓰기 평가가 좀 더 체계적으로 발전할 수 있기를 기대한다. The aims of this paper are to explore the problems with scoring students writing and documenting its results for communicating with the others(students, their parents, or school principal) in these days, and to suggest the method for improving or solving the problems. Korean language teachers used to apply the ‘integer scoring system’ to evaluate their students writings. But this paper suggest ‘decimal scoring system’ instead of it, because ‘decimal scoring system’ has traits corresponding to continuous scoring scale and give the teachers specific information to reform writing classes based on understanding their students writing abilities or natures. And, the most Korean language teachers used to apply ‘total point system’ to document the results of scoring students writings for communicating with their students, their parents, or the school principal. But this system has some problems with giving them concrete information to fix their writing classes because of non-informer of their system. This paper suggest the important ‘element point system’ instead of total point system, because element point system has power to give specific information about the construction of total point and to offer concrete knowledge to improve their writing classes.

다국면 라쉬모형을 적용한 논술 채점 상황에서 채점 설계 및 채점자 특성이 채점의 정확성에 미치는 효과

이현숙(Hyun Sook Yi) 한국교육평가학회 2008 교육평가연구 Vol.21 No.4

본 연구는 다국면 라쉬모형을 적용하여 채점자 특성을 사후에 보정하는 논술 채점 상황에서 다양한 채점 설계 방식 및 채점자 특성이 채점의 정확성에 어떠한 영향을 미치는 지를 탐색하기 위하여 채점자 수, 채점자 배치 방식, 채점자간 엄격성 차이의 정도, 채점자내 일관성 수준, 피험자 점수 산출 방식 등 5가지 요인을 고려하여 모의실험을 수행하였다. 각 조건하에서 산출된 채점 결과의 정확성을 피험자의 진점수를 기준으로 비교한 결과 다음과 같은 결론을 도출하였다. 첫째, 채점자간 엄격성 차이가 존재할 경우 라쉬보정 방식을 적용하면 채점자간 엄격성 차이가 크고 채점자내 일관성 수준이 낮다 할지라도 채점의 정확성을 상당 부분 확보할 수 있으며 이러한 결과는 채점 설계 및 합격선을 변화시켜도 일관되게 관측되었다. 둘째, 무보정 방식 적용시에는 채점자 수와 관계없이 채점자를 무선 배치하는 설계가 군집 배치 설계에 비해 채점의 정확성이 대체로 높았으며, 라쉬보정 적용시에는 채점자 엄격성 차이가 매우 큰 경우를 제외하고는 채점자 배치방식에 관계없이 채점자수를 증가시키는 것이 보다 효과적이었다. 셋째, 무보정 방식 적용시에는 채점자간 엄격성 차이의 효과가 채점자내 일관성 수준의 효과에 비해 채점의 정확성에 큰 영향을 미친 반면, 라쉬보정을 적용한 경우 동일한 채점자내 일관성 수준 내에서 채점자간 엄격성 차이는 상대적으로 크지 않은 것으로 나타났다. This study investigated effects of making score adjustments using the many-faceted Rasch model on the accuracy of essay scoring under various simulation conditions, considering factors such as the number of raters, the way raters are assigned, the level of inter-rater and intra-rater consistency, and score adjustment methods. Performances of Rasch measurement under each condition was compared against those based on true scores under various degrees of differences in average rating severity and intra-rater consistency. The following observations were made from this study. First, even in situations where the level of inter-rater and the intra-rater consistency was fairly low, the accuracy of Rasch measurement was high regardless of scoring designs and pass rates. Second, the random assignment design performed better than the cluster assignment design regardless of the number of raters, when scores were produced without adjustments, whereas increasing the number of raters produced more accurate results regardless of rater assignment designs under the Rasch measurement. Third, inter-rater consistency was more influential than the intra-rater consistency on the accuracy of scoring when no adjustments were made, whereas the opposite pattern was observed under the Rasch measurement.

영작문 자동 채점 시스템에서의 중복 보고 오류 제거를 통한 성능 향상

이현아,김지은,이공주,Lee, Hyun-Ah,Kim, Jee-Eun,Lee, Kong-Joo 한국정보처리학회 2009 정보처리학회논문지B Vol.16 No.2

The purpose of developing an automated scoring system for English composition is to score English writing tests and to give diagnostic feedback to the test-takers without human's efforts. The system developed through our research detects grammatical errors of a single sentence on morphological, syntactic and semantic stages, respectively, and those errors are calculated into the final score. The error detecting stages are independent from one another, which causes duplicating the identical errors with different labels at different stages. These duplicated errors become a hindering factor to calculating an accurate score. This paper presents a solution to detecting the duplicated errors and improving an accuracy in calculating the final score by eliminating one of the errors. 영어 작문 자동 채점 시스템은 수험자가 작성한 영작문을 사람의 개입 없이 시스템이 처리하여 점수나 피드백을 줄 수 있는 시스템이다. 본 논문에서 개발한 영작문 자동 채점 시스템은 단어 단계, 구문 단계, 의미 단계의 세 단계 처리 과정을 통해서 오류를 탐지하고 탐지된 오류 개수를 기반으로 채점 점수를 결정한다. 이와 같이 독립적인 세 단계의 처리 과정에서 오류를 탐지하므로 동일한 오류 현상에 대해 서로 다른 단계에서 서로 다른 이름으로 오류를 탐지하는 경우가 발생할 수 있다. 이는 결과적으로 전체 시스템의 채점 점수의 정확도를 저하시키는 원인이 된다. 본 논문에서는 동일한 오류 현상에 대해 서로 다른 단계에서 탐지된 오류 쌍을 '중복 보고 오류'라고 정의한다. 본 논문에서는 중복 보고 오류를 찾는 방법을 제안하고 중복 보고 오류 제거를 통해 영작문 자동 채점 시스템의 채점 점수를 향상시킬 수 있음을 보인다.

The Effects of Model Misspecification on the Analysis of Judge Ratings

신선희 한국교육평가학회 2013 교육평가연구 Vol.26 No.4

본 연구는 과제별로 다양한 변별도를 허용하도록 일반화부분점수모형을 확장하여 채점자 성향을 분석하였다. 모형에는 수험자, 채점자, 문항, 채점영역 등 총 4-국면이 포함되었다. SAS NLMIXED는 수용 가능한 수준으로 모수를 추정했으며, 모든 반복분석에서 참 모형을 거짓 모형보다 올바른 모형으로 구분해 낼 수 있었다. 본 연구의 결과는, 실제로 모형오류가 수행평가 분석에서 모수추정의 결과를 왜곡시킬 수 있음을 보여 주었다. 특히, 일부 단계난이도 추정치들의 바이어스가 훨씬 커졌으며, 채점자 효과에 대한 통계적 유의성 검정 결과에서 I종 오류가 자주 발생하였다. The study extended the generalized partial credit model to embrace varying degrees of discriminability across different tasks in the analysis of rater severity. Examinees, judges, items, and dimensions were the four facets for the study. SAS NLMIXED recovered model parameters at an acceptable level and identified the true model over the false model uniformly over all replications. The findings of the study indicated that model misspecification might distort parameter recovery in the analysis of judge ratings. In particular, the bias in some step difficulty estimates became much larger, and the significance tests for rater effects resulted in more Type I errors.

What Should Scoring Scale Descriptors Look Like?

지난영 한국응용언어학회 2012 응용 언어학 Vol.28 No.1

The present study is aimed at investigating whether the specification of scoring scale descriptors affects the reliability of Korean EFL raters, and to what degree this occurs. A comparison of two scoring scales with differing levels of specification was undertaken. 32 Korean EFL secondary school teachers rated four writing samples using the two scoring scales and responded to a questionnaire asking about their perceptions of the two scales. The data were analyzed using a multi-faceted Rasch analysis. It was found that more specific scales improved inter-rater reliability. More specific scales also contributed to preventing biased rating against criteria. However, they failed to narrow the gap between raters in terms of degree of severity and to increase individual raters’ consistency in scoring different writing samples. An analysis of the raters’ responses to the survey questionnaire revealed that the more specific scoring scales were preferred as it was more useful in deciding on a score. Conversely, they were criticized for being too complex and time-consuming to apply.

생태학적 말하기 평가를 위한 시론

서현석 한국초등국어교육학회 2005 한국초등국어교육 Vol.29 No.-

생태학적 관점은 역동적인 상호작용의 과정과 상황맥락을 반영하는 말하기 평가에 유용하다. 생태학적 말하기 평가에서 교수·학습의 과정과 평가는 서로 융합하며 순환성을 갖는다. 또한 실제적 말하기 상황을 포함하고, 교실의 고유한 말하기 문화를 반영할 뿐만 아니라, 새로운 방향으로 유도할 수 있다. 생태학적 관점의 말하기 평가가 온전히 실현되기 위한 중요한 전제 조건으로 말하기 수행 양상의 자료화와 전문가로서 교사의 역할을 들 수 있다. 말하기 수행 양상은 서술식 점수 채점표(Rubric)와 학생 수행의 예시, 즉 '본보기(Exampler)'의 설정을 통해 구체화되고 정교화가 가능하다. 생태학적 말하기 평가를 위한 전문가로서 교사의 역할은 교수·학습 과정이 이루어지는 교실 환경을 실제적인 국어사용의 생태계로 창출해 내는 것이다. 또한 교사는 학생들과 상호 작용할 때 의사소통 태도와 기능의 모범이 되어야 하며, 자연스러운 국어사용의 생태계가 조성되는 교실 분위기를 형성해야 한다. 이때, 교사는 생태계로서 국어사용의 교실 환경에 대한 정보를 충분히 얻을 수 있어야 할 것이다. 학생을 둘러싼 다양한 문식성 환경과 말하기 수행 능력의 발달 단계는 하나의 준거 체계로써 연구되고, 자세하게 공유되어야 한다. 그것이 개별 학급, 개별 학생의 말하기 능력을 살펴볼 수 있는 기준이 되며, 교사가 자신의 학급에 맞는 생태학적 평가 준거를 설정하는데 도움을 줄 수 있기 때문이다. 반대로 생태학적 말하기 평가가 하루 빨리 교육 현장에 자리 잡을 때, 학생의 말하기 수행 현상에 대한 이해와 구체적인 정보 수집이 좀 더 수월하게 될 수 있을 것이다. The Ecological aspect in language assessment is available to speaking assessment, reflect dynamic process and situational context. In the ecological speaking assessment, the process of teaching·learning and assessment are in harmony and are circulated. And It create real situation of speaking and culture of a language of korean language class. A condition precedent to do the ecological speaking assessment is a data about speaking performance of student and the role of teacher. An aspect of speaking performance is materialized to ‘Rubric’ and ‘Exampler’. The role of teacher for Ecological speaking assessment is to change mode of the speaking class into real oral language context. A korean teacher should be the model of a good speaker who have good communication skill and attitude, and made classroom liberal. And he or she should have sufficient information about ecosystem of speaking class. It should be studied and shared to the diversity of speaking surroundings of student and the level of their speaking abilities. That can give a standard to detail personal level, and help teacher to establish their standard. As we establish the ecological speaking assessment in classroom, it is get more easily that a understand of student's speaking performance and it's data.

What Should Scoring Scale Descriptors Look Like?

Nan-young Ji 한국응용언어학회 2012 응용 언어학 Vol.28 No.1

The present study is aimed at investigating whether the specification of scoring scale descriptors affects the reliability of Korean EFL raters, and to what degree this occurs. A comparison of two scoring scales with differing levels of specification was undertaken. 32 Korean EFL secondary school teachers rated four writing samples using the two scoring scales and responded to a questionnaire asking about their perceptions of the two scales. The data were analyzed using a multi-faceted Rasch analysis. It was found that more specific scales improved inter-rater reliability. More specific scales also contributed to preventing biased rating against criteria. However, they failed to narrow the gap between raters in terms of degree of severity and to increase individual raters’ consistency in scoring different writing samples. An analysis of the raters’ responses to the survey questionnaire revealed that the more specific scoring scales were preferred as it was more useful in deciding on a score. Conversely, they were criticized for being too complex and time-consuming to apply.

작문 평가자의 학생글 읽기 과정 연구

오세영(Oh, Sae-young) 우리말글학회 2017 우리말 글 Vol.72 No.-

최근 작문 평가의 패러다임 변화와 더불어 인지주의적 관점과 사회 · 문화적 관점의 장점을 담화 종합하는 연구 관점이 새롭게 부각되었다. 이러한 관점은 그룹 인지의 중요성을 부각시켜 효과적인 채점 전략을 모색할 수 있는 기반이 되었으며 나아가 작문 평가자들의 인지 과정 이해에 도움을 주었다. 본 연구는 능숙한 작문 평가자 6명의 학생글 읽기 과정에서 이루어지는 인지 과정의 정보 처리 양상을 혼합 연구 방법을 통하여 비교 · 분석하였으며, 이를 기반으로 평가자로서 학생글을 효과적으로 읽을 수 있는 전략적 방법을 그룹 인지의 활용 측면에서 고찰하였다. 이러한 연구 결과는 작문 평가자로서 학생글 읽기 과정에서 갖추어야 할 정보 처리 양상의 특성에 대해 논의 할 수 있으며 무엇보다 국어교사들의 평가 문식성 교육에 시사점을 제공할 수 있다. 그리고 작문 평가자 스스로 자신의 평가 과정을 스스로 점검하여 변형시켜 나갈 수 있는 효과적인 모니터링 방법으로서 그룹 인지의 활용 방법에 대해 제언할 수 있다. 특히 본고의 논의는 그동안 주로 고립된 상황에서 이루어졌던 개인적 작문 평가 과정의 불일치 문제를 해결할 수 있는 방법적 제언을 하였기에 교사 교육적 함의를 제공할 수 있을 것이라 기대된다. The study on prototypes of teacher-as-reader in writing assessment is very important for the resolution of the different scores. Therefore the goals of this article are to study the reading patterns of teacher as scorer by using personal cognition and group cognition and reveal usefulness of team discussion and group cognition. This study analyzes the prototypes of teachers-as-reader and discusses about importance of the proficient reading for writing assessment via group discussion. The research of group cognition is located on boundary area between cognitive and socio-cultural perspectives. Therefore, this perspectives can resolve the problem raised between reliability and validity in writing assessment. And group scoring can be building expertise, trusting subjectivity and valuing difference of raters in writing assessment.