말하기 평가 방법에 대한 비교 연구

박창균(Park Chang Gyoon) 학습자중심교과교육학회 2018 학습자중심교과교육연구 Vol.18 No.3

이 연구는 총체적 평가와 분석적 평가의 대안으로 절충적 말하기 평가의 의의와 한계를 살펴보는 데 목적이 있다. 이에 수준별 평가 대상을 세 가지 방법으로 평가하여 점수와 상관관계를 비교 분석하여 절충적 평가의 타당성을 검토하였다. 이 연구의 주요 결과는 다음과 같다. 첫째, 세 가지 평가 방법에 따라 말하기 점수에 차이가 있다. 둘째, 총체적 평가와 분석적 평가에 비해 총체적 평가와 절충적 평가, 절충적 평가와 분석적 평가의 점수 차이는 크지 않다. 셋째, 절충적 평가의 ‘내용 구성’, ‘표현전달’, ‘상호작용’ 범주는 총점과 상관관계가 높다. 넷째, 분석적 평가의 평가 요소 ‘주제 전개’와 ‘완급 조절’는 모든 수준의 평가 대상과 상관관계가 있지만, ‘자신감’은 상관이 없었다. 다섯째, 총체적 평가와 분석적 평가에 대한 평가자의 인식은 두 가지 평가의 장단점과 크게 다르지 않았다. 여섯째, 절충적 평가에 대한 평가자의 인식은 총체적 평가의 어려움이나 문제점과 유사하였다. 결론적으로 이 연구에서 제안한 절충적 평가는 평가 내용을 범주화하여 평가를 실시하고 각각의 평가 범주별로 점수를 합산하여 채점하는 방식이다. 절충적 평가는 총체적 평가의 편의성을 유지한 채 평가 내용을 보다 구체적으로 제시하며, 분석적 평가처럼 평가 범주별 채점을 통해 균형감 있게 평가하되 평가 기준에 얽매이지 않아도 된다는 이점을 가진다. 이러한 절충적 평가는 평가 총체적 평가나 분석적 평가와 점수 편차가 크지 않고 평가 범주의 타당성이 검증되어 총체적 평가나 분석적 평가의 대안적인 평가 방법으로서 활용 가능성을 보여주었다. The purpose of this study is to examine the significance and limitations of complementary evaluation as an alternative to holistic and analytical evaluation. The evaluation was evaluated by three methods, and the validity of the complementary evaluation was examined by comparing and analyzing the scores and the correlation. The main results of this study are as follows. First, there are differences in speaking scores according to the three evaluation methods. Second, there is not much difference between holistic and complementary evaluation, complementary evaluation, and analytical evaluation compared to holistic evaluation and analytical evaluation. Third, the content composition, expressive delivery, and interaction categories of the complementary evaluation are highly correlated with the total score. Fourth, the evaluation elements of analytical evaluation Thematic development and Completeness control were correlated with all levels of evaluation, but Confidence did not. Fifth, the evaluator s perception of holistic evaluation and analytical evaluation did not differ greatly from the merits and demerits of the two previous evaluations. Sixth, the evaluator s perception of the complementary evaluation is similar to the difficulties and problems in the holistic evaluation. In conclusion, the complementary evaluation proposed in this study is a method of categorizing and evaluating the contents of the evaluation, and scoring the scores according to each evaluation category. The complementary evaluation offers the details of the evaluation more concretely while maintaining the convenience of the holistic evaluation. It also has the advantage that it is evaluated in a balanced manner by scoring according to the evaluation category like the analytical evaluation, but is not bound to the evaluation standard. This complementary evaluation showed that the holistic evaluation, analytical evaluation and score deviation were not large, and the validity of the evaluation category was verified, and it was shown that it could be used as an alternative evaluation.

대학생 프레젠테이션 교육 평가 방법에 대한 고찰 -분석적 평가 방법을 중심으로

오현진 ( Hyeonjin Oh ) 한민족문화학회 2015 한민족문화연구 Vol.51 No.-

이 논문은 현재 대학생 프레젠테이션을 평가하는 데 자주 활용되고 있는 분석적 평가 방법을 중심으로 평가 기준표 자체가 가지고 있는 문제점을 검토하고, 분석적 평가로 대학생 프레젠테이션을 평가하는 데 나타나는 어려움을 살펴보고자 하였다. 이를 위해, 기존 연구자들이 제시한 대학생 프레젠테이션 평가 기준표를 대상으로 평가 항목 및 내용을 재분류해 보고자 한다. 그리고 5명의 국어교육 전공자들이 실제 대학생 프레젠테이션을 분석적 평가 방법을 활용하여 평가하였을 때, 겪었던 어려움을 분석해 보고자 한다. 분석적 평가 기준표의 경우, 평가 내용 및 항목들이 체계적이지 않고 균형적이지 못하다는 한계를 가지고 있었다. 의사소통의 핵심인 의미를 전달하기 위한 내용이나 조직과 관련된 항목이 적었고, 비언어적 요소나 각부분에 들어가야 할 요소들이 모두 포함되지 않았다. 그리고 자신감과 준비도, 성실성과 같은 태도적 요소가 반영되지 않았다. 분석적 평가를 진행하는 과정에서는 평가 기준표에 제시되지 않은 항목들은 평가하기 어려웠고, 각 평가 기준에 주목한 나머지 전체 내용이나 주제를 놓치기 쉬운 한계가 있었다. 평정 척도를 고르는 과정에서 객관성이 결여될 수 있으며, 평가 과정에 오랜 시간이 필요하다는 것도 문제였다. 이를 해결하기 위해, 교육적 상황이나 환경을 고려하여 분석적 평가를 적절히 활용하자는 것이다. 그리고 학생의 강점들을 중심의 피드백을 실시하고, 학생들의 모든 단점을 고쳐주려 하기보다는 가장 주요한 문제점을 선택하여 원 포인트로 코멘트해 주는 것을 제안하고자 한다. The purpose of this study is to examine the analytic evaluation method that is being often applied to evaluate undergraduate presentations in order to find out problems existing on the evaluation criteria list and difficulties in using analytic evaluation to rate undergraduate presentations. The analytic evaluation method is being applied presently to figure out the level of undergraduate presentations and the parts needing educational feedback. However, it is needed to see if analytic evaluation is being properly applied to evaluate their presentations in the actual courses. The criteria list for analytic evaluation exhibited limitations as the educational contents and items were considered to be neither systematic nor balanced. The items related with contents or organization to deliver meaning, the nuclear part in communication, were few, and nonverbal elements or elements to be included in each part were not included. Also, attitudinal elements such as confidence, preparedness, and diligence were not reflected, either. In the process of doing analytic evaluation, it was hard to evaluate the items not included in the list, and it was also problematic because the general contents or subject might be overlooked as the evaluator had to focus too much on each individual evaluation item. It could lack objectivity to select a rating scale, and it took a lot of time to go through the evaluation process. To solve these, this author asks you to use analytic evaluation properly to different educational situations or environments. Moreover, this researcher suggests you to provide feedback based on students’ strengths and provide one-point commenting by choosing their major problems instead of struggling to correct their every fault.

대학 글쓰기 평가와 평가자 전공 간 상관성 분석

김현숙(Hyeon suk Kim) 어문연구학회 2015 어문연구 Vol.84 No.-

글쓰기 평가에서 총체적 평가와 분석적 평가 사이의 상관성에 대한 논의가 있기는 하나, 실제 대학 글쓰기 현장에서 주로 사용하는 평가 방법이 대학생 글쓰기 평가에서 어떤 결과를 보이는지, 실제 대학 글쓰기 교수자의 평가는 어떤 양상을 보이는지를 살핀 연구는 부족하다. 이에 본 연구에서는 대학생 글쓰기를 대상으로 대학 내 개설된 교양 글쓰기 교수자의 평가를 분석하였다. 글쓰기 평가는 평가자의 주관이 개입할 가능성이 크다는 점이 지적되어 왔다. 전공은 평가자의 주관적 요소이면서 평가자 사이에 공통되는 요소이기 때문에 분석이 가능하다. 이에 실험을 통해 실제 대학 글쓰기 교육 현장에서 평가자의 전공이 평가에 미치는 영향이 있는지 여부와 상관성이 있다면 어떤 부분에서 상관성을 보이는지를 분석하였다. 총체적 평가와 분석적 평가 간 상관성에 대해서는 기존 연구 결과와 다른 결과를 보였다. 분석 결과 총체적 평가와 분석적 평가는 유의미한 차이를 보이지 않는 것으로 나타났다. 분석적 평가 항목과 두 개의 평가 방법 모두 높은 상관성을 보였고, 분석적 항목 간에도 높은 상관성이 있다는 것으로 분석되었다. 평가자 전공과 총체적 평가, 분석적 평가 사이에는 상관관계가 없다는 결과가 나타났다. 평가 전공에 따른 평가 결과도 유의한 차이를 보이지 않아 평가자의 전공이 평가 결과에 미치는 영향은 크지 않은 것으로 분석되었다. 초점 항목에서 전공별 차이를 보였는데, 평가자 심층 인터뷰를 통해 초점 항목에 대한 평가 기준이 달랐다는 점을 확인할 수 있었다. 초점에 대해서는 고전문학과 현대문학이 유사한 관점에서 평가하였고, 국어학은 문학 집단과 다소 차이를 보였다. 그럼에도 전반적으로 전공이 평가에 미치는 영향이 통계적으로 유의하지 않았다는 것은 평가의 측면에서 긍정적이라 할 수 있다. Although there are discussions about the correlation between overall assessment and analytical assessment, there are not many studies conducted about the aspects of college writing assessors or how assessment methods generally used in college affects college writing assessment results. This study was conducted to analyze the aspects of college writing assessment for liberal writing classes. It has been pointed out that assessors' perspectives are highly likely to intervene in writing assessment. Among various subjective elements, major is analyzable as a common subjective element of an assessor. This study was conducted to investigate if assessors' majors influence college writing assessment and to analyze their correlation. As a result of an analysis, there were no significant differences between overall assessment and analytical assessment and the reliability between two assessment methods was found to be high. In addition, analytical assessment items and two assessment methods were found to be highly correlated. It was found that there were no correlations between assessor's major, overall assessment, and analytical assessment. The reliability of a major group and reliability between groups were generally found to be relatively and comparatively high. Among analytical assessment items, focus and contents were found to vary depending on groups.

대학생 필자의 직관적 판단에 근거한 첨삭 지도법 연구

최선희 한국 리터러시 학회 2016 리터러시 연구 Vol.- No.15

첨삭 지도의 실제적인 목표는 학습자에게 고쳐 쓰기의 중요성을 인식시키고 스스로 자기글을 수정할 수 있는 능력을 기르게 하는 것이다. 초고가 좋은 글로 완성되려면 필자의 수정 의지와 반복 수정 활동이 필요하다. 그런데 현재 대학 글쓰기의 환경적 제약으로 교수 첨삭은 대부분 일회적인 지도에 그치는 경우가 많아 학습자의 수정 학습에 미치는 영향은 미미하다. 글쓰기에서 당위인 여러 번의 수정을 하기 위해서는 학습자의 글쓰기 수정에 대한 긍정적인 인식이 전제되었을 때 비로소 가능하다. 본고에서는 학생 필자가 수정에 대한 긍정적인 동기로 수정 습관을 갖고 자가 평가 능력도 향상시킬 수 있는 방안으로, ‘직관적 평가→분석적 평가→자가 평가’ 첨삭 지도 과정 모델을 제시했다. 이 모델을 학습자에게 적용한 결과는 다음과 같다. 첫째, 직관적 평가에서는 학습자에게 ‘직관’의 힘을 빌려 동료 글에 대한 인상을 기억하여 적도록 했다. 직관은 대상의 내부로 일치해 들어가는 의식적인 공감 작용이므로 집중과 주의 및 노력이 필요하다. 때문에 학습자에게 최대한 집중하여 텍스트 내용에 밀착하여 그 감상을 쓰도록 유도했다. 동료 글을 분석적으로 보지 말고 직관적으로 감상하여 그 느낌을 솔직하게 표현하라는 교수자의 요구에 학습자는 많은 긍정적인 의견을 피력했다. 둘째, 분석적 평가에서는 직관적 평가에서 이루어진 감상적인 내용들을 논리적으로 지적하여 과학적인 평가로 이어지도록 했다. 이를 위해 교수자가 첨삭 항목을 제시하여 동료 글에 대한 자신의 직관적 평가 이유를 텍스트 안에서 찾아 그 근거를 제시하도록 했다. 정해진 잣대를 기준으로 한 분석적 평가는 첨삭 주체로 하여금 제시된 항목에 대한 이유를 찾기 위해 직관적 감상 때보다 더 정밀하게 텍스트 자체를 탐색하게 함으로써 세밀한 평가를 유도할 수 있었다. 셋째, 자가 평가에서는 동료의 직관적 감상과 분석적인 평가를 참고하여 필자 자신의 글을 객관적으로 검토하게 했다. 학습자는 이미 동료 글을 직관적으로 감상하고 이를 분석적 평가에 적용하는 첨삭 연습을 했기 때문에 비교적 순조롭게 자신의 글의 문제점을 진단할 수 있었다. 동료 상호 간의 평가 반응을 교환하는 과정을 통해 학생 필자는 독자라는 존재를 인식할 수 있었고 두 차례의 첨삭 학습을 하면서 좋은 글에 대한 평가 지침을 어느 정도 내면화할 수 있었기 때문이다. 수정은 필자의 독자에 대한 인식과 자기 글에 대한 책임에서 비롯되기 때문에 여러 차례 하는 것이 좋다. 첨삭 지도에서, 학습자의 반복적인 수정 활동을 돕기 위한 교수자의 역할은 학생 필자가 수정에 대한 긍정적인 생각을 갖고 자기 수정 능력을 기를 수 있도록 도와주는 것이라고 생각한다. 본고에서 제안한, 동료의 직관적 감상과 분석적 평가를 통한 자가 수정 모델이 학생 필자의 수정 동기와 그 능력 향상에 도움이 될 수 있는 첨삭 지도법이 되기를 기대한다. A Study on Correction Guidance for Writing based on Intuitive Judgement of University Students - For the Improvement of Habit and Ability of Revision A practical objective of teaching of correction is to make learners recognize the importance of rewriting and improve an ability of revising their writing by themselves. It is essential for writers to have a will to revise and a habit of revising their writing repeatedly to complete draft and finally make a good piece of writing. With limitations on environment in the current university writing, however, most of correction education provided by instructors ends up with simply one-off instruction, which has a little impact on learning of revision. Learners’s positive attitude toward revision of writing is a prerequisite for repeated revision which should be done in writing. This research has proposed a model of the process of correction education, ‘intuitive evaluation → analytic evaluation → self-evaluation,’ as one of ways to let learners have a habit of revising their writing based on positive motivation for revision, and enhance their self-evaluation ability. The results of the application of the model on leaners are as follows. First, in the first step, the intuitive evaluation, learners were asked to write an impression on their peer’s writing by relying on their ‘intuition.’ Intuition requires concentration, caution and endeavor since it is part of conscious empathic action by getting into deep inside of the target and accord with it. Therefore, the learners were guided to appreciate the peer’s writing and express their thoughts on that by concentrating and sticking with the contents as much as they could. On request of the instructors that leaners should frankly express their opinions on the peer’s depending on not analytic but intuitive thoughts, many leaners expressed many positive views. Second, when it comes to the analytic evaluation, the learners were requested to logically point out the emotional contents done through the intuition evaluation, and lead it to a scientific evaluation. For this process, the instructors suggested items for correction, and had the leaners to find out reasons for their intuitive evaluation on the peer’s within the text and provide its logical basis. The analytic evaluation based on given criteria has helped the subjects carrying out correction to be involved in a detailed evaluation by exploring the text itself more precisely than they do during the intuitive evaluation to discover reasons for the items presented. Third, during the self-evaluation process, the leaners were asked to review their own writing objectively by referring to intuitive appreciation and analytic evaluation of the peers. The learners came to diagnose problems of their writing relatively smoothly because they already practiced correction from expressing their intuitive opinions on the peer’s and applying it to the analytic evaluation. It can be translated that the process of exchanging reactions on the evaluation between peers has helped the learners recognize readers, and internalize the evaluation guide for good writing to a certain extent through learning of correction twice. It can be better to revise writing multiple times since revision is derived from writers’ awareness of readers and the responsibility for own writing. During the correction education, it can be considered that the role of an instructor to make learners have a habit of revising their writing repeatedly is to help them have a positive thought on revision and raise their ability for self-revision. Lastly, it is expected that the self-revision model processed through the intuitive appreciation and analytic evaluation provided by peers proposed on this study can be one way of useful correction education for enhancing university students’ motivation and ability for revision.

독일어학습자 작문능력의 분석적 평가방법 연구 - ‘Frog, Where Are You?’ 작문의 이야기구성과 문법완성도 평가모델의 독일어 유창성 예측 성능

유수린,국지연 한국독어학회 2023 독어학 Vol.48 No.-

Die Schreibfähigkeit von Deutschlernenden gilt als einer der Hauptaspekte bei der Bewertung der Deutschkenntnisse. Er umfasst nicht nur Wortschatz und grammatische Genauigkeit, sondern auch die Fähigkeit zur Bedeutungskonstruktion als integralen Bestandteil eines komplexen kognitiven Prozesses. Daher ist es notwendig, klare Muster hinsichtlich des Niveaus der Schreibfähigkeiten zu beschreiben, Bewertungskriterien festzulegen und zu überprüfen, ob diese Kriterien mit den Bewertungsstufen für Deutschkenntnisse übereinstimmen. Diese Studie schlägt eine analytische Bewertungsmethode für die Schreibfähigkeiten koreanischer Deutschlernender vor, untersucht die Validität dieser Methode anhand von Fallanalysen und überlegt Möglichkeiten zur Verbesserung. Zu diesem Zweck wurden deutsche Aufsätze zu ‘Frog, Where Are You?’ (Mayer 1969) von 32 koreanischen Deutschlernenden (KGL2) gesammelt. Qualitative Bewertungen wurden für grammatische Genauigkeit (EV_G) und narrative Struktur (EV_N) durchgeführt, während quantitative Bewertungen die Vielfalt des Wortschatzes (EV_Q.TTR) und die Satzlänge (EV_Q.MSL) umfassten. Eine Analyse der Korrelation zwischen diesen Bewertungskriterien bestätigte die Notwendigkeit einer umfassenden Analyse durch diese analytische Bewertungsmethode. Zusätzlich wurde eine multinominale logistische Regressionsanalyse durchgeführt, um zu untersuchen, ob die konstituierenden Variablen der analytischen Bewertung das Deutschniveau vorhersagen können. Die Analyseergebnisse zeigten, dass die von dieser Studie vorgeschlagene analytische Bewertungsmethode als Modell zur Vorhersage der mittleren und fortgeschrittenen Deutschkenntnisse eine hohe Erklärungskraft besitzt. Zugleich bestätigte die geringe Korrelation mit LexTALE-Ger die Notwendigkeit einer Verbesserung von LexTALE-Ger. 독일어학습자의 작문능력은 독일어 수준 평가의 주요 요소 중 하나로, 어휘 구사능력과 문법적 완성도뿐아니라 의미 구성능력을 포함하는 복합적 인지과정의 종합으로 여겨진다. 따라서 작문능력의 수준에 대한명확한 양상을 기술하고, 평가기준을 정립하고 그 설명력이 독일어능력 공인등급과 호응하는지 검증하는것이 필요하다. 본 연구는 국내 독일어학습자들의 작문능력을 평가하는 분석적 채점방법을 제안하고, 실행사례의 분석 결과를 토대로 평가방법의 타당성과 개선점을 고찰하고자 한다. 이를 위해, 32명의 한국어화자인 독일어학습자(KGL2)로부터 24개 그림으로 구성된 ‘Frog, Where Are You?’(Mayer 1969)에 대한독일어 작문을 수집하여, 문법완성도(EV_G)와 이야기구성 평가(EV_N)라는 질적 평가와 어휘다양도(EV_Q.TTR)와 평균 문장길이(EV_Q.MSL)라는 양적 평가를 시행하였다. 이들 평가방법 간의 상관성 분석을 수행하여 분석적 평가방법을 통한 다면적 분석의 타당성을 확인하였다. 또한 분석적 평가의 구성 변인들이 독일어 공인등급을 예측할 수 있는지 다항 로지스틱 회귀분석을 시행하였다. 분석 결과, 본 연구가제안한 분석적 평가방법이 독일어 중급과 상급 수준을 예측하는 모델로서 높은 설명력을 보였으며, 반면독일어 어휘지식평가 LexTALE-Ger에 대해서는 낮은 상관성을 보임으로써 LexTALE-Ger의 개선 필요성을 확인할 수 있었다.

사회통합프로그램 단계평가의 구술시험 평가 개선 방안 연구: 분석적 채점표 활용을 중심으로

배경진 이주사학회 2022 Homo Migrans Vol.27 No.-

This study was designed to examine the problems concerning speaking tests of the Korean Immigration and Integration Program (KIIP) and investigate the effects of analytic assessment as an alternative to the current holistic rating of KIIP. To this end, analytic rating sheet was made for simulation tests, while twelve instructors, who have worked for KIIP in Gyeongsangnam-do, judged two testers with holistic and analytic rating sheets respectively, and then answered a survey. Following are the results: First, the simulation test scores are higher when instructors graded with the analytic rating sheet, and the significant differences between holistic and analytic scoring were found. Second, the instructors, as the survey showed, preferred analytic rating primarily because it allowed them to grade more efficiently. In addition, they thought that analytic rating helped them to measure learners' achievement correctly, and that a guide for accurate evaluation and rater training programs should be given. The results suggest that a holistic scoring method, which KIIP currently employs, failed to evaluate learners correctly, and thus should be replaced with analytic scoring. 본 연구의 목적은 사회통합프로그램 단계평가 구술시험의 평가 방식의 문제점 해소 방안으로서 분석적 채점 척도를 활용한 채점표 도입을 통한 개선 효과를 탐색하는 데 있다. 이를 위해 경남에서 활동 중인 사회통합프로그램 강사 12명을 대상으로 모의 평가를 실시하고 설문조사를 진행하였다. 모의 평가 결과 분석적 채점 점수가 총체적 채점 척도를 이용하는 현행 채점표 점수보다 높았으며, 일부 문항에서는 유의미한 차이를 보였다. 설문조사 결과, 강사들은 구인별로 세분화하고 2개 전후의 평가기준을 제시한 분석적 채점표가 현행 채점표보다 평가에 용이하며 체계적인평가를 가능하게 한다는 장점을 지니고 있다고 답했다. 또한 강사들은 채점 신뢰도 향상을 위해 상세한 채점 지침서와 내실있는 채점자 교육이 필요하다고 생각하였다. 이러한 모의 평가 및 설문조사 결과는 총체적 채점척도를 활용하는 현행 채점표가 학습자들의 성취도를 적절하게 평가하지 못하고 있으며, 적절한 채점 지침과 채점자 교육이 제공된다면 분석적 채점표가 현행 평가 방식의 대안이 될 수 있다는 점을 시사한다.

Rating of Korean Students’ L2 Writing : Similarities and Differences Between Native and Non-Native Raters

Lee, Seongyong,Choe, Hohsung 이화여자대학교 교과교육연구소 2012 교과교육학연구 Vol.16 No.3

The present study investigates the rating behavior of two native-speaking teachers and two Korean teachers of English when assessing forty essays written by Korean EFL students. Three research questions guided this study: (1) are there any similarities or differences in their rating behavior in holistic scoring? (2) Are there any similarities or differences in their rating behavior in analytic scoring? (3) And what factors are involved in these similarities or differences? Forty college students preparing for their TOEFL were asked to write an essay. Their essays were evaluated by the four teachers based on the TOEFL writing scoring rubric using the six point scale. The teachers read each essay twice. They were first required to give overall scores; then, in the second reading, they provided analytic assessments for four subareas. A paired t-test was performed to examine any discrepancy in holistic and analytic scoring between the two groups. Differences in holistic scoring appeared statistically significant: the Korean teachers gave higher scores than did their native counterparts. With respect to analytic scoring, the Korean raters also gave higher scores in all subareas, and the differences between the two groups were much greater than those in the holistic scoring. Interestingly, both groups gave the highest score in vocabulary, followed by grammar, content, and organization. A qualitative analysis indicated that all the teachers prioritized the logical flow of ideas and emphasized rhetorical features rather than linguistic features. Native teachers tended to score linguistic features based on native intuition. They also followed the Western writing convention in rating, while the Korean teachers applied the Korean rhetorical style. 본 논문은 원어민 교사와 한국인 교사의 영어작문평가 행위를 연구한 것이다. 원어민 교사 2명과 한국인 교사 2명이 연구에 참여하였으며, 이들은 미국 학부과정으로 유학을 준비 중인 대학생 40명의 토플 작문에 대하여 통합적 및 분석적 평가를 실시하였다. 평가는 토플작문평가 기준표를 사용하여 0에서 5점 사이의 점수를 부여하는 방식이었다. 통합적․분석적 평가에 있어서 두 집단 간 차이를 보기 위해서 t-검증을 실시하였다. 통합적 평가에서 한국인교사들이 원어민교사들 보다 높은 점수를 주었으며, 이는 통계적으로 유의미하였다. 분석적 평가에서도 한국인 교사들이 더 높은 점수를 부여하였고 그 차이가 통합적 평가보다 훨씬 큰 것으로 나타났으며, 이 역시 통계적으로 유의미한 것이었다. 분석적 평가의 항목별 점수를 보면, 두 집단 모두 단어, 문법, 내용, 구성의 순으로 높은 점수를 주었다. 정성적 분석에서는 모든 교사들이 공통적으로 논리의 흐름을 중시하고 내용과 구성을 강조한 것으로 나타났다. 차이점으로는 한국인 교사들은 단어사용과 문법 평가에 어려움을 겪은 반면, 원어민교사들은 직관에 따라 상대적으로 쉽고 정확하게 평가하는 것으로 나타났다. 또한, 원어민 교사들은 영어작문이 요구하는 수사학 형식에 따라 채점한 반면, 한국인 교사들은 채점 과정에서 한국어 작문의 수사학 형식을 따르는 경향이 있었다. 교사들의 언어․문화적 배경과 교육적 배경이 영어작문 채점에 영향을 끼치는 것으로 나타났다.

동료평가 유형이 평가자 및 피평가자의 역할에 미치는 영향

황희선 중앙어문학회 2019 語文論集 Vol.78 No.-

Using a practical experiment, this study determined that peer review questions had an impact on evaluators (ㄱ) and assessors (ㄴ). In a liberal arts presentation class for foreign university students, it was evident that instructors felt positively about peer review. They recognized that it improved their roles as evaluators and assessors. In their role as evaluators (ㄱ), they had a high preference for type. Students wanted the person in charge of assessment to write up reasons they were given a specific grade. Accordingly, discovering the “reason for getting a score,” or decrease,” was why students concentrated while listening to the announcement. While playing the role of an assessor, he said “(ㄴ) type does not listen to presentations for the purpose of giving evaluation scores; rather, they listen to presentations in order to study their contents.” In other words, (ㄴ) types’ evaluations revealed greater efforts to listen to and understand presentations than type (ㄱ). Accordingly, students did not focus solely on instructors’ role as “assessors.” The finding that peer-assessment types affect evaluators’ and assessors’ roles is meaningful. However, there are limits based on a lack of experimental groups, and a lack of valid verification. In addition, it is necessary to develop appropriate peer review types (i.e., questions) for presentation classes comprising foreign university students. This provides a subject for follow-up research. 이 연구는 동료평가 문항에 따라 평가자와 피평가자에게 미치는 영향이 다르다는 점을 실제 실험을 통해 분석하였다. 외국인 대학생의 교양 발표 수업에서, 동료평가에 대해서는 긍정적이며 동료평가가 자신이 평가자나 피평가자의 역할을 하는 데에 도움을 준다고 인식한다는 점을 알 수 있었다. 평가자 역할일 때 (ㄱ)분석적 평가 유형의 선호도가 높았는데, 학생들은 본 인들이 평가를 담당하는 한 사람으로서, 어떠한 이유 때문에 그 점수를 받게 되었는지를 작성하고자 하였다. 이에 따라 ‘그 점수를 받게 된 이유’, 즉 ‘감점’ 의 이유를 찾는 것이 발표를 듣는 동안 집중하는 이유였다. 피평가자 역할일 때 (ㄴ)총체적 평가 유형의 경우 평가 점수를 내기 위해 발표를 듣는 것이 아니므로 스스로가 발표 내용에 대해 공부를 하면서 듣게 된다고 밝혔다. 즉 발표를 들으면서 ‘평가자’의 역할에만 초점을 두어 발표를 듣는 것보다는 ‘평가자’이기는 하지만 발표를 듣고 이해하고자 하는 노력이 (ㄱ)분석적 평가 유형의 평가 문항에 비해 (ㄴ)총체적 평가 유형의 평가지에서 더 많이 드러났 다. 동료평가를 하는 목적은, 발표를 듣는 중에 수업에 더욱 참여하게 하고 발 표 조의 발표 내용을 듣는 학생들에게 좀 더 정확하게 이해시키고자 하는 데에 있으므로, 실제 학생들에게는 (ㄴ)총체적 평가 유형의 평가지를 작성하는 시간이 보다 유익했다는 것을 알 수 있다. 이러한 연구 결과는 동료평가 유형이 평가자와 피평가자 역할에 영향을 미친다는 것을 밝혀내었다는 것에 의의가 있으며, 외국인 대학생 발표 수업의 적절한 동료평가 유형(문항)의 개발에 대해서는 후속 연구로 미루겠다.

국어교사의 말하기 평가 특성 연구 - 중학생의 자기소개에 대한 평가를 중심으로 -

김지영 ( Kim Jiyoung ),장은주 ( Jang Eunju ) 청람어문교육학회(구 청람어문학회) 2016 청람어문교육 Vol.59 No.-

화법 능력에 대한 직접평가는 구두 언어의 특성상 평가의 타당성과 신뢰성을 확보하는 데 어려움이 있고 교사들이 느끼는 평가의 피로도와 부담감의 문제 역시 지속적으로 제기되어 왔다. 본고에서는 중학교 1학년 학생들의 자기소개 말하기 동영상 자료를 10명의 국어교사에게 제공하고 이들의 평가 특성을 탐색하기 위해 설문조사를 병행하였다. 10명의 평가자들에게 말하기에 대한 분석적 평가기준을 제공하고 결과를 수합하여 다국면 Rasch 모형을 이용하여 채점 일관성에 따라 나누었다. 연구 결과 첫째, 교사의 말하기 평가 전문성에서 성별이나 경력에 따른 차이는 통계적으로 유의하지 않았다. 둘째, 교사들은 말하기 평가에서 말하기 수행의 상황 맥락을 고려하여 평가하려는 경향이 있었다. 셋째, 일부 교사들은 분석적 평가의 하위 평가 기준을 변별하여 적용하는 데 어려움을 느끼는 경우가 있었다. 넷째, 말하기 평가에서 교사들이 중요하게 생각하는 평가기준은 주제 명시, 자연스러운 흐름, 목소리의 크기인 것으로 나타났다. 국어 교사들의 인지적 부담을 최소화하면서 채점의 신뢰성을 유지할 수 있는 평가의 기준과 방법이 담화유형별로 다양하게 마련될 필요가 있을 것이다. This paper examines questionnaires from 10 Korean teachers after they were shown self-introduction video clips of first-year students in middle school in order to investigate teachers`` particular traits in test evaluations. Ten teacher participants were provided a analytic rubric for this speech performance and the results were collected and divided according to the consistency patterns using a multidimensional Rasch model. First, sex distinction and the number of years in the career is statistically irrelevant to evaluation expertise. Second, teachers are inclined to evaluate speech performances in consideration of students`` speech circumstances. Third, some teachers seem to feel difficulty applying the sub-analytic rubric. Fourth, the areas in which teachers focus much of their attention in speaking assessment appear to be the clear theme presentation, natural flow of the speech, and the volume of the voice. It is necessary to develop criteria and methods of assessment with marking reliability according to the discourse patterns that can minimize teachers`` cognitive load.

설득 화법의 청중 평가 양상에 대한 고찰 - 영향력 평가와 분석적 평가를 중심으로 -

최영인 서울대학교 국어교육연구소 2014 국어교육연구 Vol.33 No.-

설득 담화를 교육하는 장에서 동료 평가 혹은 상호 평가가 활용되고 있지만 청중들이 ‘어떤 기준으로’ 혹은 ‘어떻게’ 화자의 담화를 평가하는가에 주목하는 연구는 거의 진행되지 않고 있다. 본고에서는 대학생의 설득 화법에 대해 청중이 두 가지 방식으로 담화 평가를 수행하게 하고, 그러한 두 가지 평가 결과를 비교하였다. 21개 담화 중 3개 담화에 대한 청중의 영향력 평가 결과와 분석적 평가 결과에서 차이가 발견되었고 그 차이는 통계적으로 유의미하였다. 청중들이 평가의 이유를 기술한 내용과 담화 분석을 통해 그러한 상이한 평가 결과에 관여한 요인을 탐색한 결과 담화 주제의 참신성, 경험/예시를 통한 근거 제시와 감성 설득 전략 등이 영향력 평가에 작용함을 확인하였다. 이런 결과로부터 교실에서 설득 화법 평가를 실시할 때 고려해야 할 시사점을 도출할 수 있다. 첫째, 설득 화법의 교육 현장에서 청중으로서 학습자들에게 평가자의 역할을 위임할 때 ‘어떠한 정체성에 입각하여’ 혹은 ‘무엇을 기준으로’ 평가할지에 대한 안내 및 지침을 분명히 제공해야 한다. 둘째, 청중으로서 학습자들이 ‘설득 화법의 영향력’을 어떻게 인식하고 있는가에 대해 정확히 이해해야 한다. 셋째, 교실에서 화법 평가 방법으로 많이 사용되는 ‘분석적 평가’의 틀로 설득력을 포착할 수 없는 담화의 특성 및 유형이 존재한다는 사실에 대한 추가적 논의가 필요하다. Either peer review or mutual assessment has been applied to an education field of persuasive discourses, but there has been little study on criteria or methods for which an audience assesses a speaker’s discourse. In this paper, the audience carried out a discourse assessment on college students’ persuasive discourses in two ways, and these two assessment results were compared with each other. Out of 21 discourses, it was found that 3 discourses had a statistically significant difference between analytic assessment results and impact assessment results. It was found that two factors were related to such different assessment results as a result of considering the audience’s report on assessment reasons and performing discourse analysis, and those two factors were 1) novelty of a subject recognized by the audience and 2) the audience’s trust in grounds for the subject through a speaker’s experiences and examples.