Adjudicators’ assessment performance in an English debate tournament : form EIL perspective

다국어 초록 (Multilingual Abstract)

This paper presents the case of 2 adjudicators’ assessment of Northeast Asian EFL speakers in English debate by conducting a qualitative research. From English as an International Language (EIL) perspective, this paper intends to discuss on assessment of Northeast Asian non-native speakers in global setting. The research questions are as follow; (1) How do the adjudicators assess the performance of Northeast Asian EFL debaters? (2) What are the factors influencing the adjudicators’ assessments? To answer the research questions, the current paper conducted semi-structured interview with 2 adjudicators, one from Australia and the other from America. For the purpose of data triangulation, the current paper also included observation of adjudication process as well as collected judging note of each adjudicator. Both adjudicators focused on the meaning of the speech and did not consider speakers’ fluency as crucial when assessing the speech as long as it’s comprehensible. Adjudicators gave feedback on tactics to improve clarity of meaning, confidence, and speaking style for overall persuasion. Each adjudicator had different interpretation of the same judging criteria, which resulted in different assessment performance. Adjudicators constructed self-reflection, recognition of non-native speakers’ equity issue, and problem analysis throughout past experience in debate field, which all impacted on belief as a judge as well as current assessment performance. The current paper has implications in terms of suggesting an authentic case of assessment in EIL paradigm as well as the research of rates’ assessment performance by qualitative method.

국문 초록 (Abstract)

본 연구는 영어토론대회 심판 2명의 동북아시아 EFL 학생들의 영어토론 평가 사례를 정성적 연구 방법을 사용하여 제시한다. 본 연구는 국제어로서의 영어 관점(EIL)에서 국제적인 조건하에 동북아시아 비 원어민 화자 평가에 대해 논의하고자 한다. 연구문제는 다음과 같다. (1) 심판들은 어떠한 방법으로 동북아시아 EFL 토론자들을 평가하는가? (2) 심판들의 평가에 영향을 미치는 요소들은 무엇인가? 이 연구문제들에 답하기 위해, 본 연구는 반 구조화 된 인터뷰를 2명의 심판들과 실시하였다. 한 사람은 호주 출신이고 나머지 한 사람은 미국 출신이다. 삼각망 기법의 완성을 위하여 본 연구는 심판과정 관찰과 더불어 각 심판들의 심판 판정 필기장을 수집하였다. 심판들은 연설의 의미에 초점을 맞추었으며 연설의 의미가 이해되는 한 화자들의 영어 유창성을 중요한 평가요소로 고려하지 않았다. 심판들은 의미 전달의 명확성, 자신감 그리고 전반적인 설득력을 위한 말하기 기법에 대하여 조언하였다. 심판들은 같은 심판 기준에 대하여 다른 해석을 가지고 있었으며, 이는 각자 다른 평가 활동의 결과에 기인하였다. 심판들은 과거 토론 분야에서의 경험을 통하여 자기 성찰, 비원어민의 형평성 문제에 대한 인식, 그리고 문제의식을 정립하였다. 이 모든 요소들은 심판들의 심판자로서의 신념 그리고 현재의 심판활동에 영향을 미쳤다. 본 연구는 EIL 상황에서 평가의 실제 예시를 제기한 것과 평가자 들의 평가 활동 에 대한 정성적 방법을 사용한 연구라는 점에서 의의가 있다.

목차 (Table of Contents)

• Chapter 1: Introduction 1
• 1.1 Purpose of The Study 1
• 1.2 The Need of The Study 2
• Chapter 2: Literature review 5
• 2.1 English as an International Language 5
• 2.2 Fluency in EIL Paradigm 7
• 2.3 Rater’s Assessment Performance from EIL Perspective 13
• Research Questions 15
• Chapter 3: Methods 16
• 3.1 Background 16
• 3.2 Participants 17
• 3.3 Data Collection 19
• 3.4 Data Analysis 21
• Chapter 4: Results 22
• 4.1 Emma’s Assessment 22
• 4.2 Mason’s Assessment 28
• 4.3 Factors Influencing Emma’s Assessment 34
• 4.4 Factors Influencing Mason’s Assessment 37
• Chapter 5: Discussion 42
• 5.1The Assessment in EIL Paradigm 42
• 5.2 Factors Influencing on Assessment Process 47
• Chapter 6: Implications 50
• References 52
• AppendixA: ADI Tournament Motions 60
• AppendixB : ADI Schedule 61
• AppendixC : Interview Questionnaires for Adjudicators 62
• 국문초록: 64