Content analysis of employment exams for secondary English teachers in Korea from 2009 to 2017 based on target language use

다국어 초록 (Multilingual Abstract)

This study is aimed at investigating the content of Employment Exams for Secondary English Teachers in Korea based on Target Language Use (TLU). This paper examined whether Employment Exams headed towards the right direction regarding their content from 2009 to 2017. A survey was given to 41 English teachers and 66 English teacher candidates to investigate their ideas about usefulness of Employment Exam. Based on the survey results and theoretical background, this study conducted quantitative and qualitative content analysis. The researcher sorted a total of 309 items in the exams from 2009 to 2017 according to their item types and academic fields. Each year of the exams was then analyzed for their exam format, the ratio of pedagogical and curriculum content, and the ratio of the four academic fields. These aspects were utilized to investigate the examination trend and reliability of the exams for nine years. Also, this study examined the usefulness of items in Employment Exam in 2017 in terms of their construct validity, authenticity, and interactiveness. Findings and new insights from the research results are suggested.

국문 초록 (Abstract)

본 연구는 중등 영어과 임용시험의 내용을 Bachman과 Palmer가 제시한 Target Language Use에 근거해 분석하고, 바람직한 임용시험의 방향을 모색하고자 한다. 본 연구는 2009년도부터 2017년도까지 과거 9년간 임용시험의 경향과 신뢰도를 분석하고, 2017년도 임용시험 문항의 유용성을 구인타당도, 진정성, 상호작용성의 세 가지 속성을 이용해 질적 분석하였다. 또한 설문조사를 실시하여 41명의 영어교사와 66명의 예비영어교사의 임용시험 각 부문의 유용성에 대한 의견을 알아보았다. 이들은 임용시험의 영어교육학, 영어학, 영문학, 일반영어 부문을 공부한 것이 실제 중등교육 영어수업현장에서 교사에게 얼마나 유용한지 응답하였다.
연구 결과는 다음과 같다. 첫째, 영어교사와 예비영어교사 모두 영어교육학 부문의 유용성이 제일 높다고 판단하였고, 영어학과 영문학의 유용성은 비교적 낮다고 응답하였다. 둘쨰, 과거 9년간 임용시험의 경향을 양적 분석한 결과, 문항유형은 일정한 문항수를 유지해 그 신뢰도는 비교적 높았다. 셋째, 영어교육학은 거의 매년 가장 높은 비중을 차지했고, 점점 더 그 비중이 커져 2017년도 임용시험에서 역대 가장 큰 비중을 보였다. 그와는 반대로 영문학은 매년 제일 낮은 비중을 차지했고, 그 비중은 9년간 큰 폭의 변화 없이 일정한 편이었다. 넷째, 2017년도 시험 문항을 질적 분석한 결과, 영어교육 기입형 문항은 중간정도의 구인타당도를, 서술형과 논술형 문항은 높은 구인타당도를 보였다. 영어학 기입형 문항은 구인타당도가 낮게, 서술형 문항은 구인타당도가 중간 수준으로 나왔다. 일반영어 문항들은 중간정도의 구인타당도를 보인 것으로 확인되었다. 그리고 영어교육과 일반영어 문항은 높은 진정성을 보인 반면, 영어학 문항은 대부분 진정성이 낮았다. 또한 영역에 상관없이 기입형 문항은 비교적 낮은 상호작용성을, 서술형 문항은 중간의 상호작용성을, 논술형 문항은 높은 상호작용성을 보였다.
본 연구는 2009년부터 2017년까지 9년간의 임용시험들을 분석함으로써 긴 시간동안 쌓여온 시험의 경향을 보다 충분히 분석하고, 2017학년도 임용시험의 유용성 분석 및 과거 시험들과의 차이 비교를 통해 임용시험이 나가가야 할 방향에 대한 시사점을 제공했다는 점에서 의의가 있다.

목차 (Table of Contents)

• CHAPTER I. INTRODUCTION 1
• 1.1. Purpose of the Study 1
• 1.2. Research Questions 4
• CHAPTER II. LITERATURE REVIEW 5
• 2.1 Employment Exam for Secondary English Teachers in Korea 5
• 2.2 History of Employment Exams from 2009 to 2017 9
• 2.3 English Curriculum in Korea 12
• 2.4 TESOL and TEFL Certificate Program Courses 25
• 2.5 Qualifications of Secondary English Teachers in Korea 27
• 2.6 Target Language Use (TLU) Domain and Tasks 29
• 2.7 Characteristics of Test Takers 29
• 2.8 Surveys to English Teachers and Teacher Candidates 30
• 2.9 Analysis of Employment Exams for Secondary English Teachers in Korea 33
• 2.9.1 Trend and Ratio of Items of Employment Exams 33
• 2.9.2 Content Analysis of Employment Exams 34
• CHAPTER III. RESEARCH METHOD 40
• 3.1 Research Design 40
• 3.1.1 Research Procedures 40
• 3.1.2 Statistical Methods 42
• 3.2 Participants 43
• 3.2.1 Teachers 43
• 3.2.2 Teacher Candidates 43
• 3.3 Instruments 46
• 3.3.1 Employment Exams for Secondary English Teachers in Korea 46
• 3.3.2 Survey 47
• 3.3.3 Characteristics of Test Takers 48
• 3.4 Test Usefulness of Items 49
• CHAPTER IV. RESULTS AND DISCUSSION 52
• 4.1. Survey Analysis 52
• 4.1.1 Survey Analysis of the Teachers’ Responses 52
• 4.1.2 Survey Analysis of Teacher Candidates’ Responses 59
• 4.1.3. Checking Differences Between Groups 65
• 4.2. Characteristics of Test Takers in Employment Exam 73
• 4.3. Quantitative Content Analysis of Employment Exam for Secondary English Teachers (2009-2017) 75
• 4.3.1. Employment Exams from 2009 to 2017 Analyzed According to Their Item Types and Academic Fields 76
• 4.3.2. The Number of Items in Different Item Types 89
• 4.3.3. The Ratio of Pedagogical and Curriculum Content 91
• 4.3.4. The Ratio of Academic Fields 93
• 4.3.5. Comparing Employment Exam in 2017 and the Past Exams (2009-2016) 99
• 4.3.6. Reliability of Employment Exams (2009-2017) 100
• 4.4. Qualitative Content Analysis of Employment Exam for Secondary English Teachers in 2017 104
• 4.4.1. English Education 104
• 4.4.2. English Linguistics 138
• 4.4.3. General English Proficiency 154
• CHAPTER V. CONCLUSION AND IMPLICATIONS 164
• 5.1 Summary 164
• 5.2 Implications 166
• 5.3 Limitations 170
• REFERENCES 172
• APPENDIX 177
• ABSTRACT IN KOREAN 185