영어 문법 평가 유형에 대한 예비 영어 교사의 신념

다국어 초록 (Multilingual Abstract)

This study aims to investigate the perception of Korean pre-service English teachers about English grammar testing types. In order to achieve the aim, the researcher conducted a survey of 172 pre-service English teachers majoring in English education in Seoul, Korea. The Survey was composed of 25 questions. The respondents needed to refer to 9 examples of English grammar tests to answer the questions. Suggested sample tests could be categorized according to 4 types of response required of the learner. The survey questions were 9 items on respondents’ background, 1 item on their belief in the need of evaluating grammatical knowledge, 1 item on their judgment on the way the sample tests assessing learners, 2 items on the test effectiveness, 2 items on their preference of test use from a personal view, 2 items on their preference of test use from a practical perspective, and 8 items on their evaluation on the test usefulness. The responses collected were analyzed using SPSS 18.0 including frequency analysis and Repeated Measures ANOVA.
The results of the study were as follows.
First, most of the pre-service English teachers thought that the one that measuring learners’ grammatical knowledge through four skills(reading, listening, speaking, writing) was written composition, which belongs to the free constructed response.
Second, many pre-service English teachers chose grammaticality judgment tasks(metalinguistic judgments type) as the most effective one to measure learners' grammatical ability, while choosing multiple-choice(selected response type) as the most ineffective one. From a personal view, most of the respondents preferred to use gap-filling(constrained constructed response type) to test learners’ grammatical knowledge. From a practical perspective, most of them responded that they were likely to use multiple-choice(selected response type) to test learners’ grammatical competence.
Third, the pre-service English teachers’ evaluations on the sample tests’ usefulness were high in the order of written composition(free constructed response type), gap-filling ‧ sentence combining ‧ paraphrase, completion, cloze(constrained
constructed response type), error identification(selected response type), grammaticality judgment tasks(metalinguistic judgments type), and multiple-choice(selected response type). The written composition(free constructed response type) was scored highest in construct validity, authenticity, interactiveness, and impact, but lowest in reliability and practicality. Contrastively, multiple-choice(selected response type) was rated highest in reliability and practicality, whereas lowest in construct validity, authenticity, interactiveness, and impact.
The implications of this study are as follows.
First, the pre-service English teachers believe that the less controlled the test is, the more it assesses the examines’ grammatical knowledge in an integrative way.
Second, taking account of the fact that respondents preferred to use gap-filling(constrained constructed response type) and regarded its test usefulness highly, it seems that they would like to use a test which they think to be useful.
Third, however, there seems to be a considerable gap between their personal beliefs and practical judgments.
Fourth, it seems that the considerations of reliability and practicality take precedence over those of other qualities for them, and this tendency is often observed from those of test users as well.
By strengthening the pre-service English teacher training on the assessment and test development, we can improve their comprehension in the assessment processing and the characteristics of the test tasks. Also, by providing qualified educational settings, we can reduce differentials between teachers’ beliefs and performances. Further, by developing and offering tests that are appropriate to the purpose of the evaluation, and also have maximized test usefulness, we can improve the efficiency of testing students’ grammatical knowledge.

국문 초록 (Abstract)

본 연구는 영어 문법 평가에 활용할 수 있는 평가 유형과 문항에 대한 중등 예비 영어 교사의 신념을 알아보는 것에 목적이 있다. 평가 목적에 적합하면서도 유용한 평가도구의 개발이 필요하지만, 이전의 연구들은 주로 평가도구의 난이도, 변별도, 측정 결과의 신뢰성과 같은 평가 문항 본연의 성격에 관해 분석하는 한계가 있었다. 따라서 본 연구는 미래의 출제자인 예비 영어 교사들이 영어 문법 평가와 유형에 관해 적절하게 이해하고 있는지 확인하고 평가 유형에 대해 어떠한 신념을 가졌는지 알아보고자 하였다.
본 연구는 서울시 소재의 H 대학교에서 교원 양성 프로그램에 참여 중인 예비 영어 교사 172명을 대상으로 설문 조사를 한 후 결과를 통계 분석하였다. 연구 문제에 대한 확인을 위해 사용한 연구 도구는 설문지이다. 설문을 위해 영어 문법 평가의 네 가지 유형(메타 언어적 판단 유형, 선택형, 통제된 서답형, 제약 없는 서답형)에 속하는 아홉 가지 문항의 예시(문법성 판단 과업, 선다형, 오류 확인, 완성형, 빈칸 메우기, 바꾸어 표현하기, 문장 연결, 빈칸 채우기, 작문)를 제시하였다. 예비 영어 교사가 영어 문법 평가의 필요성에 대해 어떠한 신념을 가졌는지 확인 후, 예비 영어 교사들은 제시된 문항 중 통합적 언어 능력의 활용을 바탕으로 문법 지식을 평가하는 문항, 평가 문항으로서의 효과성이 높은 문항, 개인적으로 출제를 가장 선호하는 문항, 현실적으로 출제 가능성이 높다고 생각하는 문항, 문항의 유용성(신뢰도, 구인타당도, 진정성, 상호작용성, 영향, 실용성)이 높은 문항이 무엇이라고 생각하는지 확인하기 위한 설문을 시행하였다. 수집된 설문 조사 결과에 대해 빈도 분석과 반복측정분산분석(Repeated Measures ANOVA)을 실시하였으며, 연구 문제는 다음과 같다.
첫째, 예비 영어 교사들은 영어 문법 평가의 필요성에 대해 어떠한 신념을 가지며, 제시된 영어 문법 평가 유형 중 통합적 언어 능력 활용을 통한 평가에 해당하는 유형이 무엇이라고 생각하는가? 둘째, 예비 영어 교사들이 평가 문항으로서 효과성이 높다고 생각하는 문항, 개인적으로 출제를 선호하는 문항, 현실적으로 출제 가능성이 높다고 생각하는 문항은 무엇인가? 셋째, 예비 영어 교사들이 시험 유용성이 높다고 평가하는 문항은 무엇인가?
연구 결과는 다음과 같다.
첫째, 대부분의 중등 예비 영어 교사는 영어 문법 평가가 필요하다고 생각한다. 예비 영어 교사들은 평가 시 언어의 통합적 능력 활용을 가장 효과적으로 유도하는 유형은 제약 없는 서답형, 언어 기능의 활용을 가장 제한하는 유형은 메타 언어적 판단 유형이라고 판단하였다.
둘째, 가장 많은 예비 영어 교사들이 학습자의 영어 문법 능력을 평가하기에 제일 효과적인 문항으로 메타 언어적 판단 유형인 문법성 판단 과업, 비효과적인 문항으로 선택형인 선다형을 골랐다. 예비 영어 교사들이 개인적으로 가장 출제를 선호하는 문항은 통제된 서답형인 빈칸 채우기이며, 가장 선호하지 않는 문항은 제약 없는 서답형인 작문으로 나타났다. 또한, 현실적으로 가장 출제 가능성이 크다고 생각하는 문항은 선택형인 선다형이며, 가장 출제 가능성이 작을 것으로 생각하는 문항은 제약 없는 서답형인 작문이었다.
셋째, 제시된 문항에 대한 예비 영어 교사들의 시험 유용성 평가 결과, 예비 영어 교사들은 제약 없는 서답형인 작문, 통제된 서답형인 빈칸 채우기‧문장 연결‧바꾸어 표현하기, 완성형, 빈칸 메우기, 선택형인 오류 확인, 메타 언어적 판단 유형인 문법성 판단 과업, 선택형인 선다형 순서로 시험의 유용성을 높게 평가하는 것으로 나타났다. 최종 유용성 평가의 최고점을 받은 제약 없는 서답형인 작문은, 구체적으로 구인타당도, 진정성, 상호작용성, 영향에서 가장 높은 평가를 받았으며 신뢰도, 실용성에서 가장 낮은 평가를 받았다. 반면, 최저점을 받은 선택형인 선다형은 신뢰도, 실용성에서 가장 높은 평가를, 구인타당도, 진정성, 상호작용성, 영향에서 가장 낮은 평가를 받았다.
본 연구 결과의 시사점은 다음과 같다.
첫째, 통합적 언어 능력의 활용을 유도하는 유형에 대한 예비 영어 교사들의 판단을 통해 예비 영어 교사들은 시험의 통제도가 낮은 문항일수록 언어의 통합적 기능의 활용을 유도하여 문법적 지식을 평가한다고 여김을 알 수 있다.
둘째, 통제된 서답형인 빈칸 채우기에 대한 예비 영어 교사들의 개인적 출제 선호도와 시험 유용성에 대한 평가가 높은 것을 통해, 예비 영어 교사들은 시험의 유용성이 높다고 판단하는 문항을 개인적으로도 출제하기를 선호함을 알 수 있다.
셋째, 예비 영어 교사들의 출제 선호도와 시험 유용성 평가 결과를 고려하였을 때, 예비 영어 교사들은 출제에 있어 신뢰도와 실용성을 중시하며, 이를 통해 타당도와 진정성보다는 효율성을 우선시하는 출제자들의 경향이 예비 영어 교사들에게도 있음을 알 수 있다.
넷째, 개인적 출제 선호도 및 비선호도, 현실적 출제 선호도 및 비선호도 사이의 비율 차이가 꽤 큰 것으로 미루어 보아 영어 문법 평가 문항 출제에 대한 예비 영어 교사들의 개인적 신념과 현실적 판단 사이에는 상당한 괴리가 있음을 알 수 있다.
평가 및 문항 제작에 관한 예비 영어 교사 교육을 강화함으로써 문법적 능력의 속성과 시험 과업의 속성에 대한 출제자의 이해를 증진하고, 교육 환경의 한계로 인한 교사의 신념과 수행 사이의 격차가 발생하지 않도록 교육 환경 조성에 힘써야 한다. 또한, 통합적 언어 능력 활용을 통한 영어 문법 평가를 위해 시험 목적에 적합하면서도 시험 유용성이 극대화된 문항을 개발하여 제안하는 노력이 필요하다.

목차 (Table of Contents)

• 제 1장 서론 1
• 1.1 연구의 배경 및 필요성 1
• 1.2 연구의 목적 4
• 1.3 논문의 구성 5
• 제 2장 이론적 배경 6
• 2.1 언어 시험에 대한 연구 6
• 2.1.1 언어 시험의 개념 6
• 2.1.2 언어 시험과 학습, 교수의 관계 7
• 2.1.3 언어 시험의 종류와 방법 8
• 1) 평가의 목적에 따른 분류 8
• 2) 객관식 평가와 주관식 평가 9
• 3) 직접평가와 간접평가 9
• 4) 분리 평가와 통합 평가 10
• 2.1.4 언어 시험의 역사와 현재의 방향 10
• 2.2 영어 문법 교육에 대한 연구 11
• 2.2.1 문법의 정의 및 영어 문법 교육의 중요성 11
• 2.2.2 문법 교육에 대한 시각적 차이와 현재의 방향 12
• 2.3 영어 문법 시험에 대한 연구 14
• 2.3.1 영어 문법 시험의 역할과 현재의 방향 14
• 2.3.2 우리나라 중‧고등학교 영어 문법 시험의 현실 16
• 2.4 영어 문법 시험의 유형과 문항 18
• 2.4.1 시험 유형의 차이가 교사와 학생에 미치는 영향 18
• 2.4.2 시험 유형의 종류와 특징 20
• 1) 시험의 유형 네 가지 20
• 2) 시험 유형별 평가 특징과 교육적 효과 크기에 관한 연구 21
• 2.4.3 아홉 가지 영어 문법 시험 문항과 유형별 문항 분류 22
• 2.4.4 시험 유형별 영어 문법 문항의 특징 26
• 1) 메타 언어적 판단 유형 26
• 2) 선택형 26
• 3) 통제된 서답형 28
• 4) 제약 없는 서답형 30
• 2.5 시험의 유용성 모델과 영어 문법 시험의 유형 31
• 2.5.1 시험의 유용성 모델 31
• 1) 신뢰도 33
• 2) 구인타당도 34
• 3) 진정성 35
• 4) 상호작용성 36
• 5) 진정성과 상호작용성의 공통점 37
• 6) 구인타당도, 진정성, 상호작용성의 관계 37
• 7) 영향과 역류효과 39
• 8) 실용성 41
• 2.5.2 네 가지 영어 문법 시험 유형이 가진 시험 유용성 속성 43
• 2.6 교사의 신념에 대한 연구 46
• 제 3장 연구 방법 48
• 3.1 연구 문제 48
• 3.2 연구 참여자 48
• 3.3 연구 도구 52
• 3.3.1 아홉 가지 영어 문법 평가 문항의 예시 52
• 3.3.2 연구 참여자의 배경에 관한 설문 53
• 3.3.3 영어 문법 평가의 필요성과 문항의 평가 방식 판단 설문 53
• 3.3.4 문항의 평가 효과성 판단과 출제 선호도 설문 54
• 3.3.5 영어 문법 평가 문항의 시험 유용성 평가 설문 56
• 3.4 자료 수집 절차 57
• 3.5 자료 분석 방법 58
• 제 4장 연구 결과 59
• 4.1 영어 문법 평가의 필요성과 문항의 평가 방식 판단 59
• 4.1.1 영어 문법 평가의 필요성에 대한 신념 59
• 4.1.2 영어 문법 평가 문항의 평가 방식에 대한 판단 59
• 4.2 문항의 평가 효과성 판단과 개인적‧현실적 출제 선호도 61
• 4.2.1 문항의 평가 효과성 판단 61
• 4.2.2 개인적 출제 선호도 64
• 4.2.3 현실적 관점의 출제 선호도 67
• 4.3 영어 문법 평가 문항의 시험 유용성 평가 70
• 4.3.1 신뢰도 70
• 4.3.2 구인타당도 77
• 4.3.3 진정성 79
• 4.3.4 상호작용성 81
• 4.3.5 영향 83
• 4.3.6 실용성 85
• 4.3.7 아홉 가지 영어 문법 평가 문항의 시험 유용성 점수 87
• 제 5장 결론 및 제언 89
• 5.1 연구 결과 요약 및 시사점 89
• 5.2 연구의 제한점 및 제언 97
• 참고문헌 100
• 부록 111
• ABSTRACT 123