시험 유용성 이론에 근거한 중학교 정기고사 타당도 검증

정연이 고려대학교 교육대학원 2016 국내석사

본 연구는 중학교 정기고사의 유용성을 구인 타당도, 신뢰도, 진정성, 상호작용성, 영향 측면에서 살펴보았다. 문항 분석은 코퍼스 프로그램을 이용한 어휘 난이도 분석과 가독성 분석을 통한 양적 접근, 그리고 원어민 강사들의 질적 분석을 통해 진행하였다. 또한 중학교 정기고사의 역류효과는 중학교 학생들을 대상으로 직접 설문조사를 실시하여 분석하였다. 본 연구의 결론은 다음과 같다. 첫째, 중학교 정기고사의 평가문항은 영어 의사소통 능력을 제대로 평가하고 있지 않다. 둘째, 중학교 정기고사의 평가문항의 난이도와 체제는 일관성이 없다. 셋째, 중학교 정기고사의 평가문항은 실제 의사소통능력이 요구되는 상황의 특성을 균형 있게 나타내지 않는다. 넷째, 중학교 정기고사의 평가문항은 수험자의 언어능력, 정의적 스키마, 명제적 지식이 언어시험을 수행하는 과정에서 잘 드러날 수 있도록 하지 않는다. 다섯째, 중학교 정기고사의 평가문항은 학생, 교사 및 사회와 교육체계에 긍정적인 영향을 미치지 않는다. 이 연구의 결과를 통해 중학교 정기고사의 유용성을 높일 수 있는 방법을 모색해보았다. 이 연구의 결과가 중학교 정기고사 출제에 있어서 큰 영향력이 있기를 기대한다.

영어 문법 평가 유형에 대한 예비 영어 교사의 신념

허진영 韓國外國語大學校 敎育大學院 2019 국내석사

This study aims to investigate the perception of Korean pre-service English teachers about English grammar testing types. In order to achieve the aim, the researcher conducted a survey of 172 pre-service English teachers majoring in English education in Seoul, Korea. The Survey was composed of 25 questions. The respondents needed to refer to 9 examples of English grammar tests to answer the questions. Suggested sample tests could be categorized according to 4 types of response required of the learner. The survey questions were 9 items on respondents’ background, 1 item on their belief in the need of evaluating grammatical knowledge, 1 item on their judgment on the way the sample tests assessing learners, 2 items on the test effectiveness, 2 items on their preference of test use from a personal view, 2 items on their preference of test use from a practical perspective, and 8 items on their evaluation on the test usefulness. The responses collected were analyzed using SPSS 18.0 including frequency analysis and Repeated Measures ANOVA. The results of the study were as follows. First, most of the pre-service English teachers thought that the one that measuring learners’ grammatical knowledge through four skills(reading, listening, speaking, writing) was written composition, which belongs to the free constructed response. Second, many pre-service English teachers chose grammaticality judgment tasks(metalinguistic judgments type) as the most effective one to measure learners' grammatical ability, while choosing multiple-choice(selected response type) as the most ineffective one. From a personal view, most of the respondents preferred to use gap-filling(constrained constructed response type) to test learners’ grammatical knowledge. From a practical perspective, most of them responded that they were likely to use multiple-choice(selected response type) to test learners’ grammatical competence. Third, the pre-service English teachers’ evaluations on the sample tests’ usefulness were high in the order of written composition(free constructed response type), gap-filling ‧ sentence combining ‧ paraphrase, completion, cloze(constrained constructed response type), error identification(selected response type), grammaticality judgment tasks(metalinguistic judgments type), and multiple-choice(selected response type). The written composition(free constructed response type) was scored highest in construct validity, authenticity, interactiveness, and impact, but lowest in reliability and practicality. Contrastively, multiple-choice(selected response type) was rated highest in reliability and practicality, whereas lowest in construct validity, authenticity, interactiveness, and impact. The implications of this study are as follows. First, the pre-service English teachers believe that the less controlled the test is, the more it assesses the examines’ grammatical knowledge in an integrative way. Second, taking account of the fact that respondents preferred to use gap-filling(constrained constructed response type) and regarded its test usefulness highly, it seems that they would like to use a test which they think to be useful. Third, however, there seems to be a considerable gap between their personal beliefs and practical judgments. Fourth, it seems that the considerations of reliability and practicality take precedence over those of other qualities for them, and this tendency is often observed from those of test users as well. By strengthening the pre-service English teacher training on the assessment and test development, we can improve their comprehension in the assessment processing and the characteristics of the test tasks. Also, by providing qualified educational settings, we can reduce differentials between teachers’ beliefs and performances. Further, by developing and offering tests that are appropriate to the purpose of the evaluation, and also have maximized test usefulness, we can improve the efficiency of testing students’ grammatical knowledge. 본 연구는 영어 문법 평가에 활용할 수 있는 평가 유형과 문항에 대한 중등 예비 영어 교사의 신념을 알아보는 것에 목적이 있다. 평가 목적에 적합하면서도 유용한 평가도구의 개발이 필요하지만, 이전의 연구들은 주로 평가도구의 난이도, 변별도, 측정 결과의 신뢰성과 같은 평가 문항 본연의 성격에 관해 분석하는 한계가 있었다. 따라서 본 연구는 미래의 출제자인 예비 영어 교사들이 영어 문법 평가와 유형에 관해 적절하게 이해하고 있는지 확인하고 평가 유형에 대해 어떠한 신념을 가졌는지 알아보고자 하였다. 본 연구는 서울시 소재의 H 대학교에서 교원 양성 프로그램에 참여 중인 예비 영어 교사 172명을 대상으로 설문 조사를 한 후 결과를 통계 분석하였다. 연구 문제에 대한 확인을 위해 사용한 연구 도구는 설문지이다. 설문을 위해 영어 문법 평가의 네 가지 유형(메타 언어적 판단 유형, 선택형, 통제된 서답형, 제약 없는 서답형)에 속하는 아홉 가지 문항의 예시(문법성 판단 과업, 선다형, 오류 확인, 완성형, 빈칸 메우기, 바꾸어 표현하기, 문장 연결, 빈칸 채우기, 작문)를 제시하였다. 예비 영어 교사가 영어 문법 평가의 필요성에 대해 어떠한 신념을 가졌는지 확인 후, 예비 영어 교사들은 제시된 문항 중 통합적 언어 능력의 활용을 바탕으로 문법 지식을 평가하는 문항, 평가 문항으로서의 효과성이 높은 문항, 개인적으로 출제를 가장 선호하는 문항, 현실적으로 출제 가능성이 높다고 생각하는 문항, 문항의 유용성(신뢰도, 구인타당도, 진정성, 상호작용성, 영향, 실용성)이 높은 문항이 무엇이라고 생각하는지 확인하기 위한 설문을 시행하였다. 수집된 설문 조사 결과에 대해 빈도 분석과 반복측정분산분석(Repeated Measures ANOVA)을 실시하였으며, 연구 문제는 다음과 같다. 첫째, 예비 영어 교사들은 영어 문법 평가의 필요성에 대해 어떠한 신념을 가지며, 제시된 영어 문법 평가 유형 중 통합적 언어 능력 활용을 통한 평가에 해당하는 유형이 무엇이라고 생각하는가? 둘째, 예비 영어 교사들이 평가 문항으로서 효과성이 높다고 생각하는 문항, 개인적으로 출제를 선호하는 문항, 현실적으로 출제 가능성이 높다고 생각하는 문항은 무엇인가? 셋째, 예비 영어 교사들이 시험 유용성이 높다고 평가하는 문항은 무엇인가? 연구 결과는 다음과 같다. 첫째, 대부분의 중등 예비 영어 교사는 영어 문법 평가가 필요하다고 생각한다. 예비 영어 교사들은 평가 시 언어의 통합적 능력 활용을 가장 효과적으로 유도하는 유형은 제약 없는 서답형, 언어 기능의 활용을 가장 제한하는 유형은 메타 언어적 판단 유형이라고 판단하였다. 둘째, 가장 많은 예비 영어 교사들이 학습자의 영어 문법 능력을 평가하기에 제일 효과적인 문항으로 메타 언어적 판단 유형인 문법성 판단 과업, 비효과적인 문항으로 선택형인 선다형을 골랐다. 예비 영어 교사들이 개인적으로 가장 출제를 선호하는 문항은 통제된 서답형인 빈칸 채우기이며, 가장 선호하지 않는 문항은 제약 없는 서답형인 작문으로 나타났다. 또한, 현실적으로 가장 출제 가능성이 크다고 생각하는 문항은 선택형인 선다형이며, 가장 출제 가능성이 작을 것으로 생각하는 문항은 제약 없는 서답형인 작문이었다. 셋째, 제시된 문항에 대한 예비 영어 교사들의 시험 유용성 평가 결과, 예비 영어 교사들은 제약 없는 서답형인 작문, 통제된 서답형인 빈칸 채우기‧문장 연결‧바꾸어 표현하기, 완성형, 빈칸 메우기, 선택형인 오류 확인, 메타 언어적 판단 유형인 문법성 판단 과업, 선택형인 선다형 순서로 시험의 유용성을 높게 평가하는 것으로 나타났다. 최종 유용성 평가의 최고점을 받은 제약 없는 서답형인 작문은, 구체적으로 구인타당도, 진정성, 상호작용성, 영향에서 가장 높은 평가를 받았으며 신뢰도, 실용성에서 가장 낮은 평가를 받았다. 반면, 최저점을 받은 선택형인 선다형은 신뢰도, 실용성에서 가장 높은 평가를, 구인타당도, 진정성, 상호작용성, 영향에서 가장 낮은 평가를 받았다. 본 연구 결과의 시사점은 다음과 같다. 첫째, 통합적 언어 능력의 활용을 유도하는 유형에 대한 예비 영어 교사들의 판단을 통해 예비 영어 교사들은 시험의 통제도가 낮은 문항일수록 언어의 통합적 기능의 활용을 유도하여 문법적 지식을 평가한다고 여김을 알 수 있다. 둘째, 통제된 서답형인 빈칸 채우기에 대한 예비 영어 교사들의 개인적 출제 선호도와 시험 유용성에 대한 평가가 높은 것을 통해, 예비 영어 교사들은 시험의 유용성이 높다고 판단하는 문항을 개인적으로도 출제하기를 선호함을 알 수 있다. 셋째, 예비 영어 교사들의 출제 선호도와 시험 유용성 평가 결과를 고려하였을 때, 예비 영어 교사들은 출제에 있어 신뢰도와 실용성을 중시하며, 이를 통해 타당도와 진정성보다는 효율성을 우선시하는 출제자들의 경향이 예비 영어 교사들에게도 있음을 알 수 있다. 넷째, 개인적 출제 선호도 및 비선호도, 현실적 출제 선호도 및 비선호도 사이의 비율 차이가 꽤 큰 것으로 미루어 보아 영어 문법 평가 문항 출제에 대한 예비 영어 교사들의 개인적 신념과 현실적 판단 사이에는 상당한 괴리가 있음을 알 수 있다. 평가 및 문항 제작에 관한 예비 영어 교사 교육을 강화함으로써 문법적 능력의 속성과 시험 과업의 속성에 대한 출제자의 이해를 증진하고, 교육 환경의 한계로 인한 교사의 신념과 수행 사이의 격차가 발생하지 않도록 교육 환경 조성에 힘써야 한다. 또한, 통합적 언어 능력 활용을 통한 영어 문법 평가를 위해 시험 목적에 적합하면서도 시험 유용성이 극대화된 문항을 개발하여 제안하는 노력이 필요하다.

Thymol 混濁試驗의 有用性에 關한 再評價

이명우 漢陽大學校 1977 국내석사

간호사 선발방법의 유용성 평가 연구 : A종합병원 채용시험 사례를 중심으로

김복자 한양대학교 행정대학원 1996 국내석사

토익 스피킹과 오픽의 유용성 비교

정윤이 고려대학교 교육대학원 2013 국내석사

현대사회에서 영어 의사소통 능력은 개인 및 국가의 경쟁력을 높이는 필수 요소로 자리잡았다. 이에 따라 영어 의사소통 능력을 객관적으로 검증하고 평가하려는 노력이 행해지고 있다. 토익 스피킹, 오픽, 아이엘츠, 토플 등이 그러한 평가 시험의 예인데, 우리나라에서는 주로 토익 스피킹과 오픽의 결과를 입시나 취업에 필요한 평가 기준으로 활용하고 있다. 따라서 두 시험에 대한 인식을 체계적으로 분석하여 시험의 유용성을 증대할 수 있는 방안에 대해 모색해 볼 필요가 있다. 이를 위해 본 연구에서는 두 시험의 유용성을 평가하기 위한 연구 문제를 설계하여 분석하고, 추가적으로 두 시험이 우리나라의 평가 분야에 미치는 경제적 영향을 연구하였다. 토익 스피킹과 오픽 등 다양한 종류의 영어 말하기 공인인증시험의 유용성을 평가한 선행연구를 보면, 시험의 문항별 유용성에 대한 세부적인 평가와 시험 내용 개선 방안에 관한 논의가 주로 다루어졌다. 그런데 토익 스피킹과 오픽을 주로 활용하는 수험자를 집단별로 구분하여 유용성을 평가한 연구는 없어서 두 시험을 활용하는 각 집단의 인식을 파악하고 체계적으로 비교하는 데에는 어려움이 있다. 따라서 본 연구에서는 영어 말하기를 학습하고 토익 스피킹과 오픽을 필요로 하는 성인 학습자들을 대상으로 시험의 유용성을 분석하고, 시험의 유용성을 높이기 위해 보완해야 할 사항들에 대한 시사점을 제시하고자 하였다. 본 연구에서는 토익 스피킹과 오픽의 유용성을 평가하기 위해 Bachman과 Palmer(1996/2004)가 제안한 Test Usefulness의 개념을 사용하였다. Bachman과 Palmer(1996/2004)는 시험의 유용성을 진정성, 영향, 상호작용성, 실용성 등의 개념으로 구분하여 각 영역에 대한 논리적 평가 기준을 마련하였다. 본 연구에서는 위의 유용성 평가 기준을 바탕으로 그 내용을 응답자들이 이해하기 쉬운 언어로 바꾸어 설문지를 제작하였다. 설문에 참여하는 응답자는 토익 스피킹과 오픽을 주로 사용하는 성인이며, 응답자를 학생, 직장인, 기업의 인사 담당자, 영어 강사로 분류하여 설문 결과를 분석하였다. 추가적으로, 두 시험이 우리나라의 평가 분야에 미치는 ‘경제적 영향’을 연구하기 위해 시험을 통해 얻는 이익과 시험에 소비되는 비용에 대한 질문을 포함하였다. 설문 결과에 따르면, 토익 스피킹과 오픽의 유용성에 대한 집단별 평가가 다르게 나타났다. 학생은 두 시험의 유용성에 대해 가장 높게 평가하였는데, 이는 학생이 시험을 주로 취업 및 진학 등의 선발에 필요한 도구로 활용하기 때문인 것으로 보인다. 두 시험의 ‘경제적 영향’과 각각의 유용성 평가 요인 간의 관계에 대한 분석에서는 두 시험의 ‘영향’이 경제적 영향과 가장 밀접한 연관이 있는 것으로 나타났다. 이러한 연관성은 두 시험과 관련된 영어 수업의 방식과 내용이 시험의 경제성에 영향을 미친다는 것을 보여준다. ‘경제적 영향’에 대해서는 여러 집단 중 기업의 인사 담당자와 영어 강사의 평가를 중심으로 살펴보았는데, 기업의 인사 담당자는 영어 강사에 비해 두 시험을 통해 얻는 경제적 영향을 낮게 평가하였다. 본 연구에서는 분석 결과에 따라 시험의 유용성과 경제적 영향을 높일 수 있는 방안을 모색해 보았다. 첫째, 시험의 유용성을 높이기 위한 방법적 측면으로 영어 말하기 시험 강의에 원어민 강사 배치를 확대하는 방안에 대해 고려해 볼 필요가 있다. 둘째, 토익 스피킹과 오픽의 시험 과제의 진정성을 높이기 위해, 기업의 업종별, 분야별 영어 업무 및 의사소통 내용을 체계적으로 분석하고 이를 시험 과제에 반영할 필요가 있다. 셋째, 영어 말하기 시험이 주로 기업에서의 선발 도구로 사용된다는 점에 근거하여, 시험에 기업 차원의 평가 기준을 적용하는 방안을 모색해 볼 필요가 있다. 넷째, 토익 스피킹과 오픽 등의 영어 말하기 시험이 효율적으로 활용될 수 있도록 기업 및 영어 교육기관, 국가 차원의 적극적인 지원이 필요하다. 마지막으로, 토익 스피킹과 오픽이 해외 기반 시험임을 염두에 두고, 국내 기반 시험인 NEAT 1급 시험이 이와 같은 해외 기반 시험을 대체할 수 있도록 하여 국내의 경제적 이익에 도움이 될 수 있도록 해야 한다. 토익 스피킹과 오픽 등의 말하기 능력 평가 시험은 실제 영어 의사소통 능력을 효과적으로 평가하기 위해 개발된 시험이다. 본 연구는 최근 선발의 도구로 활용되고 있는 토익 스피킹과 오픽을 중심으로 두 시험의 유용성을 높이기 위한 방안에 대한 시사점을 제공하고, 두 시험의 경제적 영향을 증대에 필요한 방법을 제시하였다는 점에서 의의가 있다.