영어 듣기 시험 방식이 수험 결과에 미치는 영향

김소영 고려대학교 교육대학원 2011 국내석사

The purpose of this study is to investigate the effects of listening test methods on test performance. This study is designed to determine desirable listening test methods of getting valid, unadulterated test score. This study focuses on the channel and sequence of test inputs based on Bachman's Test Method Facets theory and Test Usefulness, and the critical importance of testing methods by Choi, In-chull. Preliminary analysis compared effects of channel(oral vs. visual) and sequence(order and frequency of passage and question) for all data gathered. For further analysis, the data were separated according to two groups based on students' level producing different results when they were grouped. Following test delivery, students were each surveyed to gather personal perceptions of listening test methods they experienced. For this purpose, the study tests the following research hypotheses. (1) When the question and the passage of the input are presented twice, the test score will be higher. (2) When the choice of the input is presented orally, the difficulty of the test will increase. (3) The channel and sequence of the input will affect the test discriminability and the test reliability. (4) The effects of different testing methods on the listening test will differ according to student level. The major findings from the data results from 291 middle school students are as follows: (1) The frequency of the passage and the question affects the test discriminability and the test reliability. Listening test methods which present the passage and the question twice stimulate students' natural cognitive process, causing test authenticity to increase. (2) The channel of the input affects the difficulty of the test. When the input is presented visually, students' test-taking strategy using the visual information works to perform the listening task, and the test validity decreases. In contrast, when the input is presented orally, the amount of the information retained and the memory factor affect the test score. It decreases the test validity, too. (3) Sequence of the input affects both levels of ability more than the channel of the input. For higher level students, test discriminability and test reliability is greatest in the sequence of passage (oral) → question(visual) → passage(oral) → question(visual) → choice(visual). The lower level's test discriminability and the test reliability is greatest in the sequence of passage (oral) → question(oral) → passage(oral) → question(oral) → choice(visual). (4) The effects of different testing methods on the listening test differs according to student level. The frequency of the input increases discriminability of the results in higher level students. Oral presentation of choices results in low correctness. The results of the survey are as follows: (1) Students prefer visual presentation of choices because of their test-taking strategy or test-wiseness. (2) Students consider the visual presentation of choices to be more helpful than the two presentations of the passage and question. However, some others feel that visual presentation of questions does not provide an adequate assessment of listening ability. (3) A slight majority of students expressed desire to be tested in various ways. The remainder of students reported concern with unfamiliarity of new testing methods. (3) When the passage and the question is presented once, they feel burdened because of the great amount of information presented in a short time. (4) Lower level students feel challenged when input is presented orally because of the great amount of information to remember. (5) Many of the students agree to attempt various methods of test presentation in hopes of increasing English ability. According to the results of the study, the channel and sequence of the listening test input affect test performance in a different way according to student levels and their characteristics. Therefore, in order to maximize the validity of the listening test, the first thing seriously taken into consideration in the process of listening test development is to prevent unwarranted interference of presentation methods of the question, the passage and the choice. On the basis of the study results, some implications for more valid listening tests can be proposed as follows: (1) The passage and the question should be presented twice to get more valid measurements for both levels of listening ability. (2) The channel of the question should be strongly considered to make the listening test more valid. For most middle school students, visual presentation of the question can get more valid results. However, if student level is very advanced, it can be presented orally to maximize validity. (3) Except for the very low level students, it is more appropriate to present choices of the input orally to prevent students from illegal use of test- taking strategy. (4) There is no single perfect listening test method for all levels and characteristics of students. Therefore, it is necessary to develope various types of testing methods according to student ability to get the most valid test scores. 본 연구는 영어 듣기 시험 방식이 수험 결과에 미치는 영향을 비교․분석하여 수험자의 순수한 듣기능력을 측정할 수 있는 타당하고 바람직한 듣기시험방식을 모색하기 위한 연구이다. 본 연구는 Bachman의 시험방식양상과 평가 유용도 이론, 그리고 평가방식의 결정적 중요성에 대한 최인철의 주장, Shohamy의 시험 방식의 중요성을 이론적 배경으로 다음과 같이 실시되었다. 본 연구에서는 입력의 제시 경로(음성 vs. 문자)와 제시 순서가 수험자의 듣기 능력 측정에 미치는 영향을 비교․분석하기 위해 네 가지의 서로 다른 듣기시험방식으로 실시된 듣기 평가의 결과를 비교․분석하였다. 듣기시험방식이 수험 결과에 미치는 영향에 대한 연구의 타당성을 보다 심도 있게 확보하기 위해 수험자의 언어능력에 따라 상위권과 하위권 두 집단으로 수험자를 구분하여 두 집단의 각 시험 방식에 대한 수험 결과를 다시 비교․분석하였다. 또한, 설문을 통해 듣기 시험 방식에 대한 수험자의 인식을 조사하였다. 이 연구의 가설은 다음과 같다. (1) 듣기 시험에서 질문과 내용을 두 번씩 들려줄 때 측정 결과는 더 높게 나타날 것이다. (2) 듣기 시험에서 선택지가 음성으로 제시될 때, 평가의 난이도는 높아질 것 이다. (3) 입력의 제시 경로와 제시 순서는 평가의 변별도와 신뢰도에 영향을 미칠 것이다. (4) 듣기 시험 방식이 수험 결과에 미치는 영향은 수험자의 수준에 따라 다르게 나타날 것이다. 291명의 중학생을 실험 대상으로 얻은 자료의 분석 결과는 다음과 같다: (1) 듣기 시험에서 질문과 내용의 제시 횟수는 평가의 변별도와 신뢰도에 영향을 미친다. 내용과 질문을 두 번씩 제시하는 시험 방식은 수험자가 자연스러운 인지 과정을 거쳐 놓친 정보를 다시 듣고 확인할 수 있는 기회를 제공하기 때문에 시험의 난이도는 낮추고 실제성은 높인다. (2) 입력의 제시 경로는 평가의 난이도와 타당도에 영향을 미친다. 입력이 문자로 제시될 때, 수험자의 수험 전략이 수험 과정에 개입하여 순수한 듣기 능력 측정을 방해하기 때문에 평가의 타당도를 낮추는 결과를 초래한다. 반면에, 입력이 음성으로 제시되면, 수험자가 기억해야 할 입력의 양이 증가하기 때문에 수험자의 기억 능력 요인이 평가의 결과에 영향을 미쳐 평가의 타당도는 낮아진다. (3) 상위권과 하위권 집단 모두 입력의 제시 경로보다는 입력의 제시 순서의 영향을 더 많이 받는다. 상위권 집단은 ‘내용(음성) → 질문(문자) → 내용(음성) → 질문(문자) → 선택지(문자)’의 시험 방식에서 변별도와 타당도가 가장 높게 나타났고, 하위권 집단은 ‘내용(음성) → 질문(음성) → 내용(음성) → 질문(음성) → 선택지(문자)’의 시험 방식에서 변별도와 타당도가 가장 높게 나타났다. (4) 듣기 시험 방식이 상위권과 하위권 집단의 수험 결과에 미치는 영향은 다르게 나타난다. 입력의 제시 횟수의 증가는 상위권 집단의 변별도를 높였고, 선택지의 음성 경로 제시 방식은 하위권 집단의 정답률을 낮추었다. 시험 방식에 대한 만족도에 대한 설문 조사 결과는 다음과 같다: (1) 다수의 학생들은 수험 전략을 사용하여 듣기 시험의 난이도를 낮출 수 있으므로 선택지가 문자로 제시되는 방법을 선호한다. 반면에, 다른 일부 학생들은 문자로 제시된 질문과 선택지 때문에 진정한 듣기 능력 평가가 이루어지기 어렵다고 생각한다. (2) 학생들은 선택지의 제시 경로가 문자인 시험 방식이 내용과 질문이 두 번씩 제시되는 시험 방식보다 수험 과정에 더 도움이 된다고 생각한다. (3) 새로운 듣기 평가 방식이 낯설어서 불편하다고 생각하는 학생들 보다 다양한 방식의 듣기평가에의 노출을 긍정적으로 받아들이는 학생들의 수가 조금 더 많았다. 일부 학생들은 새로운 방식의 듣기 평가가 자신들의 영어 실력 향상에 도움이 될 것이라고 기대했다. (4) 듣고 기억해야 하는 정보의 양의 증가하기 때문에, 내용과 질문이 한 번만 제시되는 시험 방식에 대해 학생들은 부담을 느꼈다. 하위권 집단은 입력이 음성으로 제시되는 경우, 기억력에 대한 부담을 크게 느꼈다. (5) 질문이 문자로 제시되는 경우, 정확하게 질문을 파악할 수 있어서 도움이 된다는 의견과 문자로 제시된 질문을 보고 내용을 미리 예측한 후 일부 필요한 정보만 듣게 되기 때문에 듣기 과정에 방해가 된다는 의견이 비슷하게 공존했다. 연구 결과에 따르면 듣기 시험방식에서 입력의 제시 경로와 횟수는 수험자의 언어 능력 수준에 따라 다른 영향을 미친다. 그러므로 듣기 시험 제시 방식과 수험자의 수험 전략의 상호작용이 듣기 평가 결과에 미치는 영향을 고려할 때, 수험자의 특성에 따른 다양한 시험 방식의 개발에 대한 노력이 시급하다. 듣기 시험의 타당도를 최대화하기 위해 평가의 개발 단계에서 최우선적으로 고려되어야 할 것은 입력의 제시 방식에 따른 부당한 간섭을 방지하는 것이다. 본 연구의 결과를 바탕으로 한 타당한 듣기 평가 방식을 위한 제언은 다음과 같다: (1) 타당한 듣기 능력을 측정하기 위해서는 상위권과 하위권 집단 모두에게 내용과 질문이 두 번씩 제시되는 방식이 더 바람직하다. (2) 질문의 제시 경로는 듣기 평가를 더 타당하게 하기 위해 심각하게 고려되어야 한다. 중학생들을 대상으로 하는 듣기 시험에서는 질문이 문자로 제시될 때 더 타당한 결과를 얻을 수 있다. 그러나, 수험자의 수준이 아주 높은 경우, 평가의 타당성을 최대화하기 위해 질문 또한 문자로 제시할 수 있다. (3) 수험자의 언어능력 수준이 아주 낮은 경우를 제외하고는 수험 과정에 개입될 수 있는 학생들의 부당한 수험 전략을 사전에 방지하기 위해 선택지를 음성으로 제시하는 시험 방식이 더 적절하다. (4) 다양한 수준과 특성을 가지고 있는 모든 학생들에게 통용될 수 있는 단 하나의 완벽한 듣기 시험 방식은 존재하지 않는다. 수험자의 수준과 특성을 고려한 다양한 평가방식이 개발되어야 한다.

영어 독해시험의 일지문 일문항과 일지문 다문항의 효과성 비교

이성옥 고려대학교 교육대학원 2012 국내석사

영어 독해 평가방식은 크게 두 가지로, 한 지문에 한 문제가 제공되는 일지문 일문항(OPOI: One Passage One Item, 최인철, 1997)과 한 지문에 여러 개의 문제가 제공되는 일지문 다문항(OPMI: One Passage Multiple Items)이 있다. 시험의 타당도 측면에서 OPOI와 OPMI로 인한 국부독립성(Local Independence)과 국부종속성(Local Dependence)여부는 독해평가에 영향을 미친다. 지문이 포함하는 배경지식, 문제와 문제 간의 관계, 풀이 전략 등은 개개인의 인지능력의 차이에 따른 것으로 이는 시험 도구가 의도하는 바, 진정한 독해력 측정에 방해 요소가 된다. 본 연구에서는 피험자 개개인의 배경 지식, 학습 정도 여부와 인지 능력이 독해 평가 수행 시, 영향을 끼친다는 가설을 OPOI를 채택한 TEPS와 OPMI를 채택한 TOEFL지문을 각각 제공하고 그 결과를 분석함으로 증명하고자 하였다. 연구 집단으로 대다수의 강의가 영어로 이루어지는 이공계 K대학과 특정 일부 학과에서만 영어강의가 진행되는 일반 C 대학을 수험집단으로 삼았다. OPOI 방식에 따른 결과는 K대학과 C대학의 양 집단의 평균에는 상당한 차가 있으나, 표준편차는 거의 동일하다(평균- K대학: 20.8785, C대학: 13.8394/ 표준편차- K대학: 5.27394, C대학: 5.29461). 이는 각 집단 의 수준과 관련 없이, 집단 내 수험자들의 수준이 비슷하다는 것을 의미한다. 반면 OPMI의 경우, K대학과 C대학의 양 집단 평균에 상당한 차가 있을 뿐만 아니라, 표준편차 또한 두드러지게 차이가 난다(평균- K대학: 19.6717, C대학: 12.0219/ 표준편차- K대학: 6.65222, C대학: 4.73328). 평소에 영어를 도구적 목적으로 다루는 K대학의 수험자 개개인의 학습, 인지능력의 차이에 대한 반응도가 영어에 노출될 기회가 거의 없는 C대학 수험자들에 비하여 많이 난다는 것을 나타낸다. 한편, 설문 조사의 학습자 유형에 따른 항목(1-TEPS 학습자, 2-TOEFL 학습자, 3- TEPS, TOEFL 학습자, 4- 무학습자)에서 TEPS와 TOEFL 모두 학습한 3번 유형의 수험자들이 가장 높은 평균을 기록하였다. 이유로는, OPOI와 OPMI를 모두 학습, 익숙해졌고 이를 통해 독해실력 자체가 상승된 것으로 해석할 수 있겠다. 또한 ‘본인은 OPOI와 OPMI 중 어떤 유형이 더 편한가요?’에 대한 결과로, 수험자들은 학습 유형에 상관없이 OPOI 방식을 더욱 선호하는 것으로 나타났다. OPMI 방식을 불편하다고 생각하는 수험자 대부분은 긴 지문에 심리적 부담을 느끼는 것으로 나타났으며 국부종속으로 인한 부당한 이익을 감지하고 있었다. 반면, OPOI가 어렵다고 생각한 이유로 OPMI 학습자들은 국부종속에 의해 맥락만 파악하면 쉽게 풀이할 수 있는 이점에 충분히 만족감을 느끼고 있었다. 실험 결과와 설문조사는, 영어 독해평가의 타당도 측면에서 비교적 짧고 그다지 전문적이지 않은 내용을 포함하는 지문과 그에 따른 한 문항만이 제시되는 OPOI가 긴 지문에 심도 깊은 내용을 포함하고 여러 문항이 동시 제시되는 OPMI보다 객관성을 띠는 것으로 나타나고 있다.

Coxsackie and adenovirus receptor is essential for tight junction assembly and trophectoderm formation during early mouse embryo development

정예린 忠南大學校 大學院 2016 국내석사

Coxsackie and adenovirus receptor (CXADR) is expressed in epithelial cells and is involved in tissue regeneration, cell-cell junction including tight junction In human embryogenesis, CXADR was detected during preimplantation development and co–localized with tight junction (TJ) proteins . I investigated the expression of CXADR in mouse early embryos to identify the functional roles in blastocyst development in terms of tight junction biogenesis. To determine the biological function, I depleted maternal and zygotic Cxadr transcripts using RNAi approach. In Cxadr knockdown(KD) embryos, a decrease in blastocyst development rates was observed. I also found that tight junction associated genes and proteins were down-regulated, and paracelluear sealing was defected in the KD embryos. Furthermore , outgrowth assay and embryo transfer experiment demonstrated defects of TE development indirectly and failure of post-implantation development directly. To understand constituent of tight junction assembly, I depleted ADAM10 (A Disintegrin And Metalloproteases reported to be involved in cxadr ectodomain cleavage. Adam10 affacted blastocyst formation via tight junction assembly with Cxadr using proximility ligation assay.CXADR affects establishment of TJ complex and TE development during early embryo development and pregnancy. oxsackie and adenovirus receptor (CXADR)는 상피세포에 발현되며 조직 재생, 세포와 세포 사이에 접합 및 인간 배아 발달에서 밀착 연접(Tight junction)에 관여 한다고 알려져 있다. 인간 배아 연구에서 CXADR은 착상 전 배아 발달 동안에 발현되고 tight junction 단백질과 같은 위치에 존재하는 것을 확인 했다. 본 연구에서는 마우스 배아 발달 과정 중 CXADR 의 발현 패턴과 blastocyst 형성 및 tight junction 형성 등 기능적인 역할을 분석하려 하였다. 생물학적 기능을 확인하기 위해 CXADR RNAi approach 를 이용해 maternal, zygotic CXADR 를 Kd 하였다. CXADR Kd 배아 에서 blastocyst 발달이 감소gk며 tight junction 와 trophetoderm 형성과 연관된 gene의 발현이 감소되는 것을 확인 하였다. 또한 outgrowth assay 와 Embryo Tranfer assay 를 통해 Trophectoderm(TE) 형성 및 착상 후 발달이 정상적으로 이루어 지지 않음을 확인 하였다. CXADR ectodomain 분해 효소로 알려진 adam10 (A Disintegrin And Metalloproteases) 를 이용해 Tight junction assembly의 구성을 확인해 보았다. Adam10 은 CXADR 와 interaction 하며 blastocyst 형성과 tight junction에 영향을 미치는 것을 확인하였다. 본 연구는 CXADR이 마우스 배아 발달 과정 중 Tight junction complex , Trophectoderm 형성에 영향을 미치며 착상에 관여함을 증명하였다. 건강한 배아의 선택은 가축의 인공 수정율을 증가 시키기 위함에 있어 필수적이며 나아가 인간에게 있어서 단일 배아의 선택은 다태아 형성을 줄일 수 있는 요인이 된다. 대단위 동물 또는 인간 배아에서 이러한 연구가 진행된다면 cxadr 유전자가 정상적인 배반포 형성 및 착상을 위한 마커로 쓰일 수 있을 것으로 예상된다.

중학교 영어 말하기 수행평가의 채점자 신뢰도 및 학생과 교사의 인식

염지연 고려대학교 교육대학원 2011 국내석사

2008년 교육과학기술부는 국가영어능력평가시험의 개발을 발표하였고 이것은 대학입시에서 말하기와 쓰기 영역을 최초로 평가한다는 점에서 영어교육계의 큰 패러다임의 변화를 예고하고 있다. 학교 현장에서는 1998년에 ‘수행평가’라는 용어가 사용된 이래 제 7차 교육과정의 도입과 함께 영어 말하기 시험이 본격적으로 실시되고 있다. 수행평가가 실시됨과 동시에 많은 연구들이 쏟아져 나왔고 많은 문제들이 제기되었다. 이 시점에서 학교 현장에서 말하기 평가가 잘 시행되고 있는지 현 주소를 살펴보고 재점검해 볼 필요가 있다. 본 연구는 수행평가의 채점자인 교사에 초점을 두어 채점자 요인이 말하기 평가의 신뢰도에 영향을 미치는지 알아보는 데 목적이 있다. 교사들이 채점한 말하기 평가 점수를 분석한 후, 교사와 학생들을 대상으로 설문조사를 실시하여 우리나라 교육 실정에 맞는 말하기 수행평가의 개선점을 제안하고자 한다. 구체적인 연구 내용을 살펴보면 다음과 같다. 첫째, 실제 중학교 말하기 수행평가 점수의 채점자에 따른 점수 변화를 관찰하였다. 둘째, 학생들을 채점자에 따라 두 그룹으로 나눠 SPSS WIN 12.0 프로그램을 사용하여 점수를 분석하였다. 셋째, 말하기 수행평가의 흥미도, 만족도, 난이도, 필요성 등과 관련하여 설문지를 통해 학생들의 영어능력 차이에 따른 인식의 차이를 조사하였다. 넷째, 말하기 수행평가의 실시방법, 효과, 만족도 등에 대해 교사를 대상으로 설문조사를 하였다. 마지막으로, 말하기 수행평가의 문제점과 개선점에 대한 교사와 학생의 인식을 알아보았다. 이러한 연구를 통해 다음과 같은 결과를 얻었다. 첫째, 일원변량분석 결과 교사A가 채점한 2회의 말하기 수행평가 점수간의 차이는 없는 것으로 나타났으나 교사A와 교사B가 채점한 점수 간에는 차이가 있는 것으로 나타났다. 둘째, 독립표본 검정 결과, 교사A와 교사B가 채점한 말하기 평가의 집단 간 점수 변화에 유의미한 차이를 보였다. 셋째, 상관관계 분석 결과 교사A가 채점한 2회 채점 점수 간에는 통계적으로 유의미한 상관이 있었으나, 교사A와 교사B가 채점한 점수 간에는 낮은 상관관계를 보였다. 넷째, 학생들은 수행평가의 반영비율, 필요성, 채점기준에서 영어능력 차이에 따른 인식의 차이는 없었다. 다섯째, 말하기 수행평가의 만족도, 채점의 공정성, 효과, 흥미도 변화, 난이도 등에 대한 인식에서는 학생들의 영어능력 차이에 따른 인식의 차이가 있었다. 여섯째, 교사는 현재 말하기 수행평가의 운영에 있어 현실적 제약으로 의사소통적 수행평가가 이루어지지 않음을 지적하였다. 마지막으로, 말하기 수행평가의 문제점 및 개선점에 따른 교사와 학생의 인식차이에서는 주목할 만한 차이점을 보였다. 이와 같은 연구결과를 바탕으로 효과적인 말하기 수행평가 실시를 위한 다음과 같은 제언을 하고자 한다. 첫째, 말하기 수행평가 채점에서 2인 이상의 복수 채점을 원칙으로 해야 한다. 둘째, 복수 채점을 하기에 교사 수급문제가 걸림돌이 된다면 채점자 연수를 철저히 실시한 후 1인 채점을 권장한다. 셋째, 영어교사들을 대상으로 평가자로서의 교사 연수가 체계적으로 이루어져야 한다. 마지막으로 최인철(2005)이 제안한 COPI를 학교 현장에서 활용할 수 있도록 체계적 연구가 이루어진다면, 채점자의 신뢰도를 높일 수 있을 뿐 아니라 실용성의 문제까지 극복할 수 있는 대안이 될 것이다.

Identification of procine TRAF4 mRNA sequences and expression patterns

윤정희 충남대학교 2019 국내석사

중학교 EBS 영어듣기평가 및 서울시 영어듣기평가 문항 분석

김태희 고려대학교 교육대학원 2018 국내석사

현재 우리나라 전국 대부분의 중·고등학교 현장에서 학생들의 영어듣기능력을 평가하는 것은 EBS 영어듣기평가를 통해 이루어지고 있으나, 서울에 있는 대부분의 중학교에서는 서울영어교과교육연구회(서울SETA)가 주관하는 별개의 영어듣기평가가 시행되고 있다. 서울SETA는 서울시 11개 지역교육청이 관할하는 각 지역별로 지회가 구성되어 있으며, 각 지회가 독립적으로 또는 2개 이상의 지회가 공동으로 평가문항을 출제하여 개별적인 일정으로 영어듣기평가를 실시하고 있다. 본 연구에서는 2016년에서 2017년까지 중학교 전 학년에 걸쳐서 시행된 EBS 영어듣기평가와 서울SETA 주관으로 시행된 영어듣기평가 중 2개 지회(편의상 A, B지회로 지칭)의 영어듣기평가 문항을 비교분석해보았다. 이 총 세 종류의 영어듣기평가 문항을 2009 개정교육과정의 듣기 성취기준 및 Peterson(1991)의 듣기과업 분류에 따르는 듣기 이해과정에 따라 분석해 보았으며, 이와 더불어 발화속도 비교와 함께 코퍼스를 기반으로 한 텍스트 어휘 난이도도 비교 분석해보았다. 첫째, 2009 개정 교육과정이 제시하는 듣기 성취기준을 기준으로 분석한 결과, 전 학년에 걸쳐 EBS, 서울 A지회, 서울 B지회의 영어듣기평가 모두 세부내용을 파악하는 문항들이 가장 높은 비율을 차지하고 있었고, 그 다음으로 중심내용을 파악하는 문항, 과업을 수행하는 문항, 흐름을 파악하는 문항의 순이었다. 또한 세 가지 영어듣기평가 모두 세부내용을 파악하는 문항의 비율이 전 학년에 걸쳐 약 50%내외를 차지하고 있어 편중이 심한 편이었다. 둘째, Peterson(1991)의 듣기과업 분류에 따라 문항들을 분석해 본 결과, 세 가지 영어듣기평가 모두 전 학년에 걸쳐서 상향식 듣기 이해과정을 요구하는 문항의 비율이 약 50%내외를 차지하고 있었고, 이 중 B지회의 평가에서 상향식 듣기와 관련된 문항 편중이 좀 더 심한 편이었다. 그 다음의 순위는 공통적으로 하향식, 상호작용적 과정이었다. 셋째, 발화 속도를 분석해 본 결과, EBS 영어듣기평가의 평균 발화 속도는 전 학년에서 Slow에 해당하는 것으로 나타나 가장 느렸고, 서울 A지회와 B지회는 Moderately Slow에 해당하는 속도였는데 B지회가 A지회보다 더 빠른 발화 속도를 보였다. 넷째, 코퍼스 기반 텍스트 분석 결과, 대체적으로 EBS 듣기 텍스트의 Tokens의 크기가 가장 작은 편이었고, B지회는 가장 큰 편이었으며, TTR은 전반적으로 EBS가 가장 높은 편에 속했다.

중학교 영어 수준별 수업 내 협동학습의 효과성 : 중3 상·하반 비교를 중심으로

김지은 고려대학교 교육대학원 2018 국내석사

7차 교육과정에서 도입된 수준별 수업은 실제 운영의 결과 하위집단 학생들의 부정적 정서 및 적합한 교수방법의 결여 등과 같은 문제점에 직면하였다. 이에 따라 본 연구에서는 학생들의 학업성취 및 정서적 영역에 긍정적 영향을 미치는 협동학습 모델을 수준별 수업의 적절한 교수방법으로 제안하며, 한국의 중학교 영어 수준별 분반수업에서 협동학습의 효과성을 교사중심의 전통학습과 비교하여 면밀히 검토하였다. 특히 기존의 협동학습을 적용한 수준별 수업 연구의 대부분은 특정 수준집단을 대상으로 하였다는 한계가 있으므로, 본 연구에서는 서로 다른 수준집단(상․하반)을 비교 연구하였다. 2016년 서울 강동구의 S중학교 3학년 학생들을 대상으로 동일 교수자가 1학기에 상반(N=120), 2학기에 하반(N=65)의 수업을 담당하였으며, 통제집단 없이 각 수준집단에서 단원별로 협동학습과 전통학습을 교차 적용하였다. 매 단원마다 사전검사와 사후검사를 실시하여 검사 간 향상점수를 통해 특정 교수법의 효과를 측정하였고, 각 학기 말에는 간단한 설문조사를 통해 수준별 수업 내 특정 교수법에 대한 학생들의 주관적인 의견을 조사하였다. 연구의 결과 수준집단과 교수법이 상호작용하여 학생들의 향상도에 미치는 영향이 있는 것으로 밝혀졌다. 수준별 수업의 상‧하반 모두 협동학습을 실시하였을 때 학생들의 향상도가 더 높았으며, 협동학습의 효과는 상반보다 하반에서 더 크게 나타났다. 또한 설문조사 결과 상반의 52.2%와 하반의 79.7%가 협동을 통한 이해, 소통, 즐거움 등을 이유로 협동학습을 선호한다고 응답하였다. 즉 협동학습이 수준별 수업 내 하위집단의 부정적 정서를 양산하지 않으면서 상반 뿐 아니라 학습의욕과 동기가 낮은 하반에서도 긍정적 효과를 나타냄이 밝혀졌다. 본 연구를 통해 영어교사들이 수준별 수업 내 협동학습의 효과성을 명확히 인식하고, 앞으로의 교육현장에서 수준별 수업 내 적합한 교육방법을 제시하기 위한 적극적인 노력이 이루어지기를 기대한다. In an attempt to diversify teaching method and curriculum of second language education, cooperative learning and differentiated curriculum have been on the rise. In Korea, however, teacher-centered education has been still pervasive in the classroom. At the same time, the results of implementing differentiated curriculum have indicated some problems such as negative emotional experience of low-level students, lack of adequate teaching method, etc. Based on the situation, this study suggests cooperative learning as the proper teaching method for differentiated curriculum since cooperative learning has been reported to have positive effects on students’ academic achievement as well as their affective domain. The purpose of this study is to closely examine the effects of cooperative learning in level-differentiated English classes in Korean middle school. In order to investigate the effects, 120 high-level students and 65 low-level students, 3rd graders of middle school, were selected as the subjects of the study. The same teacher(researcher) taught high-level classes in the first semester and low-level classes in the second semester. Since there was no experimental group, the teacher applied two teaching methods(cooperative learning and traditional learning) alternately to each lesson unit. Pre-test and post-test were given to students before and after every unit so that the effect of certain teaching method could be measured by the improved score from the two tests. At the end of each semester, simple survey was conducted to investigate students’ opinions on the certain teaching method. SPSS software was used in result analysis. The results of this study are summarized as followings. First, the level of group and teaching method had an interaction effect on students’ improvement. Second, in both levels of group, students’ academic improvement was meaningfully higher in cooperative learning than in traditional learning. Third, in the condition of cooperative learning, low-level students showed greater improvement than high-level students. According to the results of the survey, 52.2% of the high-level students and 79.7% of the low-level students preferred cooperative learning on the grounds of better understanding, communication, concentration, participation, collaboration and fun. The points that not only high-level students but also low-level students preferred cooperative learning and that the preference of low-level students was greater than that of high-level students imply that cooperative learning can be an effective teaching method in differentiated classes resolving the problem of negative emotion of low-level students. On the other hand, 47.8% of high-level students and 20.3% of low-level students responded that they liked traditional learning better since they felt discomfort in working as a team. On the basis of the results of this study, some suggestions are provided to those teachers who teach differentiated classes. First, teachers have to make an effort to provide proper teaching method to the low-level students as well as the high-level students in order to make differentiated education more effective. Second, for the successful implementation of cooperative learning, teachers need to understand the principles and structures of cooperative learning in advance. Third, the psychological discomfort that students may have in cooperative learning should be minimized. To make this possible, both individual student’s personality and the relationships between one another should be considered when grouping students. Teachers should also create a comfortable and warm atmosphere in which students help each other without any negative pressure.

Validation of the criterion-referenced English assessment in the college scholastic ability test (CSAT) in Korea

서원화 Graduate School, Korea University 2018 국내박사

ABSTRACT Validation of the Criterion-referenced English Assessment in the College Scholastic Ability Test (CSAT) in Korea Wonhwa Seo This study is aimed at validating the English domain of the newly implemented Criterion-referenced College Scholastic Ability Test (CR-CSAT). As the English section of CSAT greatly influences on test-takers, English classrooms, and general English education in Korea, validation of the CSAT is required for successful implementation of the CR-CSAT. This study investigated the new criterion-referenced English test in the CSAT (CR-CSAT) in terms of the framework of test usefulness by Bachman and Palmer (1996). Usefulness consisted of six qualities: reliability, construct validity, authenticity, interactiveness, impact, and practicality. The study first explained the specifications of the test, including test environment, format, and language input, and evaluated its usefulness regarding five tests qualities of the CR-CSAT: reliability, construct validity, authenticity, interactiveness, and the impact on test-takers, teachers, and education. To evaluate construct validity of the CSAT, CSAT samples from 2014 to 2018 were selected and examined. Regarding lexical input over time, there were fluctuations observed in tokens, types, and type token ratio of all sections examined. Such fluctuations and inconsistencies have an adverse effect on the exam fairness and reliability as they fail to consider that the same test-taker who did well in one test could face failure in the next. The task types employed throughout the exams are very limited: both tests include multiple-choice questions which may enhance objectivity and reliability but fail to measure ‘true communicative skills.’ The language input of listening subtest was composed of mainly low level vocabulary while the vocabulary of reading subtest was high. To examine reliability of the CR-CSAT, the researcher conducted a number of analyses. Grade level and test score data from 1,226 students who participated in the simulated CSAT in June, 1,218 students who participated in the simulated CSAT administered in September, and 1,195 students who took the 2018 CSAT were analyzed. Analyses included qualitative analyses of test content and quality, a correlation analysis of the test scores, and an item analysis based on CTT and IRT collected from the two mock CSATs and the 2018 CSAT. Results of this study based on CTT and IRT analyses revealed that the difficulty and discrimination of the listening subtest items were very low whereas some reading test items were extremely difficult but their discrimination power was very low. These items need revision. Items with the low degree of difficulty and discrimination were allocated three points while some difficult items were assigned two points. As a result of this problematic score scaling, test-takers within a higher ability parameter obtained a lower scaled score than those within a lower ability parameter. It is desirable to revise test items which are extremely easy or difficult and inappropriately discriminate in order to design more reliable test items. Three native English-speaking instructors were invited to examine the test items of the CSATs from 2014 to 2018. The results revealed that although the CSAT had relatively high internal reliability, the consistency between the tests of different years and the test discriminability did not reach a satisfactory level. Some test items that require revision were found through both quantitative and qualitative item analyses. For the evaluation of the authenticity and interactiveness analysis, six raters were asked to score the degree of authenticity and interactiveness of test item types of the 2018 CSAT and indirect speaking type was found to have the lowest degree of authenticity and interactiveness. On the other hand, the item types of understanding details and understanding context in both listening and reading comprehension displayed high degrees of authenticity and interactiveness. Overall the reading subtests’ authenticity and interactiveness were higher than those of the listening subtest. Raters’ qualitative review supported the results of quantitative analysis. Concerning the representation of national curriculum, the subject matters of the listening subtest were confined to general and familiar topics whereas subject matters of the reading subtest were concentrated on specified academic topics such as social studies or natural sciences. A diversification of topics needs to be considered when designing the CSAT. Finally, a survey of teachers’ and students’ perceptions toward the 2018 CR-CSAT was conducted using a questionnaire survey collected from 372 high school students and 102 secondary school teachers. A descriptive analysis of the questionnaire results was completed. It indicated that the CSAT has substantial impacts on English teaching and learning in high schools. The survey results revealed that high school students and English teachers’ perception of the CSAT in terms of test usefulness: reliability, construct validity, authenticity, interactiveness, and impact. One noticeable result was that the two groups both did not think that the 2018 CSAT contributed the equality of English education, decreased private education cost, or changed language teaching and learning. From the qualitative analysis of the high school English teachers’ responses, the number of students who applied to English in after-school program reduced significantly after the implementation of the 2018 CSAT. Also, the number of English class hours decreased. English teachers who participated in the written interview provided alternatives for successful implementation of the CR-CSAT and normalization of the public English education. The findings from this study provide opportunities to explore pedagogical implications for entrance test developers and education policy makers in Korea in regards to exam quality and methods. The CSAT should be developed by including test items more related to the current national English curriculum and by fulfilling the need for construct validity, authenticity, and positive impacts on both candidates and society. It is important that the various voices of the stakeholders are known to the public in order to promote further discussion on how to improve test quality and to normalize public English education. This study will contribute to validate the first implemented 2018 CR-CSAT based on the Bachman & Palmer’s test usefulness framework. Finally, it is hoped that the study’s comprehensive investigation of the test qualities of construct validity, reliability, authenticity, interactiveness, and impact by analyzing quantitative and quantitative data will raise the awareness of different stakeholders of the CSAT.

Content analysis of employment exams for secondary English teachers in Korea from 2009 to 2017 based on target language use

나가향 Korea University 2018 국내석사

This study is aimed at investigating the content of Employment Exams for Secondary English Teachers in Korea based on Target Language Use (TLU). This paper examined whether Employment Exams headed towards the right direction regarding their content from 2009 to 2017. A survey was given to 41 English teachers and 66 English teacher candidates to investigate their ideas about usefulness of Employment Exam. Based on the survey results and theoretical background, this study conducted quantitative and qualitative content analysis. The researcher sorted a total of 309 items in the exams from 2009 to 2017 according to their item types and academic fields. Each year of the exams was then analyzed for their exam format, the ratio of pedagogical and curriculum content, and the ratio of the four academic fields. These aspects were utilized to investigate the examination trend and reliability of the exams for nine years. Also, this study examined the usefulness of items in Employment Exam in 2017 in terms of their construct validity, authenticity, and interactiveness. Findings and new insights from the research results are suggested. 본 연구는 중등 영어과 임용시험의 내용을 Bachman과 Palmer가 제시한 Target Language Use에 근거해 분석하고, 바람직한 임용시험의 방향을 모색하고자 한다. 본 연구는 2009년도부터 2017년도까지 과거 9년간 임용시험의 경향과 신뢰도를 분석하고, 2017년도 임용시험 문항의 유용성을 구인타당도, 진정성, 상호작용성의 세 가지 속성을 이용해 질적 분석하였다. 또한 설문조사를 실시하여 41명의 영어교사와 66명의 예비영어교사의 임용시험 각 부문의 유용성에 대한 의견을 알아보았다. 이들은 임용시험의 영어교육학, 영어학, 영문학, 일반영어 부문을 공부한 것이 실제 중등교육 영어수업현장에서 교사에게 얼마나 유용한지 응답하였다. 연구 결과는 다음과 같다. 첫째, 영어교사와 예비영어교사 모두 영어교육학 부문의 유용성이 제일 높다고 판단하였고, 영어학과 영문학의 유용성은 비교적 낮다고 응답하였다. 둘쨰, 과거 9년간 임용시험의 경향을 양적 분석한 결과, 문항유형은 일정한 문항수를 유지해 그 신뢰도는 비교적 높았다. 셋째, 영어교육학은 거의 매년 가장 높은 비중을 차지했고, 점점 더 그 비중이 커져 2017년도 임용시험에서 역대 가장 큰 비중을 보였다. 그와는 반대로 영문학은 매년 제일 낮은 비중을 차지했고, 그 비중은 9년간 큰 폭의 변화 없이 일정한 편이었다. 넷째, 2017년도 시험 문항을 질적 분석한 결과, 영어교육 기입형 문항은 중간정도의 구인타당도를, 서술형과 논술형 문항은 높은 구인타당도를 보였다. 영어학 기입형 문항은 구인타당도가 낮게, 서술형 문항은 구인타당도가 중간 수준으로 나왔다. 일반영어 문항들은 중간정도의 구인타당도를 보인 것으로 확인되었다. 그리고 영어교육과 일반영어 문항은 높은 진정성을 보인 반면, 영어학 문항은 대부분 진정성이 낮았다. 또한 영역에 상관없이 기입형 문항은 비교적 낮은 상호작용성을, 서술형 문항은 중간의 상호작용성을, 논술형 문항은 높은 상호작용성을 보였다. 본 연구는 2009년부터 2017년까지 9년간의 임용시험들을 분석함으로써 긴 시간동안 쌓여온 시험의 경향을 보다 충분히 분석하고, 2017학년도 임용시험의 유용성 분석 및 과거 시험들과의 차이 비교를 통해 임용시험이 나가가야 할 방향에 대한 시사점을 제공했다는 점에서 의의가 있다.

대학교 거꾸로 수업의 만족도 분석 및 중등 영어교육으로의 확대 방안 고찰

김소영 고려대학교 교육대학원 2018 국내석사

본 연구의 목적은 새로운 교수법으로 주목받고 있는 거꾸로 수업의 효과성을 분석하고 이를 중등 영어교육으로의 확대하기 위한 정보를 얻는 데 있다. 이를 위해 총 3가지의 설문조사를 실시하였다. 첫째, 실제 거꾸로 수업의 효과성을 검증하기 위하여 K대학교 거꾸로 수업 수강생(747명) 대상 만족도 조사를 분석하였다. Likert식 5점 척도를 기준으로 운영실태 3.83점, 개선사항 3.77점, 만족도 3.71점, 자기평가 3.55점, 수강효과 3.50점으로 나타났다. 새로운 교수법에 대한 운영 형태와 전반적 만족도는 비교적 높았으나, 자기주도적 학습이 중요한 자기평가를 일반강의와 비교했을 때 수강효과 항목은 상대적으로 낮은 만족도의 결과를 보였다. 또한, ‘성별, 학년, 소속계열, 강의신설 여부, 강의 언어’ 5개 독립변수 중 이원분산분석을 실시하여 요인 1(수업 효과성 만족도)에 대하여 ‘소속계열과 학년’, ‘강의신설 여부와 학년’, 요인 2(자기 평가 만족도)에 대하여 ‘소속계열과 성별’, ‘강의신설 여부와 강의 언어’, 요인 3(수업 운영 만족도)에 대하여 ‘소속계열과 학년’, ‘강의신설 여부와 강의 언어’가 유의미한 변수로 나타났다. 이를 통하여 강의신설 여부, 강의 언어, 학년에 따른 거꾸로 수업에 대한 만족도 편차가 컸음을 알 수 있다. 둘째, 중등교육에서의 거꾸로 수업 확대를 위하여 현직교사 및 예비교사(50명)의 거꾸로 수업 인식 조사를 하였다. 거꾸로 수업의 지원사항으로 현직교사는 기술적 지원을 꼽았으며, 예비교사는 학생들의 높은 참여도를 응답하였다. 반면, 거꾸로 수업의 한계점으로 두 집단 모두 ‘학생들의 사전 학습에 대한 거부감’과 ‘교사들의 사전활동 준비에 대한 부담감’으로 나타났다. 셋째, 영어 학습 관련하여 학교 수업과 온라인 수업에 대한 인식 조사를 S중학생(45명)들을 대상으로 실시하였다. 학생들이 영어를 배울 때 가장 선호하는 방식은 ‘게임, 조별활동, 교사강의, 개인 문제풀이, 토론’ 순으로 나타났다. 학교 현장에서 게임과 조별활동을 통하여 또래 아이들과 상호작용하며 학생들의 흥미를 일으키고 협동심을 기를 수 있는 방법이 학습의 효율성을 극대화할 수 있을 것이다. 온라인 학습을 이용할 때 주로 사용하는 도구는 ‘PC(컴퓨터), 스마트폰, 태블릿, 기타’ 순으로 나타났다. 거꾸로 수업 도입 시 많은 학생들이 온라인 학습을 할 수 있는 도구는 갖춘 것으로 볼 수 있으나, 이러한 도구나 환경이 갖추어지지 않은 학생들에 대한 학습 환경 지원 또는 대안이 필요할 것으로 사료된다. 본 연구는 3가지 설문조사를 통하여 학습자와 교수자의 거꾸로 수업에 대한 인식을 알아볼 수 있는데 의의가 있었다. 영어 교육 격차 해소를 위하여 자기주도적 학습과 토론, 그룹 활동 등 심화 학습 능력을 기를 수 있는 거꾸로 수업을 중등영어교육으로의 확대를 제안한다. 다만, 이를 현장에 적용하기 위해서는 교사, 학생, 학부모, 학교의 인식 전환과 환경적, 제도적 지원이 뒷받침 되어야 할 것이다.