대학 강의평가도구의 타당화 및 관련 변인의 다층분석

염시창(Yum Sichang) 한국교육평가학회 2008 교육평가연구 Vol.21 No.2

  본 연구는 대학에서 학기말에 활용할 수 있는 다차원적 강의평가도구의 일차원 요인과 이차원 요인의 확인을 통해 평가도구를 타당화하고, 강의총평에 대한 강의평가 요인의 영향력을 분석하며, 강의총평 관련 변인의 효과를 다층분석을 이용하여 검증하기 위해 수행되었다. 본 연구에서는 25문항으로 구성된 강의평가도구를 대학생 5,575명이 수강한 413과목에 시행하여 총 32,670명의 자료를 분석하였다. 본 연구에서 나타난 결과는 다음과 같다. 첫째, 탐색적ㆍ확인적 요인분석 결과, ‘강의의 전반적 질’ 영역에 강의구성 및 강의진행 요인, 그리고 ‘학습자 규제’ 영역에 평가와 강의부담 요인이 포함된 것으로 나타났다. 그러나 이차원 이요인 모형과 이차원 일요인 모형을 비교한 결과, 두 가지 모형의 적합도에 차이가 없는 것으로 나타났다. 둘째, 강의총평에 대한 영향력 분석에서는 강의구성, 강의진행, 평가 요인의 영향력이 유의하였다. 셋째, 강의총평 관련 변인의 다층분석 결과, 학생수준의 기대학점과 강좌수준의 강의구성 및 강의진행 변인의 영향력이 유의한 반면, 교과구분 및 강의부담 변인은 유의하지 못하였다. 또한 기대학점과 강의구성 및 강의진행 변인에 의해 강의총평 분산이 유의하게 설명되었다. 따라서 기대학점의 영향력을 통제할 때, 강의총평의 합성점수가 총괄적 강의평가 점수로 활용될 수도 있다는 점을 보여 주었다.   This study examined the validity of a students" ratings of teaching scale through a series of factor analyses as well as structural and multilevel modeling. Students" ratings of teaching scale contained 25 evaluative items, which were used for collecting data from 5,575 students with 413 courses. The exploratory and confirmatory factor analyses provided a clear interpretation of first-order teaching quality on four factors: course organization/design, pedagogic performance, grading and course demands. However, the results did not provide a clear interpretation of two second-order dimensions of teaching quality: general quality of teaching and regulating students" learning. Scores on the course organization/design and the pedagogic performance factors had the strong positive relationship with the factor of overall rating on the scale. A series of multilevel modeling were used to answer the impact of the student- and the course-level variables on overall rating. The outcomes from these models revealed that expected grade as well as course organization/design and pedagogic performance had significant impact on overall rating. In these models, the between-course variances of overall rating were smaller and became statistically insignificant. This finding showed that course organization/design and pedagogic performance predicted overall rating when potential impact of expected grade was ruled out, indicating that a composite score of overall rating could be used for summative purpose.

성장혼합모형을 활용한 초등학생의 수학 학업성취도 변화 유형화 및 영향요인 분석

염시창(Sichang Yum),강대중(Daejung Kang) 전남대학교 교육문제연구소 2023 교육연구 Vol.45 No.3

하이퍼텍스트 보조 학습에서 사전지식, 작동기억 및 하이퍼텍스트 탐색도구 유형이 학업성취도에 미치는 효과

김회수 ( Hoisoo Kim ),염시창 ( Sichang Yum ),( Diane L. Schallert ) 한국교육공학회 2002 교육공학연구 Vol.18 No.1

초등학교 교사들의 형성평가에 대한 인식 및 실태 분석

강대중(Kang, DaeJung),염시창(Yum, Sichang) 학습자중심교과교육학회 2014 학습자중심교과교육연구 Vol.14 No.2

이 연구는 초등학교 교사들이 형성평가를 어떻게 인식하고 실행하며, 그 결과를 어떻게 활용하고 있는가를 분석하기 위해 수행되었다. 이를 위해 G광역시에 근무하고 있는 초등학교 교사 333명의 데이터를 활용하여 교사의 성별, 평가연수 이수 여부 및 교육경력에 따른 인식의 차이를 분석하였다. 분석 결과는 다음과 같다. 첫째, 평가 연수를 이수한 교사 집단이 그렇지 않은 집단에 비해 평가 자신감과 평가 전문성이 높은 것으로 나타났는데, 이는 평가 연수가 초등학교 교사들의 평가 전문성과 자신감에 실질적인 영향을 미치고 있음을 시사한다. 둘째,교육경력이 많을수록 형성평가를 수업 후반부에 학습 내용을 확인하는 평가라고 생각한 비율이 높았고 형성평가 실시 시기에 관한 인식에서도 절반 이상의 교사들이 형성평가를 수업 후반부에 실시한다고 응답하였다. 이러한 결과를 보면 많은 교사들이 아직도 형성평가를 학생들의 학습을 위한 평가라기보다는 등급을 결정하는 규준 지향적인 평가라고 인식하고 있음을 짐작할 수 있다. 셋째, 형성평가의 구체적인 방법 중에서 쪽지시험을 포함한 시험지를 가장 많이 사용하였으며, 그 다음으로 발문, 교과서 문제 해결, 학생 거수 순이었다. 넷째, 많은 교사들이 발문 후 학생들의 답변을 기다리는 시간이 5초 이내였다. 다섯째, 교사들은 학생들에게 정답 이외의 추가적인 정보까지 피드백하고 있었으며, 피드백의 방법으로는 교사와 학생간의 약속된 기호 표시가 가장 많았다. 마지막으로 이 연구에서는 형성평가의 발전적인 방향으로 학생의 반응에 근거한 피드백을 강조하는 실질적인 평가 연수 기회 제공 등의 정책적 방안을 제시하였다. The purpose of this study was to find out how elementary school teachers perceived and implemented formative assessments. For this purpose, this study analyzed the data of 333 elementary school teachers currently working in G metropolitan city. The result of the analysis was as follows. First, teachers who were trained in evaluation displayed more evaluation pride and higher evaluation literacy than those who had no experience in evaluation training. The result showed that evaluation training had substantive effects on the teachers’ evaluation pride and evaluation literacy. Second, teachers’ career in education correlated with their perception of formative assessment as a tool to check the contents of the curriculum in the end of a lesson. In addition, the questionnaires on the period of formative assessment revealed that more than half of the teachers recognized that the formative assessment should take place at the end of the class. This result indicated that many teachers still perceived the formative assessment as a norm-referenced assessment for grading, rather than an assessment for learning. Third, the study showed that in terms of the specific methods for formative assessments, examinations, including quizzes, were the most frequently used method. Fourth, a majority of teachers waited for five seconds to receive answers after questioning them. Fifth, teachers gave feedback on additional information aside the correct answer to the posed questions. Signals previously promised between the teachers and students were the most frequently used method for feedback. This study proposed that evaluation training emphasizing feedback would help teachers expand assessment for learning.

웹기반 하이퍼텍스트 읽기부진 구인 탐색 및 정신모형구축에 대한 영향

김회수 ( Hoisoo Kim ),염시창 ( Sichang Yum ),신현숙 ( Hyeonsook ),( Thurlow M. ) 한국교육공학회 2004 교육공학연구 Vol.20 No.4

Rogers의 혁신확산이론에 기초한 교사의 e-러닝 정책 수용·확산 검사 개발

김회수 ( Kim Hoisoo ),( Chi Fushu ),( Zheng Xiaoli ),염시창 ( Yum Sichang ) 한국교육정보미디어학회(구 한국교육정보방송학회) 2018 교육정보미디어연구 Vol.24 No.1

한국과 중국을 비롯한 여러 나라에서 컴퓨터와 인터넷을 포함한 다양한 정보통신공학기술을 학교교육에 적용하고자 하는 e-러닝 정책이 추진되고 있다. 기존의 연구들은 e-러닝 정책을 하나의 혁신과정으로 보고, 이의 수용과 확산에 관한 연구 수행을 제안하고 있다. 이 연구는 Rogers의 혁신확산이론의 관점에서 (1) 한국과 중국 교사들의 e-러닝 정책 수용과 확산 행동을 측정하기 위한 검사(TADE)와, (2)e-러닝 정책 특성으로서 상대적 장점, 복잡성, 호환성, 관찰 가능성 및 시험 가능성에 대한 교사의 인식 검사(TCE)를 개발하고자 하였다. 검사를 개발하기 위해 선행연구 분석, 검사 초안 개발, 중국과 한국의 전문가 검토와 수정, 중국과 한국 교사를 대상으로 한 요인분석 등의 과정을 거쳐 검사를 개발하고 타당화 하였다. 이 연구에서 개발한 검사의 요인분석을 위해 한국 교사 558명과 중국교사 532명이 참여하였다. 요인분석을 통해 개발한 『교사의 e-러닝 정책 수용·확산 검사(TADE)』는 5개 요인(교사의 e-러닝 활용 정도, 학생의 e-러닝 활용 요구 정도, 디지털교과서 활용 희망 정도, e-러닝 정책 수용 정도, e-러닝 확산 의지), 21개 문항으로 구성되었고, 『e-러닝 정책 특성에 관한 교사 인식 검사(TCE)』는 5개 요인(상대적 장점, 호환성, 간편성, 시험가능성, 결과 관찰 가능성), 14개 문항으로 구성되었다. TADE 검사 전체의 신뢰도 계수 α= .98 이었고, TCE 검사의 α계수는 .96이었다. 본 연구에서 개발한 검사는 한국과 중국 교사들의 e-러닝 정책 수용과 확산을 측정하는 데에 적합한 내용 타당도와 신뢰도를 갖는 것으로 판단되었다. This paper aims to develop and verify (1) the inventory which measures the level of teachers’ adoption and diffusion of e-learning policies (TADE) and (2) the inventory which measures teachers’ perceived characteristics of e-learning (TCE) such as relative advantage, compatibility, complexity, trialability, and observability on the basis of Rogers’ diffusion of innovation theory. Participants were 1,097 school teachers, consisting of 532 Chinese teachers and 558 Korean teachers. The inventories are developed and verified by the process of examination of related previous research, experts’ review, and exploratory factor analysis. TADE consists of 21 items under five factors: Teachers’ level of e-learning use, teachers’ level of recommendation of student’s e-learning use, teachers’ willingness of digital textbook use, teachers’ level of adoption of e-learning policy, teachers’ willingness of e-learning diffusion. Alfa coefficient of TADE is .98. Alpha coefficients of 5 sub-factors of TADE range from .73 to .98. TCE consists of 14 items under five factors: Relative advantages, compatibility, simplicity, trialability, observability. Alfa coefficient of TCE is .96. Alpha coefficients of the 5 factors of TCE range from .72 to .96. The inventories developed in this study is found to have both content validity and reliability for assessing teachers’ adoption and diffusion of e-learning in Korea and China.

계열적 텍스트 학습에서 사전지식, 작동기억 및 텍스트 유형이 학업성취도에 미치는 효과

김회수,염시창,Schallert, Diane L. 한국교육정보방송학회 2001 교육정보미디어연구 Vol.7 No.4

본 연구는 학습자의 사전지식, 작동기억 및 정합성과 예를 조합한 네 가지 텍스트 유형이 텍스트 기반 이해와 상황모형 이해에 미치는 효과를 규명하는데 그 목적이 있다. 이를 위해 총 150명의 대학생을 각 처치조건에 할당하여 실험을 실시하였다. 연구결과는 다음과 같다. 첫째, 기술적 텍스트의 경우, 고정합성과 대비예 조건이 학습자의 성취도를 높이는데 효과적인 것으로 나타났다. 또한 작동기억과 사전지식이 텍스트 이해에 제한적으로 영향을 미칠 수 있다는 결과가 도출되었다. 둘째, 절차적 텍스트 학습에서, 통계적으로 유의한 결과는 아니었지만, 수렴예제시 집단의 성취도가 전반적으로 높다는 점을 확인할 수 있었다. 특히 절차적 텍스트 학습과 관련하여 작동기억의 주효과가 여러 검증 모형 상에서 유의한 것으로 나타났다. The purpose of this study was to explore the role of prior knowledge , working memory, and text types in the learning from descriptive and procedural texts . Theoretically, this study was intended to integrate text- processing models and to evaluate the efficiency and effectiveness of linear texts . Thus , an experiment was conducted with 2(text coherence : high- and low- coherence) × 2(examples : contrasting and convergent examples ), in the two text types. Based on the responses of 150 undergraduates , this study tested the ma in and interaction effects of independent variables on two dependent variables (i.e., textbase and situation model comprehension). The major findings of this study could be summarized as follows: 1. For the descriptive text, there were significant main effects of text type s on textbase and situation model comprehension, indicating greater scores for the high-coherent text with contrasting examples. Students with more knowledge about the topic or high working-memory capacity received higher scores on the dependent measures than those with less knowledge and low working-memory. However, interactions between background knowledge (or working memory) and text types on situation model comprehension we re not statistically significant. 2. For the procedural text, students in the condition of convergent examples got s lightly higher scores than those in other conditions , although the main effects of text types were not statistically significant. In general, the effects of working memory on textbase and situation model measures were significant. This study provided an empirical basis for extending text comprehension models that had not previously included a place for the role of examples in learning from descriptive and procedural texts.