교사별 과정 중심 평가에 대한 교사의 인식

반재천,김선,박정,김희경 한국교육과정평가원 2018 교육과정평가연구 Vol.21 No.3

본 연구의 목적은 교사별 과정 중심 평가에 대한 초·중학교 교사의 인식을 파악하고 정책적 시사점을 도출하는데 있다. 전국의 초·중학교에서 유층 비례 군집표집법으로 초등학교 135개교 1311명, 중학교 96개교 723명을 선정하여 해당 학교 교사를 대상으로 온라인 설문조사를 하였다. 설문내용 교사별 과정 중심 학생평가 제도 도입에 대한 교사들의 찬성 여부, 기대와 우려, 도입 시기와 방법, 질 관리 확보 방안에 관한 것이었다. 연구 결과 초·중학교 교사들의 68%이상이 교사별 과정 중심 학생평가의 도입에 찬성하였고, 이 제도가 창의적이고 복합적인 사고를 키우는 수업에 도움이 될 것이라는 기대가 높았다. 반면 평가의 객관성과 공정성 문제, 업무 과다, 교사의 평가전문성 부족에 대한 교사들의 우려가 높았다. 초등학교 교사들은 제도 도입과 관련하여 교과별 순차 도입, 중학교 교사들은 모든 교과 동시 도입을 선호하였다. 초·중학교 교사들은 제도 도입의 시기에 대해서 해당 학교급의 1학년부터 순차 도입, 도입 평가 유형과 관련해서는 수행평가에만 도입을 선호하였다. 초·중학교 교사는 교사별 과정중심 학생평가를 위해 행정업무 경감, 학생수 적정화, 교과연구회 활성화와 같은 자율적 연구 분위기 조성이 필요하다는 의견이 많았다. The purposes of this study are to collect elementary and middle school teachers’ opinions about the teacher by teacher process fortified assessment (TPFA) and to get policy implications from the results. We used a stratified cluster sampling method to sample teachers. The total numbers of teachers responded were 1,311 and 723 from elementary and middle schools, respectively. We made survey questions to ask about the adoption of the TPFA policy, adoption timing and methods, their expectations and concerns about the policy. Results showed that over 68% of the teachers agreed with the adoption of the TPFA policy. They also had high expectations that the policy would help to foster students’ creativity and complex thinking skills. In the other hand, they concerned about objectivity and fairness of TPFA, their work burden resulted from the adoption of the TPFA policy, and the lack of their expertise in classroom evaluation. Elementary school teachers showed their preference towards the sequential adoption of the policy to subjects, while middle school teachers wanted the concurrent adoption of the policy. Both elementary and middle school teachers preferred towards the adoption of the policy to the lowest grade first and only to the performance assessement. They also asked the reducement of administrative works, appropriate size of class, and the activation of teachers’ autonomous study groups in order to introduce the policy to schools.

국가수준 학업성취도 평가는 전수 시행되어야

반재천 한국교육과정평가원 2008 교육광장 Vol.29 No.-

북마크 기준설정 방법에서 반응 확률 .67에 대응하는 능력추정치를 구하기 위한 Bifactor IRT와 Testlet IRT모형의 활용

반재천,김선 한국교육평가학회 2017 교육평가연구 Vol.30 No.4

One of the methods to use the testlet IRT model and the bifactor IRT model for the Bookmark standard setting is to marginalize the testlet IRT model (mTIRT) and the bifactor IRT model (mBIRT) by integrating out the testlet effects so that the mIRT and the mBIRT model have the form of the unidimensional IRT model. The purpose of this study is to compare the bookmark difficulty locations (BDLs) corresponding to the response probability (RP) of .67 using the mTIRT, mBIRT, and the two parameter logistic IRT (2PL IRT) model under the various conditions of test difficulties (low, middle, and high) and testlet effects (0.3, 0.5, 0.7, 0.9). For simulation studies, item parameters and item responses under the conditions considered were generated and the BDLs of the three IRT models were computed and compared. The results showed that the correlation coefficient of at least .987 among the BDLs of the three models were obtained. The average absolute differences among the BDLs of the models were up to about |0.1| which was not large. The differences among the BDLs were greater as the testlet effect was larger and the test difficulty level was higher. When the bookmark was set to each of the ordered item booklet, the differences of BDLs were greater as the testlet effect was larger. Testlet IRT모형과 Bifactor IRT모형을 북마크 기준설정에 활용하기 위해 이들 모형을 일차원 IRT모형과 같은 형태로 변환할 수 있다. 주변화된 Testlet IRT모형(mTIRT)과 주변화된 Bifactor IRT모형(mBIRT)은 단위검사효과를 적분하여 주변화(marginalize)함으로써 일차원 로지스틱 IRT모형과 같은 형태로 변환한 것이다. 본 연구의 목적은 mTIRT모형, mBIRT모형, 2모수 로지스틱 IRT모형을 이용하여 반응 확률(RP)=.67에 대응하는 능력추정치(Bookmark difficulty location: BDL)를 구했을 때, 단위검사효과와 검사난이도에 따라 세 IRT모형의 BDL간에 차이가 있는지를 알아보는 데 있다. 모의실험을 위해 검사난이도와 단위검사효과 크기를 달리하여 문항모수 및 문항반응을 무선 생성하여 세 모형에 의한 BDL을 구했다. 연구결과 첫째, 세 모형의 BDL간 상관은 본 연구조건에서 최소 .987로 높았다. 그렇지만 단위검사효과가 클수록 BDL간 상관계수 평균은 점차 낮아졌다. 둘째, BDL간 차이 절댓값은 최대 약 |0.1|만큼으로 세 모형간 BDL이 유사했다. 그렇지만 단위검사효과가 크고 난이도가 어려운 검사일수록 BDL간 차이가 커졌다. 셋째, 순서화된 문항집의 각 페이지에 최종 기준이 설정되었을 때 단위검사효과가 클수록 세 모형간 BDL차이도 커지는 경향이 있었다.

교육평가연구 게재 증명서

반재천,김경희 한국교육평가학회 2019 교육평가연구 Vol.32 No.1

영어수업에서 텔레프레즌스형 로봇 활용의 효과성 연구

반재천,진경애,한정혜,김선,이성은,류영선 팬코리아영어교육학회 2010 영어교육연구 Vol.22 No.2

The purpose of this study was to investigate the effectiveness of using robots to aid English teachers on students’ achievement and affective traits. KIST and RASTECH, Inc. developed the telepresence type robots, respectively. The two telepresence type robots were employed to teach English to the elementary students in Daejeon and Masan areas. A total of 48 students participated in two- month experiments. English listening/reading and speaking tests were developed and administered with a pre- and post-test design. Also, we developed a student questionnaire to measure various students’ affective traits. The results showed that both telepresence type robots were effective in improving students’ speaking ability but not in listening/reading ability. It also indicated that students were satisfied with using the robots in the class, and that students’ interest in studying English, self-confidence in using English, and motivation for English improved.

공통문항 비동등집단 설계에서 동등화 연결선(equating strains)이 검사 동등화 오차에 미치는 영향

반재천,Bradley A. Hanson,Deborah J. Harris 한국교육과정평가원 2002 교육과정평가연구 Vol.5 No.1

검사동등화를 적용하는 대규모 검사프로그램의 경우 여러 가지 난이도를 가진 검사폼(test form)들이 고리처럼 연결되어 검사점수들이 상호 비교 가능하게 된다. 본 연구는 연결되는 모든 검사의 평균점수가 높거나, 낮을 때, 혹은 높고 낮은 검사가 섞여 있을 때 생길 수 있는 오차(무선오차와 체계적 오차)의 정도를 탐구하였다. 이 연구에서는 공통문항 비동등집단설계법(common-item nonequivalent groups design)을 이용하였다. 시뮬레이션을 통해 어떤 검사동등화법이 여러 유형의 동등화 연결선 (equating strains)에 영향을 적게 받는지를 탐구했다. High strain은 평균점수가 높은 검사만으로 연결된 것을 말하고, Low strain은 평균점수가 낮은 검사만으로 연결된 것이며, Mixed1(LH)는 평균점수가 낮고 높은 검사들이 교대로 연결된 것을 말하며, 마지막으로 Mixed2(HL)는 평균점수가 높고 낮은 검사들이 교대로 연결된 것을 말한다. Tucker와 빈도추정법(frequency esti- mation method)를 사용했을 때, Low와 Mixed1 (LH)에서 보다 Higher Mixed2(HL)에서 전체오차가 낮았다. Levine방법과 IRT방법을 썼을 때는 High strain에서 전체오차가 작았다. IRT방법은 연구에 사용된 유형 모두에서 전체오차가 비슷했다. 결론적으로 IRT방법이 연구에 사용된 유형의 연결선 모두에서 오차가 가장 적었고, 빈도추정법이 다음으로 적었고, 선형동등화방법이 가장 오차가 컸다. 그러나 시뮬레이션에 사용된 자료가 IRT모델의 가정을 모두 충족한 반면 다른 방법들의 일부 가정에는 맞지 않았을 수 있다.

문제은행간 비동등성이 능력모수 추정치에 미치는 영향

반재천,Tianyou Wang,Qing Yi,Deborah J. Harris 한국교육평가학회 2003 교육평가연구 Vol.16 No.2

이 연구는 비동형 문제은행(nonparallel item pools)이 개인의 능력모수 추정과 각 내용영역별 사용된 문항의 수에 미치는 영향을 파악하는데 그 목적이 있었다. 두 세트의 다섯 개 문제은행이 측정학적 속성(b-모수 추정치의 평균)과 내용영역별 문항의 비율이 다르도록 scocking과 Swanson(1996)의 가중편차모델(Weighted deiation model: WDM)을 이용하여 구성하였다 한 세트의 다섯 개 문제은행은 문항수가 240개였고, 다른 세트의 다섯 문제은행은 문항수가 480개였다. 이렇게 구성된 문제은행을 이용하여 시뮬레이션을 통한 컴푸터적용검사(Computerized adaptivetesting; CAT)를 실시하였다. 능력모수추정을 위해 최대우도법을 사용하였고, 검사길이는 30문항이었다. 문항의 개별 노출빈도(item exposure)를 통제하였고, 모의인에게 시행되는 검사가 내용영역별로 균형을 맞추도록 WDM을 이용하여 통제하였다, 전체적으로 보았을 때 하 ·상위능력집단에서 문제은행간 비동등성이 능력모수 추정에 중간능력집단에 비해 상대적으로 영향이 컸다. 그러나 그런 차이가 실제적으로 의미있는 차이인지는 보고되는 점수척도로 변환해서 판단하여야 한다. 문제은행의 내용영역별 문항의 비율이 다를 때 각 개인에게 시행된 문항들의 영역별 비율에 차이가 있었다. 문항의 사용빈도를 통제함에도 상대적으로 문항이 많은 영역에서 보다 많은 문항들이 시행되었다. 따라서 각 검사프로그램마다 적절한 문항선정을 위한 알고리듬을 사용하여서 시뮬레이션을 통해 영역별 문항사용빈도를 통제하는 것이 바람직하다. This study focused on the effects of nonparallel item pools on examinees' ability estimates and on the number of administered items in each content category. Two sets of five nonparallel multiple item pools were constructed to be moderately different in the psychometric characteristic (i.e., mean of the b-parameters) and the percentages of items per content category through Stocking and Swanson (1996)'s weighted deviation model (WDM). One set of five nonparallel item pools had 240 items and the Other set of five pools had 480 items. CAT simulations were performed based on the assembled item pools. The MLE procedure was used for scoring, and the test length was 30 items. Item exposure control was imposed. Stocking and Swanson (993)'s WDM was used for the item selection to balance the content categories. Overall, the results indicated that the precision of ability estimates was more affected at low and high ability levels than at the middle level of ability by the moderate change of the psychometric characteristic across item pools. However, the meaningfulness of the differences should be determined based on the reported score scale. The nonparallel pools in terms of proportion of items per content category had an effect on the number of items administered in each content category.

2011년 기초학력 향상도 평가의 분류일관성, 기초학력 도달 비율, 그리고 하위 단계 성취 정도와 학년말 기초학력 도달간 관계

반재천,김선 한국교육평가학회 2013 교육평가연구 Vol.26 No.1

이 연구의 목적은 첫째, 2011년 초등학교 기초학력 향상도 평가(이하 향상도 평가)의 분류일관성 지수를 산출하고, 둘째 기초학력 도달비율을 산출하며, 셋째, 하위 단계 성취 정도와 학년말 기초학력 도달간의 관계에 대해 분석하는 것이었다. 향상도 평가는 D 광역시 소속 초등학교 4~6학년 중 기초학력미달로 판정된 학생들을 대상으로 5월(A형), 9월(B형), 11월(C형)에 시행했다. 3회 시행된 검사형은 모두 동등화 된 것이었다. 연구결과 분류일관성에서 합치도는 최하 0.913으로 매우 높았으며, 카파(Kappa)계수도 대부분 0.6 이상이었다. 기초학력 도달비율은 모든 학년 및 교과에 걸쳐 총점수준에서 도달 비율의 범위가 6.3%~54.9%였다. 하위 단계 검사(A, B형) 성취 정도와 학년말 검사(C형)에서의 기초학력 도달간 관계를 로지스틱 회귀분석법으로 분석한 결과 대부분의 교과에서 하위 단계를 성취할수록 해당 학년 내용을 모두 다루는 C형에서 도달할 확률이 높았다. 그러나 일부 교과에서는 A, B형의 도달 수준 점수를 성취했다고 하더라도 여전히 C형에서 도달 확률이 높지 않는 경우도 있었다. The purposes of this study were to investigate the classification consistencies of 2011 Daejeon Test of Basic Skills (DTBS), to obtain the proportions of the students who moved from the Under Basic level to the Basic level in 2011 DTBS, and to the relationship between degrees of achievements in the lower level test and achieving basic level in the upper level test of DTBS. The DTBS tests were administered at May, September, and November to the underachieved students who were in grade 4 to grade 6 in D-metropolitan. The three test forms were all equated. The results showed that the classification consistency indices were at least .91, and the most of Kappa coefficients were over .6. The proportions of students who moved from the Under Basic level to the Basic level were obtained The proportions varied across subjects, sub-domains, and grades. The range of the proportions were from 6.3% to 54.9%. The results of logistic regression analyses showed that as the students got higher scores in the lower level test, they tended to achieve the Basic level in the upper level test of DTBS.

자율지능형 영어교사 보조 로봇 활용 교육이 영어 학업성취도와 정의적 특성에 미치는 효과: A 초등학교 사례 연구

반재천,진경애 한국교육과정평가원 2010 교육과정평가연구 Vol.13 No.2

The purpose of this study was to investigate the effectiveness of using autonomous intelligent robots on students' achievement and affective traits. KIST developed two kinds of autonomic English teacher aid robots: Silbot and Buddy. Silbot is equipped with various moving control sensors and voice recognition devices. Silbot is able to recognize students' pronunciations and to interact with students. Buddy is a face robot to train English pronunciation skill for elementary students. The two types of robots were employed to teach English to the elementary students in Masan area. Total of 24 students participated in the experiment for two months. English listening/reading and speaking tests were developed and they were administered to the participants with a pre- and post-test design. Also, we developed a student questionnaire to measure various students'affective traits. The results showed that the robots were effective in improving students' speaking ability. Also, it revealed that students were satisfied with using the robots, and that interest in studying English, self-confidence in using English,and motivation for English were also improved. 이 연구의 목적은 자율지능형 영어교사 보조 로봇 활용 교육이 영어 학업성취도와 정의적 특성에 미치는 효과를 검증하는데 있었다. KIST는 자율지능형 영어교사 보조 로봇 두 가지를 개발하였다. 하나는 실봇이라 부르는 로봇으로 인간로봇 상호작용 기술을 적용하여 음성대화, 자율이동, 얼굴 및 제스처를 인식할 수 있었다. 다른 하나는 버디라 부르는 얼굴 형태를 가진 로봇으로 음성대화 인식기를 토대로 학생들의 영어발음 훈련용으로 개발되었다. 두 로봇은 영어 회화교육 전용 테마 교실을 갖추고 있는 마산 소재 초등학교에서 2개월 동안 방과후학교에 참가하는 학생들을 대상으로 시범적으로 사용되었다. 참가 학생은 총 24명이었다. 시범 서비스 결과 자율지능형 영어교사 보조 로봇은 영어 듣기에는 효과가 없었지만, 읽기와 말하기에서는 효과가 있는 것으로 나타났다. 정의적 영역에서 로봇 활용 수업에 대한 참가자들의 만족도가 높았으며, 영어공부에 대한 흥미, 영어공부에 대한 자신감, 영어공부에 대한 동기는 실험전에 비해 향상되었으며, 효과계수도 큰 것으로 나타났다

“학생평가 내실화를 위한 학생 및 교사 지원 방안”에 대한 토론

반재천 한국교육학회 2018 한국교육학회 학술대회 Vol.2018 No.-