상용 LoRa통신을 활용한 IoT무선화재감지기

양길석,양길석 한국화재소방학회 2019 한국화재소방학회 학술대회 논문집 Vol.2019 No.추계

한국어능력시험의 구인타당도 분석

양길석,민경석,박정진 한국언어문화교육학회 2012 언어와 문화 Vol.8 No.2

The purposes of this paper were to investigate the construct validity of Test of Proficiency in Korean(TOPIK) and to identify the adequacy of item types (subjective / objective) in Writing Section. In order to achieve the goals, the test data from three administrations of TOPIK(22th, 23th, and 24th test) were analyzed. Exploratory factor analyses and correlation analyses were conducted to obtain empirical evidences. The major findings of this study were two-folded: First, each of 4 sections in TOPIK did not represent unique domain as designed by test specification. The correlations among scores of 4 sections were relatively high compared with the results of TOEIC which shared similar test purpose with TOPIK. Also it was found that basic level test form tended to have unidimensional characteristic rather than advanced level test form. Second, there was not much unique effect of subjective items in Writing section compared with objective items. Correlations between subscores of subjective items and scores of Writing section became lower in the advanced form. The limitations and practical implications of the study to improve TOPIK were also discussed.

준거지향평가의 준거 설정 방법 비교 -중학교 논술 기초능력 검사를 중심으로-

양길석 한국교육평가학회 2000 교육평가연구 Vol.13 No.2

대학입학시험 점수체제 국외 사례연구

양길석,이명애,시기자,민경석 한국교육과정평가원 2007 교육과정평가연구 Vol.10 No.2

From 2008 School Year College Scholastic Ability Test(CSAT), only 9-grade scores will be reported without standardized scores and percentile ranks. Our 9-grade scores are based on traditional stanines. So when the statistical assumptions of stanines are violated, resulted scores would be out of targeted distribution. It means correspondence between purpose and use of CSAT can be made not only by type of scores but also by test characteristics. In order to get directions for reforming CAST's test and scoring procedures, we reviewed several foreign College Entrance Exams in U.S., Japan, and U.K. We found that scaled scores of SAT and ACT in U.S., raw scores of National Center Test for University Admissions in Japan, and 5-grade scores of GCE in U.K. came from and corresponded to its own test characteristics. We also discussed consistency and equity of CSAT scores compared with those of foreign tests. 일반적으로 검사점수는 검사의 성격과 결과의 활용 목적에 따라 그 형태와 산출 및 보고 방식이 결정된다. 우리나라 대학수학능력시험의 경우 검사 목적(대학 신입생 선발)에 보다 부합하는 결과 활용을 위하여 다양한 변화를 겪어 왔다. 특히 2008학년도 대학수학능력시험에서는 표준점수와 백분위가 폐지되고 등급만이 보고되며, 이때의 등급은 측정 이론적으로 스테나인(stanines)에 기반한다. 수능 점수 형태는 검사의 목적과 결과 활용에 직접적으로 연관된 것으로 새로운 변화에 따른 수능의 성격과 점수 체제 전반에 대한 논의가 필요하다. 이를 위해 미국의 SAT와 ACT, 일본의 대학입시센터시험, 영국 GCE의 성격과 점수체제를 비교ㆍ분석하였다. 미국의 SAT와 ACT의 척도점수체제, 일본 대학입시센터시험의 원점수체제, 영국 GCE의 등급체제는 각국의 독자적 검사 특성에 부합하는 점수체제로서, 대학수학능력시험의 개선, 특히 점수의 일관성과 공정성 확보를 위한 점수체제 개선이라는 측면에서 많은 시사점을 제공한다.

대학수학능력시험의 안정적 등급 산출을 위한 요건 탐색

양길석,민경석,손원숙,이명애 한국교육과정평가원 2006 교육과정평가연구 Vol.9 No.1

While current CSAT(College Scholastic Ability Test) score reporting includes percentiles and standardized scores as well as stanines, Minister of Education and Human Resource announced that only stanine score will be reported from 2008 school year CSAT. The purpose of this study is to evaluate several conditions for stable stanines. To complete this goal, we compared stanine proportions according to raw scores, linear standardized scores and normalized standard scores. Also we analyzed effects of item difficulties on stanine scores. We found that there were not much differences of stanine proportions in Korean Language, Mathematics and Foreign Language (English) whether we used raw scores, linear standardized scores or normalized standard scores. But raw scores made stanines more stable in Social Studies/Science/Vocational Education and Foreign Languages/Chinese Characters and Classics since raw scores had more score points compared with linear standardized scores and normalized standard scores. Also we found that stanines approached target proportions when a test included various item difficulty levels(i.e., difficult, moderately difficult and easy). In sum, CSAT stanine scales would be stable when a test consists of various levels of item difficulty and raw scores are used for the final scaling. But this suggestion may not be feasible when a test includes a relatively few items (i.e., 20 items for Social Studies). So it needs to be considered to increase the number of items by combining similar subjects in future. 교육인적자원부가 발표한 2008 대입개선안에 따르면, 2008학년도 대학수학능력시험(수능)부터 다른 점수 형태는 제공되지 않고, 영역/과목별 등급만 제공하게 된다. 현행 수능에서는 등급 이외에 표준점수, 백분위가 함께 제공되어, 상호보완적 역할을 하고 있다. 그러나 2008학년도부터 수능의 점수 체제가 등급제로 전환됨에 따라, 각 영역/과목별 뿐 아니라 영역/과목 간 균형있는 등급 점수의 산출이 무엇보다도 중요한 문제로 대두되었다. 본 연구는 2008학년도 등급제 실시에 앞서, 영역/과목별 안정적 등급 산출을 위한 조건을 탐색하기 위한 것이다. 연구의 목적을 달성하기 위하여, 첫째, 원점수, 선형 표준점수, 정규화 표준점수 등 세 가지의 검사 점수 유형에 따른 등급 산출 결과를 비교하였다. 둘째, 문항 난이도에 따른 등급 산출 결과를 비교하였다. 분석 결과, 원점수, 정수화된 선형 표준점수 및 정규화 표준점수 분포를 이용하여 등급 비율을 산출했을 때, 상대적으로 점수의 가지 수가 많은 언어, 수리, 외국어(영어) 영역의 경우는 검사 점수 유형에 따른 등급별 비율에 큰 차이가 없는 것으로 나타났다. 반면 탐구 및 제2외국어/한문 영역의 선택과목과 같이 점수 가지 수가 적은 시험에서는 가능한 모든 점수 가지 수를 살린 분포, 즉 원점수 분포를 이용하여 등급 점수를 산출하는 것이 가장 안정적인 것으로 나타났다. 문항 난이도와 등급 비율간의 관계에서는 쉬운 문항, 중간 수준 문항, 어려운 문항 등 다양한 수준의 난이도를 갖는 검사에서 등급 비율이 안정적으로 산출되었다. 결론적으로 현행 등급 체제에서 안정적 등급 산출을 위해서는 가능한 한 원점수 분포를 그대로 사용하고, 문항 난이도의 수준이 고르게 나올 수 있도록 출제 과정을 강화하는 것이 주요 요건이라 할 수 있다. 그러나 특히 문항 수가 적은 선택과목의 경우, 문항의 난이도가 고르게 분포되도록 출제하는 것은 현실적으로 쉬운 문제는 아니다. 따라서 안정적 등급 산출을 위해서는 중·장기적으로 선택과목의 통합·조정을 통해 시험과목의 수를 축소하고 문항 수를 확대하는 방향으로 시험 체제를 개선하는 노력이 이루어져야 할 것이다.

한국어능력시험 읽기 영역 난이도 분석-외국인과 국내 초등학생 간 비교를 중심으로-

양길석,박정진 한국국어교육학회 2014 새국어교육 Vol.0 No.99

The purpose of this paper is to arrange the strategy that is ensured stability of the TOPIK(Test of Proficiency in Korean) through an analysis of difficulty of reading area. TOPIK needs to be developed to function the scores of each tests equally because the average score for each section means each individual’s grade. The problem is that the current TOPIK is graded just based on raw data. In this study, we groped the strategy for maintenance the cross-examination difficulty through the reference group. This study set the elementary school students as the reference group. The result showed a statistically significant difference between foreigner and domestic elementary score in reading area. 6th had the highest grade point average, 5th grade, 4th grade and the foreigner order. Through this study, It was confirmed for domestic elementary school students to function as the reference group. 이 연구는 한국어능력시험 읽기 영역의 난이도 분석을 통해 시험의 안정성을 확보할 수 있는 방안을 모색하는 것을 목적으로 한다. 한국어능력시험은 각 영역별 점수의 평균으로 등급을 부여하기 때문에 매 시험마다 그 기준 점수들이 동등하게 기능하도록 개발되어야 하며, 이를 위해서는 시험 간 난이도가 일정하게 유지되어야 한다. 이에 난이도 조정을 위해 활용 가능한 참조집단의 탐색 차원에서 외국인 응시 집단과 국내 초등학생의 결과를 비교 분석하였다. 이 연구에서 설정한 참조집단은 국내 초등학교 고학년 학생이다. 먼저 외국인과 국내 초등학생 간 읽기 영역 점수를 비교한 결과 통계적으로 유의한 차이를 보였으며, 6학년 평균이 가장 높았고, 5학년, 4학년, 그리고 외국인 순이었다. 문항 난이도와 변별도에서도 외국인과 국내 초등학생 간의 특징적인 차이가 드러나는 문항들이 발견되었다. 이 연구를 통해 한국어능력시험의 난이도 안전성 확보를 위해 중급 수준에서는 초등학교 5, 6학년보다는 4학년 학생이 참조집단으로 기능할 가능성이 큼을 확인하였다.

2008학년도 대학수학능력시험 점수체제(9등급제)에 대한 비판적 고찰

양길석 안암교육학회 2006 한국교육학연구 Vol.12 No.2

While current CSAT(College Scholastic Ability Test) score reporting includes standardized scores and percentiles as well as K-stanines, Minister of Education and Human Resource(MEHR) announced that only K-stanine score will be reported from 2008 school year CSAT. This study examined some measurement issues of K-stanine score and presented the problems of K-stanine score. According to the results of preliminary CSATs, K-stanine score distributions are not satisfied with respect to the assumption of normal distribution. In addition, the proportions of K-stanines don't correspond with those of stanines significantly. Furthermore when one test' scores are negatively distributed and the other test's scores are positively distributed, the comparison of the two test's K-stanines is absurd. Also it is discussed that MEHR's policy will be effective. Since K-stanines scoring system is based on norm-referenced test, the mutual competition of examinees cannot but existed eternally. Thus it is expected that the effects of the policy reducing examinee's pressure and sparing expense of private tutoring will not be held good. 2008 대입 개선안에 따라 2008학년도 대학수학능력시험부터는 영역/과목별 등급만 제공하게 된다. 현행 수능에서는 등급 외에 표준점수와 백분위가 함께 제공되어 상호 보완적인 기능을 하고 있다. 하지만 등급만 제공될 때에는 여러 가지 문제가 초래될 것으로 예상된다. 본 연구에서는 측정학적 측면과 정책 효과 측면에서 수능 9등급제에 대해 그 타당성을 고찰하고 그 개선 방향을 탐색하기 위한 것이다. 이에 수능 점수체제의 변화 과정을 통해 9등급제로 전환되는 배경을 살피고, 9등급제의 이론적 기반이 되는 정규분포 가정의 충족 여부, 등급별 산출비율의 안정성, 점수 비교의 합리성 등의 측정학적 문제를 검토하였다. 그리고 정책 효과 측면에서 수험생 부담 및 사교육비 경감 문제를 다루었다. 현 수능 9등급제는 정규분포 가정을 충족하지 못하고 있으며, 등급별 산출비율도 안정적이지 못한 것으로 나타났다. 또한 점수 분포가 편포된 경우도 종종 나타날 뿐만 아니라 등급의 동간성을 가정하기 힘들기 때문에, 등급 점수를 합산하거나 선택과목간 등급을 비교하는 것은 합리적이지 않다. 9등급을 그대로 유지하는 경우 측정학적 문제를 완화하기 위해서는 문항 수 및 점수 가지 수 확대, 선택과목의 통합·조정, 공통 시험으로의 전환 등 시험 체제의 개선이 필요하다. 또한 현행 대입제도 하에서 등급제를 그대로 유지하는 상황에서는, 상대평가에 의한 9등급제에서 절대평가에 의한 등급제로 전환하는 것이 수능 시험의 교육적 의의를 높이고 수험생 부담을 경감하는 데 더 적절할 것이다.

미국 NCLB 평가정책의 한국 교육에의 시사점 고찰 : 교육과정과의 관계를 중심으로

양길석,성열관 한국교육방법학회 2009 교육방법연구 Vol.21 No.1

The study compares new Korean plan of achievement tests with NCLB Act in terms of commonality and differences in an effort to obtain implications out of lessons from the U.S.A. Recently Korean educators confront a situation in which the government borrowed nation-wide accountability tests that it is believed to hold schools accountable for results. It is interesting to know such evaluation system in Korea has much common with the core of NCLB Act: No child left untested, Adequate Yearly Progress, School information report system School choice related. On the other hand, educational culture and problems are in the remarkable contrast across two countries so that it should be examined if the introduction of such evaluation system is still valid to guide classroom practice in a educationally desired direction. In addition theoretical discussion in this paper is also made through the view of MDI (measurement-driven instruction), ADI (assessment-driven instruction), and UbD (Understanding by Design). As a result, authors doubt a feasibility of planned policies and try to give an caution to the idea of tests for all students and its release to the public even though it is supposed to present in a ratio of ranks.

전문가 판단방법에 따른 문항 간 차등배점의 타당성 연구

양길석 안암교육학회 2007 한국교육학연구 Vol.13 No.1

The purpose of this study is to investigate the effectiveness of the Differential Item Weighting(DIW) assigning different points on items based on expert judgement. In order to achieve the purpose, the characteristics of different points, the degree of agreement among experts on different points, the correlation between different points and equal points on item, and the reliability of test scores according to different points and same points on items were analysed in the eighth Test Of Proficiency In Korea(TOPIK; Level 2). The results of the data analysis report that the degree of agreement between item developers between subject matters in item weighting was low, DIW made little difference in examinee' test scores as well as reliability, and the correlation between scores based on DIW and those based on equal weighting was close to 1. The study shows that DIW based on expert judgement could cause artificial crimination among examinees and the impact of the crimination could be highly significant. Thus, it is necessary that DIW should be made with more caution, especially in high stake testing situation. 이 연구는 검사점수를 구성하는 문항점수와 관련하여, 우리 교육 상황에서 자주 사용되고 있는 전문가 판단방법에 따른 차등배점의 타당성을 분석하는 데 목적을 두고 있다. 이를 위해 제8회 한국어능력시험(2급)을 대상으로, 차등배점이 부여된 문항의 특성, 차등배점에 대한 전문가 간 판단의 일치도, 차등배점과 동일배점 방식에 따른 검사점수 간 상관 및 각 방식별 검사신뢰도, 그리고 배점 방식에 따른 과목별 과락 여부 및 2급시험 합격 여부의 일치도 등을 분석하였다. 분석 결과, 문항난이도와 문항변별도 측면에서 높은 배점이 부여된 문항과 낮은 배점이 부여된 문항 간에 일정한 경향을 찾을 수 없었으며, 출제진에 의한 차등배점과 3명의 한국어교육 전문가에 의한 차등배점 간에 일치도가 높지는 않았다. 문항배점 방식에 따른 검사점수 간 상관이 높고 검사신뢰도도 모두 양호했지만, 검사신뢰도는 차등배점보다 동일배점 방식에서 약간 높게 나타났다. 문항배점 방식 간 과목별 과락 여부와 최종 합격 여부의 판정결과도 일치도가 높게 나타났지만, 일부 수험자의 경우에는 변동이 있었다. 따라서 전문가 판단에 의한 차등배점 방식은 그 판단 기준이 명료하지 않고 전문가 집단에 따라 달라질 수 있다는 점에서 다소 임의적이고, 동일배점 방식에 비해 신뢰도를 더 높이지는 않으며, 일부 수험자의 경우 배점방식에 따라 과목별 과락 여부와 최종 합격 여부가 달라진다고 볼 수 있다. 이러한 결과는 선발시험의 경우 일정한 검사 양호도를 확보하면서도 점수 가지 수를 늘린다는 차등배점의 일반적인 장점을 일부 인정하나, 반대로 수험자를 줄 세울 필요가 없는 자격부여 시험에서는 굳이 차등배점을 적용할 필요가 없음을 시사한다.

대학수학능력시험의 문제은행 구축 및 활용

양길석 한국교육방법학회 2006 교육방법연구 Vol.18 No.2