중등교사임용시험 “생물” 교과내용학 문항 평가내용요소별 분석- 2005,2014학년도를 중심으로

안근재 ( Keun Jae Ahn ),오홍식 ( Hong Shik Oh ),강경희 ( Kyung Hee Kang ) 부산대학교 과학교육연구소 2014 교사교육연구 Vol.53 No.1

이 연구의 목적은 2005학년도부터 2014학년도까지 중등교사임용시험의 생물 교과내용학 문항을 분석하는 것이다. 분석틀은 「생물과 교과내용학 평가 영역 및 평가 내용 요소」를 근거로 했다. 연구 방법으로는 평가영역과 평가내용요소의 빈도 분석에 따른 정량적 방법을 활용하였다. 분석 결과 생물 교과의 평가 영역과 평가 내용 요소는 타교과목에 비해 너무 세분화된 경향을 보였다. 출제 문항 분석 결과 생물과 분야별 출제 비중은 큰 차이를 나타내었고, 각 평가 내용 요소별 출제 빈도도 크게 다른 것으로 나타났다. 또한 평가 내용 요소들 중 57%만이 출제문항과 연계되어 출제 내용의 편중성을 보였다. 이는 중등교사임용시험에서 생물 교과내용학 문항들이 평가영역과 평가내용요소의 균형이라는 측면에서 효과적이지 않음을 나타내고 있다. 이와 같은 결과는 향후 중등교사임용시험 생물 교과목에서 평가의 타당성을 확보하기 위해서는 출제 경향 분석을 토대로 평가 영역과 평가 내용 요소 선정에 대한 종합적인 검토가 필요함을 시사하고 있다. The purpose of this study was to analyze problems related biology subject contents knowledge for secondary school teacher certification examination conducted from the school years 2005 to 2014. Research method was applied the quantitative method according to frequency analy-sis of evaluation scope and evaluation content item. The framework of analysis was based on the evaluation scope of the biology subject content knowledge and evaluation contents items. The results of analysis showed that the evaluation scope of the biology subject content knowl-edge and evaluation contents items were more divided than those of other subjects. There was significant difference among ratios of the contents covered in certification examination according to biology subject domains. Also the frequencies of issued the tests were showed 57% of evaluation contents items related to problems of the tests. The results of this study showed that secondary school teacher certification examination was not effective in aspect of balance of evaluation scope and evaluation content item. The results suggest the need for comprehensive reviewing about the evaluation scope of the biology subject content knowledge and evaluation contents items in the basis of trend analysis in biology subject contents knowledge for secondary school teacher certification examination.

TF-IDF와 N-gram을 활용한 공연콘텐츠 선정평가기준 키워드 분석 : 공공기관 국고보조금 지원사업을 중심으로

정진이(Jung, Jin-Yi) 인문콘텐츠학회 2020 인문콘텐츠 Vol.0 No.58

본 연구는 현재 공연콘텐츠 국고보조금 지원주체인 공공기관의 평가기준을 점검하기 위해 평가항목 키워드 경향분석으로 공연콘텐츠 지원 평가체계 구축에 토대를 제공하기 위함이다. 다음과 같은 연구결과는 공연콘텐츠 평가시스템 전체를 기획하고 제안하기 위한 연구의 일환으로 시작되었다. 이를 위하여 텍스트마이닝 기법인 TF-IDF와 N-gram을 활용해 사업목적, 평가항목과 평가지표의 의미구조와 맥락을 형성하기 위한 키워드 간의 관계 및 의미화의 구조적 특징을 분석하였다. 연구결과는 다음과 같다. 첫째, 공연콘텐츠 선정평가의 목적에 분류를 4유형으로 나누어 살펴 본 결과 A유형인 지역경제활성화 및 지역브랜드구축으로 72건, B유형인 전통문화보존 및 전승으로 21건, C유형인 지역문화예술인 창작 및 예술향유 280건, D유형인 한류확산 및 문화예술 국제교류 16건으로 분석되었다. 여기서 보듯 선정평가 목적은 C유형에 편중되어 있는데 ‘지원’, ‘지역’, ‘문화예술’, ‘창작’, ‘제공’, ‘기회’, ‘발굴’ 등의 주제어가 국고보조금 선정 목적에 부합하고 있음을 알 수 있다. 둘째, 평가항목과 평가지표의 TF-IDF, N-gram 결과가 4가지 유형 모두 ‘계획’과 ‘기획’이라는 주제어가 상위 빈도가 높게 나타났는데 주체별 관점이나 사업목적별 기준에 맞는 평가가 적용되고 있지 못하는 것으로 파악되었다. 셋째, N-gram으로 하위연결망 구조를 파악해 본 결과, A는 ‘실현-가능성’, ‘국내외-협력’으로, B는 ‘예산-계획’, ‘현실성-수립적절’, C는 ‘사업-운영계획’, ‘실현-가능성’, D는 ‘마케팅-계획’, ‘계획-수립’등 제작목적 유형별 큰 차이가 없음을 보여주었다. The purpose of this study is to provide a foundation for the establishment of an evaluation system for supporting performance contents by analyzing the key word trend of evaluation items in order to check the evaluation criteria of public institutions that are currently the main national agents subsidies for performance contents. The following findings were initiated as part of a study to plan and propose the entire performance content evaluation system. To this end, the relationship between keywords and the structural characteristics of semanticization were analyzed to form the meaning structure and context of the project purpose, assessment item, and evaluation index using the text mining techniques TF-IDF and N-gram. The findings are as follows. First, the purpose of the evaluation of performance contents was divided into four types, and it was analyzed that 72 cases were made by revitalizing the local economy of type A and building a regional brand, 21 cases were made by preserving and inheriting traditional culture of type B, 280 cases were created by local cultural artists of type C, and 16 cases of spreading the Korean Wave of type D and international exchange of culture and arts. As you can see here, the purpose of the selection evaluation is focused on Type C, and the main topics such as ‘support’, ‘region’, ‘culture and arts’, ‘creation’, ‘providing’, ‘opportunity’ and ‘discovery’ are in line with the purpose of selecting state subsidies. Second, the TF-IDF and N-gram results of the assessment items and evaluation indicators showed that the top four types were all highly frequent with the main topics ‘plan’ and ‘plan’ but the assessment was not applied to the principal perspective or criteria for each project purpose. Third, N-gram’s understanding of the sub-network structure showed that there were no major differences in production purpose such as ‘realization-probability’ for A, ‘domestic-cooperation’ for B, ‘budget-planning’ for B, ‘reality-probability’ for C, ‘marketing-plan’ and ‘plan-fabrication’ for D.

체육과 중등학교교사 임용후보자 선정경쟁시험의 교과교육학 문항분석 및 지향성 탐색

신원규(Won-kyu Shin),한동수(Dong-soo Han),이주욱(Joo-wook Yi) 한국스포츠교육학회 2016 한국스포츠교육학회지 Vol.23 No.3

본 연구는 체육과 중등학교교사 임용후보자 선정경쟁시험 중 교과교육학 문항을 대상으로 선정하여 분석하였다. 분석틀은 표시과목 「체육」의 교사 자격 기준과 평가 영역 및 평가 내용 요소에 제시된 4개 평가 영역(체육교육론, 체육교육과정 및 평가, 체육교수법, 체육교재론)과 그에 따른 20개 평가 내용 요소를 활용하였다. 문항은 제7차 교육과정이 적용된 2001학년도부터 2016학년도 까지 총 133문항을 대상으로 하였으며, 2001~2008년도는 1차 시험(서술·단답형), 2009~2013년도는 1차 시험(선택형), 2014~2016년도는 전공A,B(기입형 · 서술형 · 논술형) 문항을 분석대상으로 선정하였다. 2009~2013년도 논술 문항을 제외한 이유는 교과교육학과 교과내용학이 통합된 형태의 문제이기 때문이다. 이에 1차 시험과 전공 A,B 문항 중 교과교육학 출제문항을 내용 및 출제비율과 배점비율로 구분하여 분석하였다. 더불어 평가 영역 및 평가 내용 요소별 문항분석과 평가 내용 요소별 문항내용을 구체적으로 제시하여 출제 문항의 경향성을 체계적으로 분석했다. 연구결과는 첫째, 한국교육과정평가원에서 제시한 출제기준을 준수했으며, 학교 현장을 반영한 문제들로 구성되었다. 둘째, 출제 문항과 평가 내용 요소간의 편중성이 나타났다. 셋째, 평가 영역 및 평가 내용 요소별 비율의 비균형성이다. 넷째, 특정 평가 내용 요소의 반복적 출제 경향의 문제로 분석했다. 이를 토대로 ‘평가 영역 및 평가 내용 요소의 재구성’, ‘평가 내용 요소의 구체화’, ‘사회적 변화에 따른 학교체육정책 변화 추세의 반영’, ‘2015 개정 체육과 교육과정과의 연계성 도모’의 내용을 후속연구로 제안했다. In this study, the question items on pedagogical subject contents were investigated in the secondary school physical education teacher appointment examination. For this research analysis, the teachers’ qualification standard in the indicated subject of Physical Education and evaluation areas were employed along with the four evaluation areas (physical education theory, physical education curriculum and evaluation, physical education teaching method, and physical education textbook theory) presented in evaluation factors and their accompanied 20 evaluation factors. A total of 133 question items were investigated herein from 2001 to 2016 subject to the 7th national education curriculum. between 2001-2008, the 1st exam; Between 2009-2013, the 1 st primary round of examination (multiple choice) was analyzed; and between 2014-2016, major study exams A and B (fill-in type, descriptive type and essay-type) questions. The essay-type questions between 2009-2013 were excluded from this research because they combined the pedagogical subject contents and curriculum details. Of the questions of 1st examination and major study exams A and B, those on pedagogical subject contents were analyzed by separating into their contents, frequency and allotted points. In addition, the evaluation area and evaluation content factor-specific question analysis was specifically stated along with the evaluation content factor-specific question details to systematically look at the directivity of presented questions. The study findings were, first, in compliance with the KICE(Korea Institute of Curriculum & Evaluation) presented exam question establishment standard; and consisted of questions reflecting the practical school field. Second, preponderance was found between presented questions and evaluation content factors. Third, evaluation area and evaluation content factor-specific proportion was found imbalanced. Forth, the problem was analyzed to be the repeated presentation of specific evaluation content factors. Based on this analysis, subsequent study is suggested to research the contents of evaluation area and evaluation contents factor re-organization; evaluation contents factor specification; reflection of school physical education policy change trends according to social change; and connectivity promotion with the revised 2015 Physical education curriculum.

채용 장면에서의 직업기초능력평가 문항에 대한 내용타당도 분석

김진실,김순호 한국취업진로학회 2023 취업진로연구 Vol.13 No.1

At a time when the discussion of job based HR system is becoming more important in accordance with future environmental changes, the use of objective evaluation tools based job competency is spreading in “recruitment announcement-document screening-written screening-interview screening”. Although it is an important procedure to analyze the validity of the recruitment system in that the recruitment system is operated by introducing a measurement and evaluation methodology for applicants, the validation of the Foundational Core Competency evaluation is very insufficient Therefore, through this study, the importance of the validity analysis of the NCS Foundational Core Competency assessment was recognized and the validity of the NCS Foundational Core Competency was analyzed though content validity analysis methodology. The subject of analysis of this study was 850 written questions on basic job skills of the 2022 competency-based recruitment model. For the content validity analysis, measurement and evaluation methodology experts and content experts by job group reviewed individual questions to quantitatively evaluate whether the question was related to the content to be measured. The rating scale consisted of a 4-point scale, and the questions rated at 3 or 4 were judged to have content relevance. The evaluation results were used as basic data for calculating CVI, and the level of content validity was indexed by calculating CVI for each area and job group. As a result of analyzing the relevance of the contents of each sub-domain in the basic vocational ability evaluation, the validity of the contents of the basic vocational ability evaluation was confirmed to be at a good level, and the measurement items stably included the contents to be measured. The content validity analysis used in this study has the advantage of being able to intuitively verify content relevance in that experts directly review the content of individual items to check the relevance with measurement factors, but the level of content validity is determined by the subjectivity of experts. Even though, there is also a disadvantage that objective verification is limited in that it is. unlike construct validity and criterion validity analysis that rely on statistical methodology, validity analysis by actual content experts is very meaningful. 미래 환경변화에 따른 직무중심의 인사관리체계의 논의가 중요해지고 있는 시점에서, “채용공고-서류전형-필기전형-면접전형”에 직무능력 중심의 객관적인 평가도구 활용이 확산되고 있다. 채용제도가 지원자에 대한 측정 및 평가 방법론을 도입하여 운영된다는 점에서 채용제도에 대한 타당도를 분석하는 것은 중요한 절차임에도 불구, 직업기초능력평가에 대한 타당도 검증은 매우 미흡한 실정이다. 따라서 이 연구를 통해 NCS 직업기초능력평가의 타당도 분석의 중요성을 인식하고 내용타당도 분석 방법론을 통해 NCS 직업기초능력평가의 타당도를 분석하였다. 이 연구의 분석대상은 2022년 능력중심채용모델의 직업기초능력 필기문항 850문항이다. 내용타당도 분석을 위하여 측정 및 평가 방법론 전문가와 직군별 내용전문가가 개별 문항을 검토하여 해당 문항이 측정하고자 하는 내용과 관련되어 있는지를 정량적으로 평정하도록 하였다. 평정 척도는 4점 척도로 구성되었으며, 3점 또는 4점으로 평정된 문항에 대하여 내용 관련성이 있다고 판단하였다. 평정 결과는 CVI를 산출하기 위한 기초자료로 활용되었고, 영역 및 직군별 CVI를 산출하여 내용타당도 수준을 지표화하였다. 직업기초능력평가는 10개 영역에 대한 하위 영역별 내용 관련성을 분석한 결과 직업기초능력평가 내용타당도가 양호한 수준으로 확인되어 측정 문항이 측정하고자 하는 내용을 안정적으로 포함하고 있었다. 이 연구에서 활용된 내용타당도 분석은 전문가가 개별 문항의 내용을 직접 검토하여 전문가의 주관성에 의해 내용타당도 수준이 결정된다는 점에서 객관적 검증이 제한적이라는 단점 또한 존재한다. 그러나 통계적 방법론에 의존하는 측면이 큰 구인 타당도, 준거 타당도 관점의 타당도 분석과 달리 실제 내용전문가에 의해서 전문가적 관점의 문항 검토 결과를 제시하고 이와 같은 검토 결과를 정량적인 타당도 지수로 산출하였다는 점에서 의의가 있다.

대학수학능력시험 「농업 이해」과목의 평가목표 이원분류에 의한 문항 유형 분석

김진구,이종범 한국농·산업교육학회 2010 농업교육과 인적자원개발 Vol.42 No.3

The purpose of this study was to analyze the item types by the two-dimensional classification of evaluative objectives on the 「Understanding of Agriculture」of the College Scholastic Ability Test(CSAT) and to identify question trend and main characteristics according to each item type. To achieve the purpose, the researcher analyzed the content and behavioral areas of the 360 items taken 18 times(6 in the CSAT, 12 in the preliminary CSAT) from the 「Understanding of Agriculture」since year 2005, vocational education test was first introduced and implemented in the CSAT, to 2010, and conducted SME group surveys and experts committee to ensure validity of the standards classifying content and behavioral areas of each item developed by researchers. The major results of this study are as follows; First, after the SME group validity surveys, the items ensured validity were 330 in the content areas and 280 in the behavioral areas with 80% of positive ratio and more than 0.56 of CVR. The main factors of low validity were the intervention by subjective viewpoints according to overlapping learning contents between chapters in contents areas and the general characteristics which classified into various types according to the viewpoints in behavioral areas. Second, after analyzing the item types by the two-dimensional classification of evaluative objectives, integrated lesson units accounted for the majority of content areas with the content system characteristics. 14 types were embodied in behavioral areas, 3 types of Knowledge, Knowledge and Understanding, and Understanding were accounted for 60%. Third, after embodying the item types based on the sub-factors of evaluation in each behavioral area, various types mixed with more than 2 kinds of evaluation factors were found. For example, among the types of measuring a single behavioral area, Knowledge type was embodied into 17 types. The majority of them was the type which measuring the ability of memorizing realistic contents, most taken from the unit of Foreign Farming. Among the types of measuring mixed with more than 2 kinds of behavioral areas, Knowledge and Understanding type was embodied into 31 types. The most of them was the type which measuring the ability of summarizing data at a new point of view by memorizing the contents on the terms and conceptions, most taken from the unit of Task Activities and the unit of Agriculture and Career. As the result, there was identified some different from the item types of behavioral area which measuring each contents area(Units, Chapters). 이 연구는 평가목표 이원분류를 기준으로 대학수학능력시험(이하 수능) 직업탐구 영역 「농업 이해」에서 출제되었던 문항들의 문항 유형을 분석하고, 각 문항 유형별 출제 경향 및 주요 특성을 파악하는데 그 목적이 있었다. 이를 위해서 이 연구에서는 직업탐구 영역이 처음 수능에 도입․시행된 2005학년도부터 2010학년도까지 한국교육과정평가원 주관의 18회 시험(수능 6회, 모의평가 12회)에서 출제되었던 「농업 이해」의 360문항에 대한 내용영역 및 행동영역을 분석하였고, 연구진에 의해 구안된 개별 문항의 내용영역 및 행동영역 분류 안에 대한 타당성을 확보하는 차원에서 전문가 집단을 대상으로 설문조사 및 전문가협의회를 실시하였다. 이 연구로부터 도출된 결론은 다음과 같다. 첫째, 교과전문가 집단을 대상으로 한 타당성 설문조사에서 긍정률 80%, CVR값 0.56이상으로 타당성이 확보되었던 문항은 내용영역 분류 안 330문항, 행동영역 분류 안 280문항이었다. 둘째, 평가목표 이원분류에 의하면, 내용영역은 입문(入門)적 성격 및 학습내용 중복과 같은 내용체계 특성으로 대단원 간 통합형이 가장 많았다. 행동영역은 14가지 유형으로 구체화되었는데, 이 중 지식, 지식+이해, 이해 등의 3가지 문항 유형이 전체 분석대상의 60%정도를 차지하였다. 셋째, 각 행동영역에서 측정하고자하는 하위 평가요소를 기준으로 문항 유형을 구체화한 결과, 14가지의 행동영역 유형별로 2개 이상 평가요소가 혼합된 다양한 형태의 문항 유형들이 발견되었다. 이 중 단일 행동영역만을 측정하는 유형 중, 17가지 유형으로 세분된 지식형은 사실적 내용을 기억하는 능력을 측정하는 유형이 가장 많았고, 6가지 유형으로 세분된 이해형은 자료를 새로운 관점에서 요약하고 자료에 내포된 함축적 의미 등을 파악하는 능력을 측정하는 유형이 가장 많았으며, 이 유형의 50%정도는 과제활동의 뜻 중단원 및 대단원 간 통합으로 출제되었다. 2개 이상 행동영역이 혼합된 형태의 유형 중 31가지 유형으로 세분된 지식+이해형은 용어와 개념에 관한 내용을 기억하여 자료를 새로운 관점에서 요약하는 능력을 측정하는 유형이 가장 많았다. 결과적으로 내용영역(대단원, 중단원)별로 측정하고자하는 행동영역의 유형에는 차이가 있었다.

중등 「가정」 교사 임용시험 문항 분석 - 평가 영역별 평가 내용 요소를 기준으로 -

정상희,박미정,채정현 한국가정과교육학회 2012 한국가정과교육학회지 Vol.24 No.2

The purpose of this study was to investigate the trends of HE exam questions through analyzing the examination items for secondary Home Economics(HE) teaching certification from 2002 to 2011. The results of the study were as follows:First, regarding the analysis on pedagogy of HE course, it accounted for 30.9% of the total questions, and recently, it increased to 35%. Regarding the ratio of questions by each evaluation element, ‘practice of teaching and learning methods for HE course’(33.2%) had the highest ratio, and ‘essence of the education of HE’(3.2%) had the lowest ratio. Second, regarding the analysis on eating habits, it amounted to 17.5% of the total questions, and recently reached 15%. With regard to the ratio of each evaluation element, ‘cooking theory and practice’(26.1%) had the highest ratio, and ‘culture of eating habits’(3.7%) had the lowest ratio. Third, regarding the analysis on clothing habits, it accounted 15% of the total questions, and recently reached 12.5%. With regard to the ratio of each evaluation element, ‘clothing management’(25.1%) and ‘production of clothing and living necessaries’(25.1%) had the highest ratio, and ‘selection of clothing and self-expression’(3.0%) had the lowest ratio. Fourth, regarding the analysis on housing life, it accounted for 11% of the total questions, and recently reaches 12.5%. With regard to each evaluation element, ‘the understanding of housing life culture’(22.5%) had the highest ratio, and ‘the understanding of housing interior design’(10.7%) had the lowest ratio. Fifth, regarding the analysis on daily life as a consumer, it accounted for 12.4%, and recently reaches 12.5%. With regard to the ratio of each evaluation element ‘management of domestic resources’(34%) had the highest ratio, and ‘planning of entire life and domestic welfare’(0%) had the zero ratio. Sixth, regarding the analysis on family life, it accounted for 13.3% of the total questions, and recently reaches 12.5%. With regard to the ratio of each evaluation element, ‘the understanding of family and the changes in family’(23.8%) had the highest ratio, and ‘marriage and the development of family’(2%) had the lowest ratio. 본 연구의 목적은 2002년도부터 2011년도까지 10년간의 가정과 ‘임용시험 문항’(이하 ‘총 문항’이라 칭함)을 대상으로 분야별 출제 비율 분석, 평가 내용 요소(이하 ‘평가 요소’라고 칭함)에 따른 문항 분석, 임용 상세화 기준 개발 이전과 이후의 분야별 평가 내용 요소를 분석하는데 있다. 연구 결과를 요약하면 다음과 같다. 첫째, 가정과교육학 분야의 분석 결과 총 문항 중 30.9%의 비중을 차지했으며, 최근에는 35%의 출제 비율을 보이고 있다. 평가 요소별 출제 비율을 보면 ‘가정과 교수․학습 방법의 실제’(33.2%)가 가장 높았으며, ‘가정과교육의 본질’(3.2%)은 가장 낮았다. 둘째, 식생활 분야의 분석 결과 총 문항 중 17.5%의 비중을 차지했으며, 최근에는 15%의 출제 비율을 보이고 있다. 평가 요소별 출제 비율을 보면 ‘조리원리 실습’(26.1%)이 가장 높았으며, ‘식생활 문화’(3.7%)는 가장 낮았다. 셋째, 의생활의 분야의 분석 결과, 총 문항 중 15%의 비중을 차지했으며 최근에는 12.5%의 출제 비율을 보이고 있다. 평가 요소별 출제비율을 보면 ‘의복 관리’(25.1%)와 ‘의복 및 생활용품 제작’(25.1%)이 가장 높았으며, ‘의복의 선택과 자기표현’(3.0%)은 가장 낮았다. 넷째, 주생활 분야의 분석 결과, 총 문항 중 11%의 비중을 차지했으며 최근에는 12.5%의 출제 비율을 보이고 있다. 평가 요소별로는 ‘주거생활문화의 이해’(22.5%)가 가장 높고, ‘주거실내디자인의 이해’(10.7%)는 가장 낮았다. 다섯째, 소비생활 분야의 분석 결과, 총 문항 중 12.4%의 비중을 차지했고, 최근에는 12.5%의 출제 비율을 보이고 있다. 평가 요소별 출제 비율을 보면 ‘가정자원관리’(34%)가 가장 높았으며, ‘생애설계와 가정복지’(0%)에서는 전혀 출제되지 않았다. 여섯째, 가족생활 분야의 분석 결과 총 문항 중 13.3%의 비중을 차지했고, 최근에는 12.5%의 출제 비율을 보이고 있다. 평가 요소별 출제 비율은 ‘가족에 대한 이해와 가족의 변화’(23.8%)가 가장 높았고, ‘결혼과 가족발달’(2%)은 가장 낮았다. 마지막으로, 전반적으로 임용 상세화 기준의 개발은 가정과 중등 임용 시험의 평가 영역별 내용 요소의 균등화와 다양화의 문제를 다소 완화하였다.

영어듣기시험 문항 타당도에 영향을 주는 요인 분석

장소영 ( Jang So Young ),김태영 ( Kim Taeyoung ) 글로벌영어교육학회(구 호남영어교육학회) 2018 Studies in English education Vol.23 No.2

The aim of this study is to investigate the characteristics of the nationwide standardized listening test items for middle school students in Korea. The test items are evaluated in terms of item difficulty, item discrimination power, fit statistics, and attractiveness of choices. Based on evidence from the quantitative analyses, the content of individual items was analyzed. In this study, responses from 271 students on a listening test of 20 items were collected and analyzed using Rasch measurement model and 3-parameter IRT model. The findings are as follows. First, reliability is .85 indicating that the test is reliable, but there were some misfit, overfit, and low point-biserial test items found including a variety of difficulty levels and discrimination index. Second, several items which show unexpected responses were selected critically to review the listening texts, question types, and choices. Finally, some suggestions and implications can be discussed for the development of listening tests. In order to enhance the test validity and reliability, constructs to measure listening ability should be refined and elaborated to fit the question types. Listening test length also should be designed by considering the listening process as well as efficiency of distracters.

강의평가 공통문항 개발을 위한 기초연구

전영미,김연희,유정아,박경문 한국교육컨설팅학회 2014 교육컨설팅연구 Vol.2 No.1

본 연구의 목적은 각 대학의 특성과 수업의 특성에 적합한 강의평가 문항을 개발하는데 기초가 되는 자료를 제시하는 것을 목적으로 하였다. 이를 위하여 선행연구 및 여러 대학에서 현재 실시되고 있는 강의평가문항을 분석하여 강의평가문항 풀을 구성하였고, 이를 기초로 서울과 수도권에 위치한 4개 대학 600여명 학생들을 대상으로 설문조사를 실시하였다. 본 연구에 사용된 설문지는 공통형 문항과 수업특성별 선택형 문항으로 구성되며, 전체적 만족도, 학생에 대한 태도, 수업내용 및 진행, 시험․과제․평가, 수업성과 및 적절성, 이론중심 교수법, 실험․실습․실기중심 교수법 영역에서 총 109개 문항이 선정되었다. 설문조사의 분석방법은 내용 분석 및 빈도 분석이었다. 분석 결과, ‘성실’, ‘존중’, ‘열의’, ‘분명한 수업 목적’, ‘주의 깊은 답변’이 강의평가문항으로 구성되어야 하는 가장 기초적인 요소로 분석되었다. 이는 대학의 특성과 관계없이 연구에 참여한 모든 학생들의 공통적인 의견으로 강의평가 문항을 개발할 때, 가장 크게 고려해야 할 요소라고 할 수 있다. 이런 점을 고려하여, 각 대학에서는 본 연구에서 제안한 강의평가 문항의 풀을 활용하되 각 대학의 특성과 규모를 고려한 평가 문항이 개발되어야 할 것이다. This study aims to provide the foundation for developing students' evaluation questionnaire considering differences schools and classes have. For the study, 600 students from four different universities participated, and survey designed based upon evaluation questionnaire pool from various schools was done. The survey consists of common-type and class-specific type questions and the questions include 109 questions from various dimensions such as overall satisfaction level, attitude towards students, content & progress of lecture, examination/assignment & feedback, outcome & appropriateness of class, theory-driven teaching method, and experiment-driven teaching method. The data of the survey was analyzed using content analysis and frequency analysis. The result showed that the questions concerning sincerity, respect, enthusiasm, explicit class objective, and thoughtful feedback were the most basic elements that class evaluation questionnaire should be comprised of. That is, these questions should be included when designing a general class evaluation questionnaire that does not regard characteristics of each school. The result suggests the use of the questions selected from the item pool proposed by the study with consideration to characteristics and size of each school.

체육 교과 중등학교 교사 임용후보자 선정경쟁시험의 스포츠사회학 문항 분석

이승만 한국스포츠사회학회 2020 한국스포츠사회학회지 Vol.33 No.2

The purpose of this study is to analyze the questions given in sport sociology of secondary school teacher appointment examination. To achieve the purpose of the research, this study covered 53 sport sociology questions out of a total of 520 questions from the 2002-2020 academic year, which were published on the website of the KICE. In order to analyze the questions set for the target, the following research results were derived using (1) the percentage of questions and points per year and (2) "Teacher's Qualification Criteria and Evaluation Areas and Assessment Content Elements of the marked subject physical education" as the questionnaires frame. First, questions of sport sociology accounted for 10.2 percent of the total 520 questions, with 53 questions coming out, and the scores accounted for 175.5 out of 1,990 points, accounting for 8.8 percent of the questions. Second, 12 questions were given in the 'Understanding Sport and Sociology' for each area of sports sociology, and two questions were given in the 'Relationship between Sport and Education' for the lowest number of questions, which showed bias in each area. 본 연구는 체육 교과 중등학교 교사 임용후보자 선정경쟁시험에서 출제된 스포츠사회학 문항을 분석하는데 그 목적이 있다. 연구 목적을 달성하기 위해 한국교육과정평가원 홈페이지에 공개된 2002학년도부터 2020학년도까지 19년간 출제된 총 520문항 중 스포츠사회학 53문항을 대상으로 연구를 수행하였다. 대상으로 설정한 문항을 분석하기 위해 (1) 연도별 문항 및 배점 비율과 (2)「표시 과목 체육의 교사자격기준과 평가 영역 및 평가 내용 요소」를 문항분석틀로 활용하여 다음과 같은 연구 결과를 도출하였다. 첫째, 체육 교과에서 스포츠사회학의 문항이 차지하는 비중은 전체 520문항 중 53문항이 출제되어 10.2%의 비중을 차지하고 있으며, 그 배점은 1,990점 중 175.5점을 차지하여 8.8%의 비중을 차지하고 있는 것으로 나타났다. 둘째, 스포츠사회학의 세부 영역별로 ‘스포츠 및 사회학의 이해’에서 12문항이 출제되어 가장 출제 빈도가 높고, ‘스포츠와 교육의 관계’에서 2문항이 출제되어 가장 출제 빈도가 낮아 영역별로 출제의 편중이 있는 것으로 나타났다. 이러한 결과를 토대로 중등교사 임용시험의 사회적 중요성을 강조하였고, 앞으로의 시험에서 반영해야 할 사항에 대한 논의를 제시하였다.

국어 시험의 현황과 개선 방안 ; 중등학교 국어 시험의 현황과 개선 방향 -고등학교 중간 고사 및 기말 고사를 중심으로-

류수열 ( Su Yeol Ryu ) 국어교육학회 2004 國語敎育學硏究 Vol.20 No.-