한국어능력시험(TOPIK) 중급과 고급 읽기영역의 문항 유형과 구성

동양,이혁화 영남대학교 인문과학연구소 2013 人文硏究 Vol.- No.69

This paper aims to set up the item types in the Intermediate and Advanced reading area in Test of Proficiency in Korean(TOPIK) by the classification standards, and to analysis their constructions. Through the comparative discussion of official TOPIK frameworks and some researcher’s works, the item types were classified by three cognitive process standards; access and retrieve, integrate and interpret, reflect and evaluate. In the intermediate and advanced reading area, it comes to the front that there is 9, and 11 item types respectively. Among the item types, only the ‘grasp the detail content’ type is classified into ‘access and retrieve’ category. The other item types are classified into ‘integrate and interpret’ category. There is no item type that can be classified into ‘reflect and evaluate’ category. On the kind and rate of item types according to the proficiency levels, it was found out that there is a tendency that the item types which is in ‘integrate and interpret’ category increased as the proficiency levels is higher. But it was found that some improvements are necessary, still. There is no item types in TOPIK which can be classified into ‘reflect and evaluate’ category. And the rate of item types according to the proficiency levels in TOPIK needs more empirical and theoretical grounds. Lastly, the fixation of the item types in TOPIK may cause some undesirable effects. 본고는 한국어능력시험(TOPIK)의 중급과 고급 읽기 영역을 대상으로 하여 문항 유형을 확립하고 숙달도에 따른 구성의 차이를 분석하여 개선에 필요한 시사점을 얻는 데에 목적이 있다. 한국어능력시험 중급과 고급의 읽기 영역 문항 유형은 공개된 문항틀에 제시된 문항 유형을 바탕으로 여러 논의들의 제안을 비교하여 논의하되, 인지 과정을 기준으로 하여 ‘접근과 확인’, ‘통합과 해석’, ‘성찰과 평가’ 범주를 분류의 기준으로 하였다. 그 결과 한국어능력시험 중급의 읽기 영역에서는 9가지, 고급의 읽기 영역에서는 11가지 문항 유형이 사용되고 있으며, 문항 유형 중에서 ‘세부 내용 파악하기’만이 ‘접근과 확인’ 범주에 속하고 나머지 유형은 모두 ‘통합과 해석’ 범주에 속하는 것으로 나타났다. 숙달도에 따라 문항 유형의 종류와 비율을 고찰한 결과, 초급에서 고급으로 갈수록 ‘접근과 확인’ 범주의 문항 유형은 줄어들고 ‘통합과 해석’ 범주의 문항 유형은 늘어난 것으로 나타났다. 전체적으로 볼 때 이러한 경향은 바람직하다고 볼 수 있으나, 신뢰도와 타당도를 갖춘 평가 도구로서의 성격을 감안할 때 한국어능력시험 읽기 영역에는 여전히 개선할 점이 존재한다. 구체적으로는 ‘성찰과 평가’ 범주에 속하는 문항 유형이 존재하지 않으며, 숙달도에 따른 문항 유형의 비율에 경험적이고 실제적인 근거가 필요하고, 문항 유형을 고정하여 배치함으로써 부정적인 효과가 나타날 수 있다는 점 등에서 개선이 필요하다.

대학수학능력시험 「농업 이해」과목의 평가목표 이원분류에 의한 문항 유형 분석

김진구,이종범 한국농·산업교육학회 2010 농업교육과 인적자원개발 Vol.42 No.3

The purpose of this study was to analyze the item types by the two-dimensional classification of evaluative objectives on the 「Understanding of Agriculture」of the College Scholastic Ability Test(CSAT) and to identify question trend and main characteristics according to each item type. To achieve the purpose, the researcher analyzed the content and behavioral areas of the 360 items taken 18 times(6 in the CSAT, 12 in the preliminary CSAT) from the 「Understanding of Agriculture」since year 2005, vocational education test was first introduced and implemented in the CSAT, to 2010, and conducted SME group surveys and experts committee to ensure validity of the standards classifying content and behavioral areas of each item developed by researchers. The major results of this study are as follows; First, after the SME group validity surveys, the items ensured validity were 330 in the content areas and 280 in the behavioral areas with 80% of positive ratio and more than 0.56 of CVR. The main factors of low validity were the intervention by subjective viewpoints according to overlapping learning contents between chapters in contents areas and the general characteristics which classified into various types according to the viewpoints in behavioral areas. Second, after analyzing the item types by the two-dimensional classification of evaluative objectives, integrated lesson units accounted for the majority of content areas with the content system characteristics. 14 types were embodied in behavioral areas, 3 types of Knowledge, Knowledge and Understanding, and Understanding were accounted for 60%. Third, after embodying the item types based on the sub-factors of evaluation in each behavioral area, various types mixed with more than 2 kinds of evaluation factors were found. For example, among the types of measuring a single behavioral area, Knowledge type was embodied into 17 types. The majority of them was the type which measuring the ability of memorizing realistic contents, most taken from the unit of Foreign Farming. Among the types of measuring mixed with more than 2 kinds of behavioral areas, Knowledge and Understanding type was embodied into 31 types. The most of them was the type which measuring the ability of summarizing data at a new point of view by memorizing the contents on the terms and conceptions, most taken from the unit of Task Activities and the unit of Agriculture and Career. As the result, there was identified some different from the item types of behavioral area which measuring each contents area(Units, Chapters). 이 연구는 평가목표 이원분류를 기준으로 대학수학능력시험(이하 수능) 직업탐구 영역 「농업 이해」에서 출제되었던 문항들의 문항 유형을 분석하고, 각 문항 유형별 출제 경향 및 주요 특성을 파악하는데 그 목적이 있었다. 이를 위해서 이 연구에서는 직업탐구 영역이 처음 수능에 도입․시행된 2005학년도부터 2010학년도까지 한국교육과정평가원 주관의 18회 시험(수능 6회, 모의평가 12회)에서 출제되었던 「농업 이해」의 360문항에 대한 내용영역 및 행동영역을 분석하였고, 연구진에 의해 구안된 개별 문항의 내용영역 및 행동영역 분류 안에 대한 타당성을 확보하는 차원에서 전문가 집단을 대상으로 설문조사 및 전문가협의회를 실시하였다. 이 연구로부터 도출된 결론은 다음과 같다. 첫째, 교과전문가 집단을 대상으로 한 타당성 설문조사에서 긍정률 80%, CVR값 0.56이상으로 타당성이 확보되었던 문항은 내용영역 분류 안 330문항, 행동영역 분류 안 280문항이었다. 둘째, 평가목표 이원분류에 의하면, 내용영역은 입문(入門)적 성격 및 학습내용 중복과 같은 내용체계 특성으로 대단원 간 통합형이 가장 많았다. 행동영역은 14가지 유형으로 구체화되었는데, 이 중 지식, 지식+이해, 이해 등의 3가지 문항 유형이 전체 분석대상의 60%정도를 차지하였다. 셋째, 각 행동영역에서 측정하고자하는 하위 평가요소를 기준으로 문항 유형을 구체화한 결과, 14가지의 행동영역 유형별로 2개 이상 평가요소가 혼합된 다양한 형태의 문항 유형들이 발견되었다. 이 중 단일 행동영역만을 측정하는 유형 중, 17가지 유형으로 세분된 지식형은 사실적 내용을 기억하는 능력을 측정하는 유형이 가장 많았고, 6가지 유형으로 세분된 이해형은 자료를 새로운 관점에서 요약하고 자료에 내포된 함축적 의미 등을 파악하는 능력을 측정하는 유형이 가장 많았으며, 이 유형의 50%정도는 과제활동의 뜻 중단원 및 대단원 간 통합으로 출제되었다. 2개 이상 행동영역이 혼합된 형태의 유형 중 31가지 유형으로 세분된 지식+이해형은 용어와 개념에 관한 내용을 기억하여 자료를 새로운 관점에서 요약하는 능력을 측정하는 유형이 가장 많았다. 결과적으로 내용영역(대단원, 중단원)별로 측정하고자하는 행동영역의 유형에는 차이가 있었다.

혼합 문항유형 검사의 가교문항 수에 따른 IRT 동등화 정확성 비교

황소림(Hwang so-rim) 한국교육평가학회 2007 교육평가연구 Vol.20 No.3

  학교현장과 대단위 평가에서 많이 사용되는 혼합 문항유형(혼합형) 검사는 문항유형에 기인한 다차원성을 지니고 있기 때문에 동등화에 있어 선다형 문항만으로 구성된 검사의 동등화에서 적용되어온 기본 가정이나 경험적인 연구결과를 그대로 적용할 수 있는가에 대한 확인이 필요하다. 이 연구에서는 가교문항 수 대한 기존의 연구결과들이 혼합형 검사의 동등화에서도 적용될 수 있는가를 탐색하였다. 모의 자료에 기초하여 검사 차원성의 5조건과 가교문항의 구성의 7조건을 설정하여 전체 35개 조건에서 4개 문항반응이론 동등화 방법으로 혼합형 검사 동등화를 시행하였다. 연구결과, 혼합형 검사에서는 가교문항 수가 많을수록 동등화 결과의 정확성이 높아진다는 기존 연구결과는 적용되기 어려운것으로 나타났으며 가교문항 수보다는 가교문항 유형의 구성에 따라 동등화 오차가 감소함을 확인할 수 있었다. 또한 가교문항 유형이 전체 검사의 문항유형 구성에 대한 대표성을 가질 때 최소한 요구되는 가교문항 수로도 다른 가교문항 유형에 비해 오차가 적은 경향을 보였다.   A simulation study was conducted to investigate the accuracy of equating results according to the anchor item number under the 35 conditions of test dimensionality and anchor test type and under the every conditions 4 IRT equating methods were conducted.<BR>  As a results, considering the number of anchor items, three aspects were investigated. First, regardless of format effects, comparing the effect of the number of the anchor items, when the number of the anchor items of single-format was largest in this study, the error decreased under the unidimensional condition. but when the number of the anchor items of mixed-format was smallest, the error tended to decrease under the multidimensional condition. Second, controlling the constitution of item format to be similar, the error tended to be decreased as the number of anchor items increased. Third, controlling the number of the anchor items, the three anchor test types which had different item format constitution yielded different accuracy of the equating results under the multidimensional conditions. That is, even though the number of the anchor item was same, the equating error in mixedformat anchor tests which had different item format constitutions showed larger discrepancy as the multidimensionality became larger.<BR>  In conclusion, how to consist the different item format in anchor test seems to be more important than increasing the number of anchor items to increase the accuracy of mixed-format test equating results if each item format doesn"t measure same construct.

한국어 읽기 유형과 평가 문항 간 연계성 연구 - 사실적 읽기와 추론적 읽기를 중심으로 -

전다은,박진욱,안정호 한성어문학회 2023 漢城語文學 Vol.50 No.-

본 연구는 읽기 평가 문항이 측정하고자 하는 읽기 유형을 담보로 하고 있는지에 대한 의문에서 시작하였다. 이를 위해 먼저 그간 연구되어 온 읽기 유형에 대한 분류에서부터 읽기 평가 문항 유형에 대한 것을 살폈다. 그 과정을 통해 이론적 관점에서 분류한 읽기 유형과 실증적 분석에 의한 읽기 문항 분류가 일치하지 않는다는 것을 알게 되었다. 하나의 읽기 유형을 평가하기 위해 특정 문항 유형을 선택하기는 하지만 그것이 절대적이지는 않다는 것이다. 그리고 어떤 읽기 유형을 온전히 평가하기 위해서는 어떤 조건이 충족되어야 하는 것인가를 알아보았다. 이를 위해 기 시행된 한국어능력시험(TOPIK) 읽기 평가에서 목표로 한 이해 유형이 문항에 온전히 반영되지 못한 사례를 살펴보았다. 그 결과 특정 문항 유형이 특정 읽기 유형의 온전한 평가를 담보하지 못함을 확인하면서 문항의 지문과 선지를 어떻게 구성하느냐가 매우 중요한 요인이 됨을 밝혔다. 문항을 구성할 때는 수험자가 문항을 풀이하는 과정에서 행하는 읽기 과정을 모두 고려해야 한다는 점을 확인하였다. This research was initiated by questioning the accuracy of reading assessment questions measuring their intended type of reading comprehension. To investigate this, the study first delved into historical classifications of reading types and subsequently examined the formats of reading assessment questions. Through this process, the study identified a disparity between reading types defined theoretically and those determined through empirical analysis. While particular question formats might be chosen to assess a specific type of reading comprehension, their accuracy isn’t guaranteed. The study also sought to understand the prerequisites necessary for a comprehensive assessment of any given reading type. As part of this investigation, the study analyzed instances from the previously conducted Test of Proficiency in Korean (TOPIK) reading tests, where the desired comprehension type wasn’t wholly represented in the questions. The findings revealed that specific question formats don’t always ensure a thorough assessment of certain reading types. This underscores the critical role of how a question’s passages and choices are crafted. When designing questions, it’s crucial to account for the entire reading process a candidate goes through while answering them.

대학수학능력시험 〈사회·문화〉 문항 분석 연구

설규주(Seol Kyujoo),강대현(Kang Daehyun) 한국사회과교육연구학회 2012 사회과교육 Vol.51 No.3

이 논문에서 연구자들은 대학수학능력시험 문항 개발 및 검토가 이루어지는 현장의 경험과 사회·문화영역 및 과목의 특성과 학습 요소 및 방법에 대한 논의를 토대로 하여, 대학수학능력시험 〈사회·문화〉 과목 문항에 대한 유형화와 분석을 시도하였다. 구체적으로 이른바 수능형 문항 개발 및 검토 과정에서 가장 중요한 부분이라고 할 수 있는 자료와 답지의 논리적 관계에 따라 문항의 유형을 추상-추상, 추상-구체, 구체-추상, 구체-구체 등 네 가지로 유형화하였다. 그리고 각 문항 유형별로 나타날 수 있는 특징과 문제점을 구체적인 예시 문항을 가지고 분석하였다. 또한 각 유형별 문항에서 나타날 수 있는 문제점을 개선하기 위해, 문항 개발 및 검토 과정에서 실제적으로 고려할 수 있는 구체적인 방안과 전략을 제시하였다. In this study, we tried to categorize and analyze the Korean CSAT(College Scholastic Ability Test) question items of ‘Society·Culture’, based on the experiences of developing and reviewing of Korean CSAT question items and the discussions of characteristics, learning element and learning method of the area or subject ‘Society·Culture’. Specifically, we considered the logical relationship of materials and answers of question items in the process of developing and reviewing what we call CSAT-formed question items. And we categorized the four types of question items such as abstract materials-abstract answers, abstract materialsconcrete answers, concrete materials-abstract answers, and concrete materials-concrete answers. So, we analyzed the characteristics and problems of the four types of question items according to the logical relationship of materials and answers. And we suggested the strategies and plans to improve the problems of four types items.

대학수학능력시험 한문 과목 "한자어 영역"의 출제 경향 및 문항 유형 분석

장호성 ( Ho Sung Chang ) 韓國漢字漢文敎育學會 2009 漢字 漢文敎育 Vol.23 No.-

본 연구는 앞서 수행하였던 "대학수학능력시험 한문 과목 `한자 영역`의 출제 경향 및 문항 유형 분석"의 후속 작업이다. 따라서 본 연구에서의 `한자어 영역`에 대한 분석의 방향 역시 `출제 경향`과 `문항 유형`의 차원으로 그 범주를 설정하였다. 본 연구에서는 2005학년도 6월 모의평가부터 2010학년도 9월 모의평가까지 총 17회의 문항을 검토 대상으로 하여 분석을 진행하였다. 먼저 출제 경향의 차원에서 살펴본 결과, 한자어 영역의 문항 수는 전체 문항 수의 30%인 9문항이 출제되어 『출제 매뉴얼』에서 제시한 시행 지침과 일치하고 있다. 그러나 배점으로 보면 `12점(24%)~15점(30%)`로 구성되어 `한자어`의 비중이 최고 6% 정도 낮게 나타나고 있다. 문항의 평가 요소를 살펴보면 한자어 영역의 학습 요소를 고르게 반영하고 있으며, 문항의 유형 역시 다양하게 변화를 거듭하고 있다. 이러한 유형의 변화는 내용상 타당성을 높이거나 변별도를 제고하거나 정답률을 조정하기 위한 노력의 일환인 동시에 기출 문항에 저촉되지 않기 위한 것이기도 하다. 또한 삽화를 적극 활용하고 있는 것도 특징 중의 하나라 할 수 있다. 본 연구에서는 대학수학능력시험 한문 과목 `한자어 영역`에 대한 분석을 `출제 경향`과 `문항 유형`의 차원에 국한하여 수행하였다. 차후로 `한문 영역`에 대해서도 이와 같은 분석 작업이 계속되어야 할 것이다. 이를 통해 대학수학능력시험 한문 과목의 전체적인 출제 경향 및 문항 유형 분석 작업이 마무리되면 한 단계 더 나아가 `문항의 양호도`에 관한 연구를 수행할 필요가 있다. 이러한 일련의 작업은 앞으로의 과제로 남긴다. This is the succeeding research of "the analysis of the question`s trend and pattern of Chinese characters for college scholastic ability test" preceded. Accordingly, in this study, it has been set up for a word written in Chinese characters in two ranges of analysis which are a tendency of questions and question patterns in College scholastic Ability Test. It was carried out research on 17 times of tests and questions from 2005 to 2010 in Chinese Characters. First of all, it seems like to meet a point being required setting pattern for examinations that they were nine questions which was 30% of the whole one viewing tendency of questions in general. However, it was obviously shown that the mark allotting was 24% to 30%, 6% as low as other subjects. Generally speaking, each question has been considered for the variety of study a word written in Chinese characters and it looked like a good effort to make a high quality questions for students. Next, being checked all question, it was made a variety of types in the test. Because of fixing the classification and a percentage of correct answers, examiners tried to make the best use of things for the better test. This research has carried out for the college scholastic ability test a word written in Chinese characters between a tendency of questions and question patterns. From now on examiners need to study for being good about each question with statistic estimation and smart technique.

한국어 읽기 평가에서 자동 문항 생성의 가능성 탐색

이하늘,이용상 인하대학교 교육연구소 2024 교육문화연구 Vol.30 No.3

최근 평가 문항 출제 시간 및 비용에 대한 부담을 완화하는 방안의 일환으로, 생성형 인공지능을 활용한 자동문항 생성이 주목받고 있다. 특히, 영어나 한국어와 같은 언어 평가에서는 평가 문항과 함께 지문을 제작해야 한다는측면에서 문항 개발의 부담이 가중된다고 할 수 있다. 따라서, 언어 평가의 문항 개발 및 검토의 부담을 경감하는차원에서 인공지능을 활용한 자동 문항 생성의 가능성에 관해 연구할 필요성이 있다. 이에 따라, 본 연구는 ChatGPT를활용하여 한국어 읽기 평가에서 문항 유형 및 프롬프트 엔지니어링 방식에 따른 자동 문항 생성의 가능성을 탐색하고ChatGPT가 생성한 문항의 적합성을 분석하는 것을 목적으로 한다. 이를 위해 본 연구에서는 국립국제교육원 주관의한국어능력시험(TOPIK) 읽기 영역의 평가 문항을 바탕으로 평가 요인별 문항 유형을 분류하고, 각 문항 유형에 따라프롬프트 엔지니어링 방식을 다양하게 구성하여 문항과 지문을 생성하였다. 또한, ChatGPT가 생성한 문항에 대해한국어 교육 전문가의 검토를 통해 문항의 질을 평가하였다. 이때, 동일한 유형의 문항에 대해 프롬프트 엔지니어링방식에 따라 ChatGPT가 생성한 문항의 질이 차이가 있는지를 분석하였으며, 프롬프트 엔지니어링 방식이 동일한경우 ChatGPT가 높은 질의 문항을 생성할 수 있는 문항 유형에 대해 분석하였다. 이러한 분석 결과를 바탕으로, 한국어 읽기 평가에서 ChatGPT를 활용한 자동 문항 생성의 가능성과 향후 관련 연구의 방향성을 논의하였다. Recently, there has been growing interest in automated item generation(AIG) using generative artificial intelligence in the field of education to alleviate the burden of time and cost associated with test item development. Particularly, in language assessment, there is a higher burden of item development as a necessity for creating passages along with test items. Therefore, it is necessary to research the potential of using artificial intelligence for AIG to reduce the burden of item development in language assessments. Accordingly, this study aimed to explore the possibility of AIG according to item types and prompt engineering techniques in Korean reading assessment using ChatGPT and to analyze the suitability of the items generated by ChatGPT. For this purpose, item types were selected for each construct based on the reading section of the Test of Proficiency in Korean (TOPIK) administered by the National Institute of International Education. Items and passages were generated by varying the methods of prompt engineering according to each item type. Furthermore, the quality of the items generated by ChatGPT was evaluated through the review of Korean education experts. We analyzed whether the quality of the items generated by ChatGPT differs depending on the prompt engineering techniques for the same type of items, and analyzed the types of items that ChatGPT can generate higher quality items when the prompt engineering technique is the same. Based on the results, we discussed the feasibility of automated item generation using ChatGPT in Korean reading assessments and directions for improvement.

문항모수 추정치에 기반한 문항 및 검사 신뢰도의 추정

강태훈(姜兌勳) 서울대학교 교육연구소 2011 아시아교육연구 Vol.12 No.1

이 연구에서는 다양한 교육 및 심리 검사의 결과에 대해서 문항반응이론(IRT: item response theory) 모형을 활용하여 문항 및 검사 신뢰도를 추정하는 방법을 소개한다. Dimitrov(2003)는 이분 문항으로 이루어진 검사 결과를 가지고 IRT 모수 추정치의 함수로서 문항 및 검사 신뢰도를 추정하는 방법을 제안하였는데, 이 연구에서는 이를 확장하여 다분 및 혼합유형(mixed format) 문항 검사에 모두 적용할 수 있는 일반화된 방법을 유도함으로써 보다 폭넓은 적용이 가능하도록 하였다. 이와 같은 방법론의 실제적 적용을 예시하기 위하여 각각 영어와 수학의 성취도를 측정하는 두 검사의 자료가 사용되었다. 신뢰도 추정치들을 살펴본 결과, 문항 수준의 신뢰도는 각 검사의 제작 및 문항 평가에 있어서 유용한 정보를 제공해 줄 수 있을 것으로 나타났다. 두 실제 검사 자료 모두에서 IRT에 기반을 둔 검사 수준의 신뢰도는 Cronbach"s α계수에 비해서 약간 큰 값을 가지는 것으로 추정되었는데, 이러한 현상의 이유를 설명하기 위하여 두 신뢰도 추정 방법의 관계 및 차이가 심층적으로 논의되었다. This article introduces a technique to estimate item and test reliability for a psychological and educational test as a function of the item response model parameters. Dimitrov(2003) suggested a framework to calculate item and test reliability coefficients for a dichotomous item test as an application of IRT. This study generalized his method into the application for polytomous and mixed-format item tests. Two actual mixed-format test data sets were used to illustrate the use of the reliability estimation technique. The item level reliabilities seemed to be useful in the context of developing and evaluating test items. The estimated reliability based on IRT tended a little bit larger than Cornbach"s α coefficient. The relationship and difference between the two reliability estimation methods were further discussed.

문항 유형이 아랍어 학습자의 듣기 이해도 및 듣기 전략에 미치는 영향

문지영 한국이슬람학회 2022 한국이슬람학회논총 Vol.32 No.1

This study aims to examine the effects of question types on the listening comprehension and listening strategy use of Arabic Learners. 24 Arabic learners(First Year 2nd Semester) were divided into two groups regarding question type: one group was given multiple-choice questions, and the other was given short answer questions. A survey on strategy use of the participants were conducted. There searcher compared the listening comprehension of the two groups by using the T-test. The listening strategy use of the two groups was analyzed in the way of counting frequency of strategy use. The results of this study are as follows: First, the group with multiple-choice questions received higher scores than the group with short answer questions. This proved that question types had an effect on the participants' listening comprehension. Second, the group with multiple-choice questions used more strategies than the group with short answer questions. Among the strategies related to options, the group with multiple-choice questions the most frequently employed strategy was the strategy of inferring unknown meaning by using options. Among the strategies which were not related to options, three strategies were used more by the group with multiple-choice questions than by the group with short answer questions. The three strategies included taking notes, translating in Korean, and using known words in an utterance to guess the meaning of the message. Third, advanced learners employed fewer strategies than low-level learners. On the multiple-choice test, the advanced learners used three strategies more than the low-level learners. One was the strategy of activating appropriate schemas related to the topic, another was the strategy of deciding to focus on specific aspects of language input, and the other was the strategy of deciding to focus on the language input in general. The strategies related to options were employed more by the advanced learners than by the low-level learners. On the short answer test, the advanced learners used four strategies more than the low-level learners. They included the strategy of activating appropriate schemas related to the topic, the strategy of deciding to focus on specific aspects of language input, the strategy of deciding to focus on the language input in general, the strategy of uttering known words to guess the meaning of the message. 본 연구에서 선다형 문항과 단답형 문항을 대학교 1학년 2학기 아랍어 학습자에게 실시하여 듣기 이해도와 듣기 전략을 측정한 결과는 다음과 같다. 문항 유형에 따른 두 집단의 듣기 이해도 검사 평균점수를 비교한 결과, 문항 유형은 듣기 이해도 검사에 유의미한 영향을 끼치는 것으로 나타났다. 선다형 문항과 단답형 문항의 듣기 전략 빈도수를 비교한 결과는 다음과 같다. 첫째, 선다형 문항 집단은 단답형 집단에 비해 듣기 전략을 더 많이 사용한 것으로 나타났다. 선다형 문항에서는 학습자들에게 선택지가 제시되었기 때문에 선택지와 관련된 전략을 사용하였다. 선택지와 관련된 전략은 4가지로 4가지 유형 중 가장 많이 사용된 전략은 모르는 내용을 선택지로 추측하여 의미 파악하기였다. 다음으로 듣기 전 선택지를 미리 읽고 기존의 지식과 들을 내용을 연관시키기, 듣기 전 선택지를 미리 보고 오답 미리 제거하기, 들으면서 선택지에서 오답인 것을 제거하기의 순서대로 나타났다. 둘째, 학습자들이 사용한 듣기 전략 중 선택지와 관련된 전략을 제외한 나머지 전략은 6가지로 이 중 선다형 집단이 단답형 집단에 비해 더 많이 사용한 전략은 3가지이다. 3가지 전략은 들은 내용이나 단어를 메모하기, 들은 내용을 우리말로 해석하여 의미를 파악하기, 들으면서 이해한 일부 단어로 전반적인 의미를 파악하기이다. 상위 수준의 학습자는 선다형 문항과 단답형 문항에서 모두 하위 수준의 학습자에 비해 듣기 전략을 더 적게 사용하는 것으로 나타났다. 선다형 문항에서 상위 수준의 학습자는 하위 수준의 학습자에 비해 듣기 전 질문을 미리 읽고 기존의 지식과 들을 내용을 연관시키기, 듣기 전 질문의 내용에 따라 부분적으로 집중하고자 계획하기, 듣기 전 질문의 내용에 따라 전체적으로 집중하고자 계획하기 전략을 더 많이 사용하였다. 선택지와 관련된 전략은 4가지 전략은 상위 집단보다 하위 집단의 학습자들이 더 많이 사용한 것으로 나타났다. 선다형 집단에서 상위 수준의 학습자에 비해 하위 수준의 학습자가 더 많이 사용한 전략은 3가지로, 들은 내용이나 단어를 메모하기, 들은 내용을 우리말로 해석하여 의미를 파악하기, 들으면서 이해한 일부 단어로 전반적인 의미를 파악하기가 이에 해당한다. 단답형 문항에서 상위 수준의 학습자가 하위 수준의 학습자에 비해 많이 사용한 듣기 전략은 4가지로 듣기 전 질문을 미리 읽고 기존의 지식과 들을 내용을 연관시키기, 듣기 전 질문의 내용에 따라 부분적으로 집중하고자 계획하기, 듣기 전 질문의 내용에 따라 전체적으로 집중하고자 계획하기, 들으면서 이해한 일부 단어로 전반적인 의미를 파악하기를 포함한다. 특히 듣기 전 질문을 미리 읽고 기존의 지식과 들을 내용을 연관시키기는 상위 집단과 하위 집단 간 빈도수의 차이가 다른 전략에 비해 크게 나타났다. 단답형 집단에서 상위 수준 학습자에 비해 하위 수준의 학습자가 더 많이 사용한 전략은 2가지로 들은 내용이나 단어를 메모하기, 들은 내용을 우리말로 해석하여 의미를 파악하기가 이에 해당한다.

혼합형 가교문항 구성 방법이 혼합형 검사 동등화에 미치는 영향

이소라(Sora Lee),상경아(Kyongah Sang),정태순(Tai Sun Jeong),심준식(Jun Sik Sim) 한국교육평가학회 2023 교육평가연구 Vol.36 No.1

2022년 도입된 컴퓨터 기반 국가수준 학업성취도 평가에서는 일부 구성형 문항에 대해 혁신문항(innovative item) 개발을 도입하였다. 최근 역량 기반의 구성형 문항의 비율이 꾸준히 늘어났고, 혁신문항 도입으로 문항 유형 간 다차원성이 증가할 만한 상황에서, 선택형 문항에서만 가교문항을 선정하는 기존 동등화 방식으로 적정 수준의 동등화 정확성을 유지할 수 있는지 점검이 필요한 시점이다. 이를 위해 선택형뿐만 아니라 구성형 문항도 포함하는 혼합형 가교문항 구성 방식이 검사 동등화 안정성에 미치는 영향을 모의실험을 통해 탐색하였다. 연구 결과, 가교문항의 선택형 단일 구성과 혼합 구성 간 동등화 오차는 큰 차이가 없는 것으로 나타났으나 구성형 문항의 비율을 높일 때 오차가 줄어들었다. 전체 검사에서 혼합형 가교문항의 구성 비율에 따른 결과를 보면, 20% 내외일 때는 동등화 결과에 큰 차이가 없는 것으로 나타났다. 문항 유형에 따른 다차원성이 존재하는 경우에는 일차원성 검사에 비해 동등화 오차가 확연히 증가하였으며, 특히 혼합형 가교문항을 활용할 때 동등화 오차의 증가가 두드러져 다차원 검사에서는 구성형 가교문항의 활용에 신중해야 하는 것으로 나타났다. With the introduction of innovative items in the computer-based NAEA, the item format became diversified, and the current method of selecting anchor items from multiple-choice (MC) items became burdensome for test developers. The purpose of this study is to examine whether a mixed-format anchor items including both MC and constructed-response (CR) items could hold the stability of equating in the NAEA, and give desirable direction to expand the range of anchor items and to make test construct flexible. A simulation study was conducted based on a common-item non-equivalent group design with the test conditions of the Korean subject in the NAEA. The treatment conditions include (1) a type of anchor item set (a single MC or a mixed), (2) a composition type of mixed anchor item (MC:CR = 1:1, 3:2, or 3:4), (3) a length of mixed anchor items within a test (25%, 22%, or 19%), and (4) the presence of multidimensionality according to the item format were assumed. The main result is that there was no significant difference in the equating error between the single MC and the mixed anchor item condition. Specifically the equating error of the single MC was smaller than that of the mixed-format cases where the ratios between MC and CR were 1:1 and 3:2. In the 3:4-ratio mixed condition, the equating error was smaller than that of the single MC condition. A length of mixed anchor items within a test showed somewhat mixed results, probably because there was not much variation between the conditions in the composition ratio, about 20% in test. When there was multidimensionality according to the item format in the test, the equating error increased significantly with mixed anchor items compared to that of unidimensional test condition. In sum, about 20% of the mixed anchor items with slightly higher CR ratio was found to be suitable in the unidimensional test and caution was called for in using mixed anchor items in multidimensional test.