검사 길이 변화에 따른 국가수준 학업성취도 평가의 안정성 분석

김희경,김성훈 한국교육과정평가원 2023 교육과정평가연구 Vol.26 No.1

본 연구는 대규모 평가에서 일어나는 문항 수 감축 상황이 점수척도의 안정성에 어떠한 영향을 끼치는지 점검하는 것을 목적으로 하였다. 따라서 “대규모 표준화 검사도구가 이전과 비교하여 축소된 문항 수로 구성됨에도 불구하고 척도의 점수대별 오차가 안정적인가?”하는 문제를 확인하기 위한 모의실험을 수행하였다. 이를 위해 검사 길이가 축소되기 이전의 교과별(국어, 수학, 영어) 실제 검사를 기반으로 모의 검사를 구성하였다. 또한 문항반응이론에 기반하여 동일한 능력점수()를 가진 학생별로 1,000명의 모의 검사에 대한 응답 자료를 생산하였다. 국가수준 학업성취도 평가와 유사한 목적을 가진 대규모 학생평가에서는 특히 ‘기초학력 미달’ 학생 비율에 대한 연도 간 변화에 사회적인 관심이 크게 집중되므로 척도의 안정성은 ‘기초학력’과 ‘기초학력 미달’ 판별의 정밀함이 관건이다. 본 연구를 통해 산출된 모의실험 결과를 요약하면, 기초학력과 기초학력 미달의 경계선 부근 학생을 판별하기에 적당할 정도로 난이도가 낮으면서(문항반응이론 난이도 b –1.5)이면서 변별력도 어느 정도 갖춘 (문항반응이론 변별도 a 0.5) 문항을 교과별 검사에서 최소한 3개 이상 갖춘 경우, 기초학력 미달 분할점수 부근 학생의 성취도(능력점수) 추정의 평균오차(RMSE)가 0.05를 초과하지 않을 정도로 안정적임을 확인하였다. The 2019 NAEA(National Assessment of Educational Achievement) for high school is planed to implement a new type of item to measure student subject-specific competency to apply the 2015 Revised National Curriculum. Since the new type of items are implemented to measure complex abilities rather than simple knowledge, the issue of reducing the test length was considered to solve higher-level items. Namely, the major change in the 2019 NAEA is the reduction in the number of items caused by the introduction of the new type of items. This study inspected how the test length change of the 2019 NAEA for high school had an effect on the scale stability. In the NAEA, the media attention is focused on the year trend of the proportion of below basic students, so the scale stability of the NAEA which categorizes students into basic and below basic, is main point. According to the results of this simulation study, in order to precisely categorize basic level students from below basic level students with less than 0.05 estimated RMSE at the cut-off score: at least three items should be included for each subject test with the ‘low’ difficulty level and the ‘moderate’ discrimination level.

회계교육의 질적 향상을 위한 성격진단검사 결과 활용방안에 관한 연구-K대학의 사례-

이선표,문진주 한국회계정보학회 2017 재무와회계정보저널 Vol.17 No.4

[Purpose]If the personality factor of a student who is studying a specific major is closely related to the academic achievement, then it is possible to design the learning method according to the individual personality of the student and manage it systematically to proceed with the study. Higher academic achievement will be achieved. [Methodology]The purpose of this study is to investigate the relationship between the results of the standardized personality diagnostic test and the academic achievement of major subjects, and how it affects the teaching methods (theory and practice). For the study, 103 students from K University in Incheon were analyzed. [Findings] As a result of the analysis, it was found that only the specific personality factors (dominance, sociality and harmoniousness) influenced only specific subject curriculum (accounting principle, cost accounting, income tax law) and did not have a general correlation with academic achievement. [Implications]This study differs from the results of the previous studies because it corresponds to the results of empirical analysis of only the students of specific majors of the specific college. In the future research, I think that the diagnostic tests will not only be completed by the examination but can also be used in the field of study of major subjects, life guidance of students and career design. [연구목적]특정 전공을 학습하는 학생의 성격요인이 학업성취도와 밀접한 관련을 가진다는 사실을 파악할 수 있다면, 학생 개개인의 성격요인에 맞는 학습방법을 설계하여 체계적으로 학업을 진행시킴으로써 전공교과목에서 보다 높은 학업성취도를 이룰 수 있을 것이다. 본 연구에서는 이러한 연관성을 보고자 대학생의 표준화 성격진단검사를 통해 나타난 결과와 전공교과목의 학업성취도는 어떠한 관계를 갖고 있는지, 그리고 수업방식(이론과 실습)에 있어서 어떠한 영향을 주는지에 대하여 연구하고자 한다. [연구방법]본 연구를 위하여 인천 소재 K대학의 세무회계과 103명 학생들의 성격진단검사 결과를 이용하여 학업성취도와의 관련성을 분석하였다. 또한 회계 및 세무교과목의 학업성취도와 각 성격요인의 관련성을 추가적으로 분석하기 위해 회귀분석을 실시하였다. [연구결과]분석결과, 특정 성격요인(지배성, 사회성 및 동조성)만이 특정 전공교과목(회계원리, 원가회계, 소득세법)에 영향을 주었으며, 그러한 영향도 특정한 방향성을 보이지 않고 있기 때문에 학생의 성격요인이 전공교과목의 학업성취도에 일반적인 상관관계를 가진다고 할 수 없는 것으로 나타났다. [연구의 시사점]본 연구는 특정 대학교의 특정 전공의 학생들만을 대상으로 성격요인과 학업성취도의 관계에 대한 실증 분석을 하였기 때문에, 선행 연구에서 나타난 결과와는 차이를 보였으며, 향후 연구에서는 본 연구에서 나타난 한계점을 보완하여 폭넓게 진행되었으면 한다. 또한, 신입생의 성격진단검사가 검사로써 끝나는 것이 아니라 전공교과목에 대한 학습방법, 학생의 생활지도와 진로설계 등의 분야에서도 의미 있게 활용될 수 있을 것이라 생각한다.

국가수준 학업성취도 평가에서 단계적 검사의 적용 가능성 탐색

한정아(Junga Han),한경택(Kyung Tyek Han),서민희(Minhee Seo) 한국교육평가학회 2022 교육평가연구 Vol.35 No.1

본 연구의 목적은 국가수준 학업성취도 평가에서 단계적 검사(MST)의 적용 가능성을 탐색하는 것이다. MST에서는 응시자의 문항 검토가 가능하며, 문항 선택에 대해 더 많은 제어가 가능한 이점이 있다. 또한 현행 학업성취도 평가의 특성과 시행 전반의 틀을 그대로 유지하면서 적응형 검사를 적용할 수 있는 MST 설계를 고려하였다. 주요 결론은 다음과 같다. 첫째, 전체 검사의 길이가 동일한 전통적인 선형 검사와 비교했을 때 MST에서 측정의 정확성이 더 높았다. 또한 학업성취도 평가의 틀 내에서 MST가 잘 작동함을 확인하였다. 둘째, 본 연구에서 고려한 총 다섯 가지 MST 설계 중 1-2-3 MST 설계에서 최적경로 비율이 가장 높았다. 마지막으로, 소검사의 수를 줄이면서도 최적경로 비율을 높일 수 있는 검사 설계의 필요성과 후속연구에 대해 제언하였다. The purpose of this study was to evaluate the feasibility and effectiveness of multistage testing design for National Assessment of Educational Achievement (NAEA). MST offers several advantages, including allowing test takers to review items and more controls over item selection. The MST design that can apply the adaptive testing while maintaining the characteristics of the current assessment and the overall framework of implementation was developed. The main conclusions can be made as follows. First, the accuracy of the measurement was higher in MST when compared to traditional linear testing with the same test length. Also, it was confirmed that MST works well within the framework of NAEA. Second, among the five MST designs considered in this study, the percentage of the optimal paths was the highest in the 1-2-3 MST design. Finally, a design that can increase the optimal path ratio while reducing the number of modules and follow-up studies was suggested.

2003~2008년 국가수준 학업성취도 평가의 조건적 측정오차와 분류일관성

반재천(Jae-Chun Ban),송미영(Mi-Young Song) 한국교육평가학회 2010 교육평가연구 Vol.23 No.2

이 연구의 목적은 국가수준 학업성취도 평가(이하 학업성취도 평가)의 연도별, 학교급별, 교과별 점수의 조건적 측정오차, 신뢰도, 분류일관성을 파악하는 데 있다. 이 연구의 분석 대상은 학업성취도 평가가 2003~2008년까지 표집평가 형태로 이루어진 기간 동안의 검사자료이다. 연구결과의 이해를 위해 학업성취도 평가 척도의 특징, 검사동등화 방법, 검사형간 연계 현황을 함께 제시하였다. 학업성취도 평가의 점수 척도는 아크사인 방법을 활용하여 개발하였고, 주로 공통문항 비동등집단 설계로 평가 자료를 수집하여 문항반응이론에 의한 진점수 동등화를 적용하였다. 학업성취도 평가의 동등화된 척도점수의 조건적 측정오차를 산출한 결과, 전반적으로 기준 검사형(base form)과 유사한 형태를 보였지만 일부 교과, 특히 초등학교 6학년 수학에서는 다소 다른 형태를 보였다. 성취수준 분할점수대별 조건적 측정오차의 연도간 차이는 .19~1.68 정도였다. 신뢰도는 전반적으로 높은 편이었으며, 연도와 교과에 따라 .01~.07 정도 차이가 있었다. 또한 대체적으로 성취수준 분류의 일관성이 높은 것으로 나타났으며, 연도와 교과에 따라 .04~.15 정도 차이가 있었다. 이러한 연구 결과의 구체적인 원인을 밝히기 위한 후속 연구 과제를몇 가지 제안하였다. The purpose of this study was to produce conditional standard errors of measurement (CSEM), reliabilities, and classification consistencies for 2003~2008 National Assessment of Educational Achievement (NAEA) in Korea. This study also provided the characteristics of the NAEA scale, the data collection design and methodology of equating, and linkage plans used in NAEA. The arcsine scaling method was used for NAEA scaling, and KICE had used the common item nonequivalent groups design and IRT true score equatings for NAEA, although a single-groups with counter balanced design was used once.The patterns of CSEMs of the equated forms were similar to that of the base forms in Korean, Science, Social Sciences, Math for Grades 9 and 10, and English in Grade 9. However, there were some cases that show different patterns in CSEMs between the base form and the equated forms, particularly in Math for Grade 6. Reliabilities and classification consistencies were high across years, although there were slight variations across years.

수학 학습 성취도에서 나타난 다문화, 탈북, 저소득층 학생들의 학습부진 특성

고상숙 한국학습장애학회 2013 학습장애연구 Vol.10 No.2

This study was to find the characteristics in the mathematical achievement of multi-cultural students, North Korean defectors and students with Low-SES in order to get the direction for the future study of multi-cultural education Multi-cultural students (n=226), North Korean Defectors (n=218) and students with Low-SES (n=189) participated in the study with a comparison group of the general students(n=445). About 30 items out of 100 test items selected from the National Assessments of Basic Academic Skills Test and the National Educational Achievement Test since 2004 were used to test the lower and upper graders of the elementary school. The results showed that as we predicted, multi-cultural students, North Korean Defectors and students with Low-SES were lower, compared to the comparison group. The fact that the ability of North Korean defectors was significantly lower, compared to the other two groups, might have been caused by lack of experience on the basic standards of mathematics. 본 연구는 다문화, 탈북, 저소득층 학생들의 수학 성취도에서 나타난 특성을 파악하고자 수행되었다. 연구대상으로 다문화(n=226), 탈북(n=218), 저소득층(n=189)과 비교집단으로는 일반학생(n=445)이 참여하였다. 검사지로는 지금까지 시행되었던 국가수준기초학력검사지와 국가수준학업성취도검사지에서 저학년과 고학년을 대상으로 예비검사를 통해 본 검사를 위한 문항을 재선별하였다. 연구결과로는 수학 성취도 검사에서 예상대로 저소득층, 다문화, 탈북학생 순서로 성취 능력이 일반 학생에 비해 유의하게 낮았으며 특히 탈북학생 집단이 타집단에 비해 현저하게 낮았다. 그 원인으로 탈북학생의 학습에 대한 무경험이 작용한 것으로 나타났다. 하지만 다문화와 탈북집단 간에는 유의한 차이가 없는 것으로 나타났다.

혼합형 가교문항 구성 방법이 혼합형 검사 동등화에 미치는 영향

이소라(Sora Lee),상경아(Kyongah Sang),정태순(Tai Sun Jeong),심준식(Jun Sik Sim) 한국교육평가학회 2023 교육평가연구 Vol.36 No.1

2022년 도입된 컴퓨터 기반 국가수준 학업성취도 평가에서는 일부 구성형 문항에 대해 혁신문항(innovative item) 개발을 도입하였다. 최근 역량 기반의 구성형 문항의 비율이 꾸준히 늘어났고, 혁신문항 도입으로 문항 유형 간 다차원성이 증가할 만한 상황에서, 선택형 문항에서만 가교문항을 선정하는 기존 동등화 방식으로 적정 수준의 동등화 정확성을 유지할 수 있는지 점검이 필요한 시점이다. 이를 위해 선택형뿐만 아니라 구성형 문항도 포함하는 혼합형 가교문항 구성 방식이 검사 동등화 안정성에 미치는 영향을 모의실험을 통해 탐색하였다. 연구 결과, 가교문항의 선택형 단일 구성과 혼합 구성 간 동등화 오차는 큰 차이가 없는 것으로 나타났으나 구성형 문항의 비율을 높일 때 오차가 줄어들었다. 전체 검사에서 혼합형 가교문항의 구성 비율에 따른 결과를 보면, 20% 내외일 때는 동등화 결과에 큰 차이가 없는 것으로 나타났다. 문항 유형에 따른 다차원성이 존재하는 경우에는 일차원성 검사에 비해 동등화 오차가 확연히 증가하였으며, 특히 혼합형 가교문항을 활용할 때 동등화 오차의 증가가 두드러져 다차원 검사에서는 구성형 가교문항의 활용에 신중해야 하는 것으로 나타났다. With the introduction of innovative items in the computer-based NAEA, the item format became diversified, and the current method of selecting anchor items from multiple-choice (MC) items became burdensome for test developers. The purpose of this study is to examine whether a mixed-format anchor items including both MC and constructed-response (CR) items could hold the stability of equating in the NAEA, and give desirable direction to expand the range of anchor items and to make test construct flexible. A simulation study was conducted based on a common-item non-equivalent group design with the test conditions of the Korean subject in the NAEA. The treatment conditions include (1) a type of anchor item set (a single MC or a mixed), (2) a composition type of mixed anchor item (MC:CR = 1:1, 3:2, or 3:4), (3) a length of mixed anchor items within a test (25%, 22%, or 19%), and (4) the presence of multidimensionality according to the item format were assumed. The main result is that there was no significant difference in the equating error between the single MC and the mixed anchor item condition. Specifically the equating error of the single MC was smaller than that of the mixed-format cases where the ratios between MC and CR were 1:1 and 3:2. In the 3:4-ratio mixed condition, the equating error was smaller than that of the single MC condition. A length of mixed anchor items within a test showed somewhat mixed results, probably because there was not much variation between the conditions in the composition ratio, about 20% in test. When there was multidimensionality according to the item format in the test, the equating error increased significantly with mixed anchor items compared to that of unidimensional test condition. In sum, about 20% of the mixed anchor items with slightly higher CR ratio was found to be suitable in the unidimensional test and caution was called for in using mixed anchor items in multidimensional test.

수능모의고사를 이용한 학업성취도의 종단적 분석 모형 탐색

임현정(Hyun-Jeong Im) 한국교육평가학회 2006 교육평가연구 Vol.19 No.2

정기적으로 실시되는 수능모의고사 자료를 이용하여 국가수준에서의 학업성취도 변화 추이를 분석하기 위한 목적으로 학교패널 자료를 추출하고, 검사 간 연계를 위하여 외부 가교검사를 제작, 시행하고 동등화하여 종단 자료를 구축하였다. 또한 성취도의 변화 추이를 분석하기 위해 자료의 구조에 적합한 통계적 모형으로 학생, 시간, 학교수준으로 구성된 3수준 다층모형을 적용하였으며, 평균성장곡선의 추정을 위하여 2000~2005년 수리영역 성취도의 종단 자료에 선형과 비선형 성장모형을 적용하고 비교한 결과, 선형성장모형이 지지되었다. 학업성취도의 변화 추이를 파악하기 위한 종단적 분석틀의 제공을 목적으로 분석 모형의 설정에 초점을 맞추어 연구의 전반적인 절차를 제시하였다. The purpose of this research is to analyze the yearly progress of national scale achievement using trial SAT data. For this purpose, school panel data is constructed by sampling repeated measure data for a school unit. And for linking between tests, external anchor tests were constructed, administrated and equated using concurrent calibration. Also, for this, this analysis applied 3-level hierarchical linear model consists of students, time and school level as a statistical model suitable for data structure. For modeling growth curve, linear growth model is chosen as a result of comparison between alternative models by appling models to longitudinal math achievement data from 2000 to 2005. Through these procedure this research provides longitudinal analysis framework for investigating trend of academic achievement.

부모와 학생관련 변수가 고등학생의 읽기성취에 미치는 효과

김재철(Kim, Jae Chul),임효진(Lim, Hyo Jin) 한국교육평가학회 2014 교육평가연구 Vol.27 No.2

본 연구에서는 2009년 국가수준 학업성취도(NAEA)와 OECD의 Programme for International Student Assessment(PISA) 2009 연계 자료를 활용하여, 고등학교 학생들의 읽기성취도에 영향을 미치는 부모변수(읽기활동과 읽기지지)와 학생변수(읽기태도, 읽기활동, 인지전략)의 구조적 관계들을 탐색하였다. 또한 이러한 구조적 관계가 성별과 검사성격에 따라 어떤 차이를 보이는가를 추가로 검증하였다. 연구문제로는 첫째, NAEA와 PISA 검사에서 부모의 읽기활동과 읽기지지, 자녀의 읽기태도와 읽기활동, 인지전략, 읽기성취도 간의 구조적 관계는 어떠한가? 둘째, 이들 구조적 관계는 성별에 따라서 어떠한 차이가 있는가? 를 설정하였고, 연구결과 부모의 읽기활동과 읽기지지는 자녀의 읽기태도, 읽기활동, 인지전략을 매개로 읽기성취에 긍정적으로 영향을 주었다. 또한 긍정적 읽기태도를 가지고 읽기활동에 활발히 참여하는 학생은 효과적인 인지전략을 보다 빈번히 사용하고, 이는 읽기성취도에 긍정적 영향을 주고 있었다. 대체로 여학생이 남학생보다 읽기태도나 활동이 읽기성취에 미치는 직접, 간접효과가 컸다. 또한 검사성격에 따라서도 이러한 효과의 차이가 나타났으며, NAEA보다 PISA에서의 효과가 더 큰 것으로 나타났다. 마지막으로 읽기의 긍정적 효과를 통해 교사와 학부모 및 학생에게 읽기의 중요성과 읽기프로그램 구안 시 유의해야 할 점 등을 제시하였다. The purpose of the current study is to reveal how parent's reading activities and their supports for reading affect their children's reading achievement via children's reading attitudes, reading activities, and cognitive strategy. The research questions are as follows: First, is there any structural relationship among parent's reading attitudes/activities and supports for reading activities, children's reading attitudes/activities in reading, cognitive strategy, and Korean language Achievement? Second, if there exists sufficient evidence to support a structural relationship, how is this relationship affected by test characteristics in Korean language achievement (NAEA vs. PISA) and gender? The present study implements a structural equation modeling (SEM) and a multi-group analysis with the NAEA and PISA 2009 data. Results showed that parental reading-related variables had significant direct and indirect effects on children's reading achievement via their reading attitudes/activities and cognitive strategy use. There were some different patterns in path coefficients from PISA model and NAEA model. Gender was also found to have significant moderation effects on reading outcome depending on the test type. Results from the current study could provide practical evidence showing effectiveness of reading program and help teachers, parents, and students become aware of importance of reading.

Rapid-cycling Brassica rapa 를 이용한 멘델 유전의 양성잡종 교배 실험 수업의 적용 효과

이미향,김혜연,김성하 한국현장과학교육학회 2013 현장과학교육 Vol.7 No.1

Purpose of this study is to develop experimental instruction materials regarding genetics using Rapid-cycling Brass rapa (RcBr) and to determine its effects on high school students in terms of the change of conception in genetics and of attitudes toward science. Developed instruction materials using RcBr in this study were designed to improve the conception in genetics and the attitudes toward science by growing RcBr, performing dihybrid cross, observing their phenotypes, and collecting and analyzing the data. Four classes of the 11th grader students of 'J' high school in Incheon were chosen for this study and divided into two groups. Experimental group was taught by the developed instruction materials using RcBr, while control group was taught in a traditional manner. The achievement test for the concepts in genetics and the word association test and the attitudes toward science were given before and after the instructions. The process of changes on conception was investigated concretely through before and after interviews. Students thought that RcBr is an excellent plant material to study genetics. Developed instruction materials using RcBr were very effective in improving students' conception in genetics and strengthen the relatedness among conceptions. It will provide students good opportunities to learn Mendelian genetics and experience genetic phenomena. 이 연구에서는 속성 식물인 Rapid-cycling Brassica rapa (RcBr)을 이용한 멘델 유전 교수․학습 자료를 개발하고 이를 고등학생에게 적용하여 유전 개념의 변화와 과학에 대한 태도 변화에 효과를 알아보고자 하였다. 이 연구에서 개발한 멘델 유전 교수․학습 자료는 학생들이 직접 RcBr을 심고 배양하여멘델 유전의 양성잡종 교배 실험을 경험하면서 개체 수준의 유전 현상을 이해하고, 세포분열과 생식 개념을 통합적으로 이해할 수 있도록 구성하였다. 개발된 교수․학습 자료는 인천시 소재 J 고교 2학년을 대상으로 실험 집단에 적용하였고, 통제 집단은 교과서 내용을 중심으로 전통적 수업을 하면서변인 통제를 위하여 RcBr의 생활사 및 실험 과정을 소개하였다. 수업 실시 전후에 동일한 검사지로 유전 개념성취도 검사와 단어연결검사를 실행하였고, 과학에 대한 태도 검사를 실시하였다. 또한, 정성적인 분석을 위해 4명의 학생을 선정하여 사전, 사후에 면담을 통해 구체적인 개념 변화 과정을조사하였다. RcBr을 이용한 멘델 유전 실험 수업의 결과는 다음과 같다. RcBr을 이용한 양성잡종 교배 실험 수업을 수행한 실험 집단 학생들의 유전개념 성취도는 통제 집단에 비해 유의미하게 향상되었다. 실험 집단 학생들의 과학에 대한 태도는 통제 집단에 비해 유의미한 차이가 없었으나, 과학에대한 태도의 하위 영역 중 과학 수업의 즐거움 영역에서 유의미한 차이가 나타났다. 단어연결검사 결과, 실험집단 학생 전체의 개념 연결망은 통제집단에 비해 개념 연결의 강도가 강해졌고, 상대적으로 연결이 복잡해졌다. 면담을 통한 정성적 분석 결과, RcBr을 이용한 유전 실험 후 실험 집단학생들은 개별 개념에 대한 이해와 개념간의 연결이 강화되었고 식물의 생활사와 식물의 교배 실험에 대한 이해와 흥미를 보여주었다. 이 연구에서사용한 RcBr은 멘델 유전 개념을 구체화시켜 경험할 수 있는 좋은 재료이며, RcBr을 이용한 교수․학습 자료는 고등학생의 유전 개념 변화와 개념들사이의 연관을 강화하는데 긍정적인 효과가 있는 것으로 나타났다.

자아참조개별적응검사의 차이 점수 측정을 위한 문제은행의 특성 탐색

강계남(Kang Gyenam) 한국교육평가학회 2006 교육평가연구 Vol.19 No.1

  두 측정시점에서 각각 피험자의 능력값을 추정하여 두 능력 추정값 간의 차이 점수로 피험자의 변화를 측정하는 자아참조개별적응검사의 시행을 위하여 문항의 수와 문항변별도를 중심으로 바람직한 문제은행의 특성을 규명하고자 하였다. 몬테칼로 연구방법론을 이용하여 두 측정 시점에서 피험자의 능력모수, 문항변별도 모수, 문항난이도 모수, 문항추측도 모수 및 피험자의 문항반응자료를 이분자료로 생성하였다. 문제은행에 포함되는 세 수준의 문항수로 108개, 162개, 216개의 조건이, 세 수준의 문항변별도 모수 및 두 측정 시점 간 세 수준의 변화 조건이 주요 실험조건으로 포함되었다. 분석 결과 문제은행의 문항 수는 162개 정도이며 문항변별도는 1.0이상일 때 두 측정 시점 간 차이점수가 참 차이를 비교적 정확하게 탐지할 뿐 아니라, 참 차이가 발생한 경우 그 차이를 탐지하는 정확성도 높은 것으로 나타났다.   The purpose of this study was to examine the desirable characteristics of item bank in terms of a number of items and the indices of item discrimantion parameter in administrating adaptive self-referenced test(ASRT). ASRT is used to measure individual change in ? with reference only to that individual. Individual change is measured by ASRT as the difference between estimated levels of ? for two occasions. Significant change is said to occur when the IRT-based confidence intervals for two estimates do not overlap. The present study used monte carlo simulation to evaluate the recovery of true individual change. Distributions of examinees were generated by computer. Item banks were characterized by item parameters using three parameter logistic model. Experimental design included that three levels of the number of items (108, 162, and 216), three levels of item discrimination parameter (average 0.5, 1.0, and 1.5), and three levels of the amount of change (low 0.5, medium 1.0, and high 1.5) for two occasions. Under each condition, 1,500 examinees were generated, The results suggested that when the number of items were at least 162 and the average item discrimnation index was greater than and equal to 1.0, the ASRT recovered the true change with substantial precision. Under this resulting desirable experimental condition, the number of items administered by ASRT was only up to 11, when significant change was occurred at occasion 2.