대학수학능력시험의 성격과 개선 과제

성태제,Seong, Tae-Je 한국대학교육협의회 1996 大學敎育 Vol.81 No.-

미국 대학 중 입학경쟁률이 높은 대학의 입학사정 준거 탐색

성태제,Seong, Tae-Je 한국대학교육협의회 1997 大學敎育 Vol.90 No.-

대학은 획일화되어 있는 대학입학 사정 방법에 준하여 우수 학생을 유치하려는 지엽적.한시적인 정책 수립 안목에서 벗어나 21세기를 대비한 우수한 교육과정과 프로그램 개발 그리고 그에 부합하는 신입생을 선발하는 장기적이며 미래지향적인 계획을 수립하여야 한다. 이러할 때 대학이나 학과의 특성을 드러낼 수 있으며, 타대학 혹은 타학과와 경쟁하지 않고 자체가 경쟁의 대상이 되어 대학이나 학과의 발전을 가져온다. 여기에서 미국 대학입학제도의 다양성을 참고함은 유사한 대학입학제도에 따른 우리나라 교육의 문제점을 해결할 수 있는 시사점을 제공받을 수 있기 때문이다.

생성형 AI 시대, 교육의 변화와 교육평가의 향방

성태제(Tae-Je Seong),시기자(Kija Si),최윤정(Youn-Jeng Choi) 한국교육평가학회 2024 교육평가연구 Vol.37 No.1

이 연구는 생성형 AI 시대를 맞이하여 교육과 기술의 접점에서 교육평가 패러다임 변화의 특징을 살펴보고, 미래 교육평가의 향방을 조망하는데 목적이 있다. 생성형 AI 시대에 대응한 교육과정, 교수⋅ 학습, 교육평가 패러다임의 변화 동향과 향후 과제를 제시하면 다음과 같다. 첫째, 생성형 AI가 보편화 됨에 따라 교사의 역할은 지식 전달자보다는 학생들의 전인적 성장을 촉진하는 안내자, 상담자로서의 역할이 강조될 것으로 예상되는 바, AI와의 협업을 통해 교사의 전문성을 확장시킬 수 있도록 교사의 AI⋅디지털 역량을 강화할 필요가 있다. 둘째, 개인의 적성과 흥미, 진로⋅직업과 관련된 개인화 교육 과정에 대한 요구가 증대되고 있어 학교 교육과정과 관련된 모든 구성원이 교육과정 설계의 주체가 되는 다중심성 교육과정 생성ㆍ공유 체제 마련이 필요하다. 셋째, AI 디지털 교과서 및 AI 디지털 교과 서와 연계한 AI 맞춤형 교수학습 플랫폼 구축 등 디지털화가 가속화됨에 따라 에듀테크 기반 교수⋅ 학습 방법의 교육적 효용성을 높일 수 있는 방안에 대한 교육 현장과의 소통 및 지속적 연구와 지원 이 필요하다. 넷째, 디지털 기술의 혁신적 발전으로 학습분석의 적용 범위가 확장되고 개인 맞춤형 평 가의 기반이 조성됨에 따라 개별 학생의 전인적 성장 지원을 위한 능력참조평가와 성장참조평가 및 협력적 문제해결력, 창의적 사고 등 미래 역량 함양을 위한 실제적 맥락에 기반한 수행평가와 게임이 재조명되고 있어 이를 활성화하기 위한 AI 기반 평가 체제에 대한 연구가 필요하다. 이 논문은 생성형 AI 등장에 따른 교육평가의 패러다임 변화와 교수학습 및 학생평가에 미치는 영향을 다면적으로 살펴 봄으로써, 교육 현장에 평가에 대한 새로운 관점과 통찰의 기회를 제공하는데 의의가 있다. The trends and future challenges in response to the era of generative AI for education, instructional methods, and the paradigm shift in educational assessment can be outlined as follows: First, as generative AI becomes more prevalent, the role of teachers is poised to shift from being mere knowledge transmitters to becoming guides and counselors, actively fostering the holistic development of students. Consequently, the importance of teachers' AI and digital competencies is anticipated to witness a substantial rise. Second, as the demand for personalized education-based on individual aptitude, interests, career paths, and vocational relevance grow, there is a need to establish a collaborative and shared system for creating and sharing a multi-perspective curriculum that involve all stakeholders in the school curriculum. Third, the digitization of instructional materials, such as AI digital textbooks and AI-integrated personalized teaching platforms, is accelerating. Therefore, ongoing communication with the field, continuous research, and support are necessary to enhance the educational effectiveness of education technology-based teaching and learning methods. Fourth, with the innovative development of digital technologies, there has been a renewed focus on ability-referenced assessments, growth-referenced assessments, and performance assessments and games based on real-world contexts. This requires research into AI-based assessment systems for effective implementation. By comprehensively examining the impact of the paradigm shift in educational assessment and its influence on instructional methods and student evaluations in the era of generative AI, the significance of this study lies in providing new perspectives and insights into assessment in the field of education.

Holland와 Prediger의 직업흥미이론에 근거한 고등학생용 직업선호도 검사 개발과 양호도 검증

성태제(Tae Je Seong),시기자(Ki Ja Si) 한국교육심리학회 2001 敎育心理硏究 Vol.15 No.4

인지진단모형에 의한 중1 수학 ‘수와 연산’의 형성평가 도구 개발과 분석

성태제(Tae-Je Seong) 한국교육평가학회 2018 교육평가연구 Vol.31 No.1

본 연구는 검사의 교수· 학습적 기능을 극대화하기 위하여 인지진단모형을 적용한 형성평가 도구를 개발하여 실시하고 분석하는 절차와 방법을 제안하며 그에 따른 시사점을 제공하고자 하는 목적을 가진다. 검사도구 개발에 앞서 인지요소를 추출하여 Q행렬을 개발한 후, 학생들의 잘못된 인지구조를 분석하기 위하여 각 문항에 매력적인 오답지를 포함하여 검사를 제작하였다. 검사 실시 후 고전검사이론, 문항반응이론에 의한 분석을 통해 형성평가로서의 검사 특성을 지니는지 분석한 뒤 인지진단모형 중 DINA 모형에 의해 문항 모수, 인지요소별 숙달확률, 인지요소 프로파일 패턴을 분석하였다. 연구 결과 문항의 난이도는 쉬운 편이며 검사 정보 함수가 θ가 -1 지점에서 가장 높은 값을 가졌으며 모든 문항이 여러 개의 매력적 오답지를 가진 것으로 분석되어 형성평가 도구로서 적합하였다. 인지진단모형에 의한 문항별 실수 모수와 추측 모수, 학생 개개인의 인지요소 프로파일을 분석하여 특이한 인지요소 패턴을 발견하였다. 마지막으로 인지진단모형에 의한 형성평가 도구 제작 및 분석 절차를 제안하며 이를 학교 현장의 형성평가에 적용한다면 검사의 교수·학습 기능을 극대화할 수 있을 것으로 기대한다. The purpose of this study is to provide the implications and procedures for the development of the formative assessment with cognitive diagnosis through analyzing the response data based on classical test theory, item response theory, and cognitive diagnosis model to maximize the teaching and learning function of the test. Prior to the development of the test, the attributes were extracted and the Q matrix was developed and then the test was constructed in accordance with it. In order to analyze the students wrong cognitive structures and incorrect problem solving strategies, at least one of the attractive distracter were embeded in each item. After implementing the test, it was analyzed whether they had test characteristics as formative assessment through analysis by classical test theory and item response theory and then item parameters, mastery probability and attributes profile were analyzed by DINA model among cognitive diagnostic models. The results of the study showed that the difficulty of the item was easy, the test informative function had the highest at near of theta ability of -1, and all the items have more than one of attractive distractor. Therefore, this test was suitable as a formative assessment. By analyzing guessing parameters and slip parameters for each item and the attributes profiles of individual student by the cognitive diagnostic model, it can be found out what some kind of attributes profiles are having difficulty to understand a learning hierarchy. Finally, the development and analysis procedure of formative assessment by the cognitive diagnostic model is suggested and it is expected that the teaching and learning functions of the test can be maximized by applying it to the formative assessment at school site.

다분문항반응이론 ( 등급반응모형 )에 의한 학구적 실패내성척도의 문항분석과 피험자 특성추정

성태제(Tae Je Seong) 한국교육심리학회 1998 敎育心理硏究 Vol.12 No.2

언어영역 하부검사(Testlet)의 지역의존성과 모수추정모형의 탐색

이서영(Seo-Young Lee),성태제(Tae-Je Seong) 한국교육평가학회 2005 교육평가연구 Vol.18 No.2

본 연구는 하부검사가 가장 활발하게 사용되고 있는 언어영역에서 지역의존성을 확인하고 이것이 문항모수 추정에 어떠한 영향을 미치는지 탐색하고, 적합한 문항모수추정모형을 탐색하였다. 이 때 하부검사 측정모형은 측정의 기본가정인 지역독립성을 유지할 수 있도록 하기 위하여 하위 문항 점수를 합산하여 하나의 다분문항으로 간주하는 일반적인 방법을 사용하였다. 연구결과 언어영역 하부검사에서의 지역의존성이 크지는 않지만 어느 정도는 존재하며, 이것이 모수 추정치에 영향을 끼치는 것을 발견할 수 있다. 또한 언어영역 하부검사의 범주에서 서열성을 확인할 수 있기 때문에, 반응 범주의 서열성을 가정하는 일반화부분점수모형을 사용하여 분석하는 것이 타당하다. The purposes of this study are to measure the degree of local item dependence(LID) within the testlets of language test, to investigate the effects of LID empirically and to investigate a proper measurement model. To measure testlet, it is used testlet scoring which is scoring each testlet as if it were a single polytomous item. LID within testlet was present but the degree of LID was not large. And then, testlets were treat as single polytomous item because of LID. At first nominal response model(NRM) was used to estimate item parameters for unordered response. As ordered categories was verified, generalized partial credit model(GPCM) was used to estimate item parameters for ordered response. Based on the results, it was investigated the effects of LID. Intercept parameters and step difficulty were affected by LID, but discrimination parameters were not. If testlet scoring is used to manage LID, GPCM is more proper than NRM to estimate item parameter because testlet has ordered categories and GPCM is for ordered response.

성별 진로성숙도 변화에 있어 부모-청소년 자녀 유대가 미치는 종단적 매개효과 검증

박효희(Park Hyo-Hee),성태제(Seong Tae-Je) 한국청소년정책연구원 2008 한국청소년연구 Vol.19 No.1

이 연구는 2003년부터 2005년까지 실시된 한국청소년패널조사의 중학교 2학년 패널 자료를 이용하여 우리나라 청소년들이 중학교 2학년에서 고등학교 1학년에 이르는 사이 진로성숙도에 변화가 있는지 살펴보고, 그러한 진로성숙도 변화과정에 성차가 존재할 것이라는 가정에 더불어, 진로성숙도 변화에 있어서의 성차에 부모-자녀 유대 정도가 영향을 미칠 것이라는 가정 아래 다변량 잠재성장모형을 도입하여 성별 진로성숙도 변화에 있어서 부모-자녀 유대 정도가 지니는 종단적 매개효과를 검증하였다. 연구결과로 학년이 높아질수록 청소년들의 진로성숙도가 높아짐을 발견하였으며, 성별이 진로성숙도 초기수준과 성장률에 영향을 미치는 과정에서 부모-자녀 유대정도가 지니는 매개효과가 검증되었다. 구체적으로, 여학생의 부모-자녀 유대 수준이 높았으며, 그것을 바탕으로 남학생에 비해 보다 높은 진로성숙을 이룬다는 것을 파악할 수 있었다. This research proceeds from the assumption that the parent-adolescent relationship exerts a significant mediation effect in career maturity development and we therefore focus on testing longitudinal mediation effects through multivariate latent growth modeling. In the preliminary stages of research, positive change was seen in both career maturity and the parent-adolescent relationship between the 8th grade and 10th grade, and girls had higher initial status and growth rate than boys in terms of both the parent-adolescent relationship and career maturity. Therefore gender was introduced as a subject variable in the mediation process. In conclusion, the parent-adolescent relationship as a mediator of gender upon career maturity was found to have a significant effect in terms of both initial status and growth rate.

문항배열순서와 성별이 피험자 능력추정의 정확성과 시험불안에 미치는 영향

홍은지(Eun Ji Hong),성태제(Tae Je Seong) 한국교육평가학회 2015 교육평가연구 Vol.28 No.2

문항의 배열순서가 다른 검사유형과 피험자의 성별이 피험자 능력추정의 정확성과 시험불안에 영향을 주는지 검증하는 것이 본 연구의 목적이다. 고등학교 2학년 학생 176명을 계열과 성별, 사전능력을 고려한 3개의 균등집단으로 하여 연구를 실시하였다. 쉬운 문항에서 어려운 문항으로 배열된 유형(A형), 어려운 문항에서 쉬운 문항으로 배열된 유형(B형), 쉬운 문항에서 어려운 문항, 다시 쉬운 문항에서 어려운 문항으로 나선형으로 배열된 유형(C형)의 수학 성취도 검사를 각 집단에 한 유형씩 시행하였다. 또한 각 검사유형에 따라 발생하는 피험자들의 시험불안을 측정하고자, 수학 성취도 검사 전후로 시험불안 검사를 시행하였다. 문항반응이론으로 피험자들의 능력모수와 그에 따른 추정오차를 추정하였다. 이원분산분석을 실시한 결과, 검사유형에 따른 능력모수 추정오차는 유의수준 .05에서 유의한 차이가 있었으며, 성별에 따른 차이나 검사유형과 성별의 상호작용의 영향은 유의하지 않았다. Scheffe검정 결과 A형과 B형, A형과 C형, 그리고 B형과 C형에 대비가 유의하였다. A형에 의한 추정오차가 가장 낮았고, C형, B형의 순으로 높아졌다. 피험자들의 사전 시험불안을 통제한 교정 시험불안이 검사유형과 성별에 따라 차이가 있는지 이원공분산분석을 실시한 결과, 검사유형에 따른 교정 시험불안은 유의수준 .05에서 유의한 차이가 있었고, 성별에 따른 차이나 검사유형과 성별에 따른 상호작용은 유의하지 않았다. Scheffe 검정 결과 A형과 B형, A형과 C형에 대비가 유의하였다. A형에서 교정시험불안이 가장 낮았고, C형 그리고 B형 순으로 높았다. 마지막으로 시험불안과 능력모수 추정오차와의 상관을 살펴본 결과 시험 도중에 발생하는 시험불안과 능력모수 추정오차와는 유의한 양의 상관이 있었다. 이로써 문항의 배열순서로 검사 도중에 발생하는 시험불안이 능력모수를 추정하는 과정에 유의한 영향을 미치고 있었으며, 검사수행 시의 피험자의 안정적인 심리상태를 유지하도록 하는 것이 피험자 능력추정을 신뢰롭게 추정할 수 있다는 결과를 발견하였다. The purpose of the study is to investigate whether the item order and gender influence the accuracy of estimation for ability parameters and test anxiety. This study targeted 176 students, they were divided into three equivalent groups. The achievement test on math were divided into three types: the test starting with easy questions and becoming progressively more difficult(Type A); the test starting with difficult questions and proceeding to easier questions(Type B); and the repetition of Type A in order(Type C). Three types of test were assigned to each group. Test anxiety was also measured before and after the test. The results are as follows; first, the effect of the item order and gender on the standard error of the estimated ability were verified through 2-way ANOVA. The only main effect of item order was significant. The standard errors of the ability estimates were lowest in Type A. These values were high in Type B or Type C. Second, the effect of the item order and gender on calibrated test anxiety through 2-way ANCOVA. Also, only the main effect of item order was significant. The calibrated test anxiety was lowest in Type A. Third, there were significant correlation between calibrated test anxiety and the standard error of the estimated ability. In conclusion, Type A reduced test anxiety and increased the accuracy of measuring ability more than the other two types of test. This study can provide teachers with the practical guideline of producing accurate test. Furthermore, researchers related to item, order in differential characteristic test need to be continuously performed.

MH 방법과 SIBTEST 방법을 이용한 문항 유형에 따른 차별기능문항의 탐색

진수정(Su-Jung Chin),성태제(Tae-Je Seong) 한국교육평가학회 2004 교육평가연구 Vol.17 No.2

이 연구에서는 선다형과 단답형의 문항 유형에 따라 차별적으로 기능하는 문항들이 있는지 추출하고, 문항 유형의 차이가 집단에 따라 어떻게 작용하는지 알아보고, 문항 유형이 차별기능을 유발하는 하나의 원인으로 인식될 수 있는지 탐색하였다. 이를 위해 서울시에 소재하고 있는 초등학교 6학년 245명을 대상으로 수학 교과에서 출제한 동일한 내용을 측정하는 선다형과 단답형 검사를 시행하였다. 이 자료를 이용하여 일반화된 Mantel-Haenszel(MH) 방법과 Simultaneous Item Bias Tes(SIBTEST) 방법으로 차별기능문항을 추출하였다. 그 결과, 문항 유형에 따라 차별적으로 기능하는 8개의 문항들이 두 방법에 의해 동일하게 추출되었다. 또한 차별기능문항으로 추출된 문항들의 남학생 집단과 여학생 집단의 난이도 차이를 분석한 결과, 선다형이 여학생보다 남학생에게 더 유리하게 기능하는 경향성을 확인할 수 있었다. 이러한 결과는 문항 유형이 차별기능문항의 한 요인으로 작용할 수 있다는 것을 의미한다. The primary purpose of this study is to examine an item-format related differential item functioning (DIF), to detect a gender-related DIF in each format, and to investigate the causes of DIF with the generalized Mantel-Haenszel(MH) procedure and the simultaneous item bias test(SIBTEST) procedure. This study targeted 122 male and 123 female students and they were responded a multiple-choice test and an open-ended test containing the same 20 items of mathematics for elementary 6th grade mathematics. The MH and SIBTEST detected the same eight items as item-format related DIF and results suggested a significant effect of item format across items. Also, male students, compared to matched female students, were favored by the multiple-choice format. These results meant item-format was regarded as a DIF factor. In conclusion, this study was proposed to examine the cause of DIF beyond detecting DIF. It would be useful to compare the results of various methods and analyze the cause of DIF through meta analysis. These studies would help to provide useful information to change in curricula and instructional methods.