영어 논술 채점 컴퓨터 프로그램의 비교ㆍ분석

최윤정(Choi Youn-jeng),성태제(Seong Tae-je) 한국교육평가학회 2006 교육평가연구 Vol.19 No.1

  본 연구는 우리나라에 적용 가능한 논술 채점 컴퓨터 프로그램을 개발하기 위한 기초 자료를 제공하기 위하여, 외국에서 개발되어 사용되고 있는 논술 채점 컴퓨터 프로그램 중 C-rater, SEAR, E-rater, IntelliMetric 프로그램을 소개하고 비교ㆍ분석하였다. 4종의 논술 채점컴퓨터 프로그램의 공통점은 첫째, 분석적 채점 방식을 사용하고, 둘째, 자연언어처리 기술을 사용하여 학생들의 응답을 인지하고, 셋째, 채점자가 채점한 결과와 컴퓨터가 채점한 결과를 비교하여 채점의 타당성을 검증한다. 그러나 4종의 논술 채점 컴퓨터 프로그램은 채점기준의 설정 근거, 응답 수준과 응답의 개수, 응답에 대한 채점자의 전문성, 채점의 타당도 검증, 논술 길이의 제한, 창의적인 글에 대한 채점의 어려움 등의 문제가 제기된다. 논술 채점 컴퓨터 프로그램을 개발하기 위해서는 한국어의 자연언어처리가 이루어져야 하고, 교육평가학자, 국어학자 그리고 공학자의 협력이 필요하다.   Since the beginning of the 21<SUP>st</SUP> century, the paradigm of educational evaluation has gone through remarkable changes brought by constructionism. The changes lead to a growing demand for an essay type question-one of the supply type questions-, as it is suitable for constructionist evaluation, allowing students to freely access to questions and to freely complete answers. In addition, it can help make a correct assessment of a student’s ability to analyze, criticize, organize, synthesize, create, and solve problems. On the other side, there are problems with the consistency and reliability of scoring, and the production and assessment of test equipments. This study compared the four different automated essay scoring programs(C-rater, SEAR, E-rater, and IntelliMetric) developed in other countries, analyzed common and different things, problems and limits of each program. Common things: first, analytical scoring was adapted; second, scoring were based on the way people score essays; and third, results from scorers are compared with those from the programs for verification. The four programs also have the same problems with the establishment of valid criteria, the level and number of training essays, specialists in scoring training essays, methods of verifying the automated scoring, restrictive length of essays, and low scoring of creative and remarkable essays. The analysis and comparison of the programs brought a conclusion that C-rater, SEAR, E-rater, and IntelliMetric can be applied to Korean schools. The NLP(natural language process) for Korean is helpful for developing automated Korean essay-scoring systems. Also, experts in education, Korean language, and engineering should work together to develop automated programs.

학교폭력 가해경험에 대한 메타분석

( Xin Huang ),신태섭 ( Tae Seob Shin ),최윤정 ( Youn-jeng Choi ),추지윤 ( Ji Yun Chu ),신민경 ( Min Kyoung Shin ),김예원 ( Ye Won Kim ) 한국청소년학회 2023 청소년학연구 Vol.30 No.7

본 연구에서는 학교폭력 가해경험 관련 보호요인과 위험요인의 효과크기를 파악하기 위해 논문 175편을 수집하여 메타분석을 실시하였다. 분석결과에 따르면 학교폭력 가해경험 관련 보호요인 중 개인특성 변인이 가장 큰 효과크기로 나타났으며, 학교환경, 가정환경의 효과크기가 그 뒤를 이었다. 개인특성하위요인 중에서는 자아탄력성, 가정환경 변인에서는 긍정적인 부모-자녀 관계, 학교환경 변인에서는 학급응집력이 가장 높은 상관을 나타냈다. 조절효과를 검증한 분석에서 학교급에 따른 학교환경 변인군에서 차이가 있으며, 초등학생의 관련성이 가장 높게 나타났다. 한편, 학교폭력 가해경험 관련 위험요인의 효과크기는 학교환경, 지역사회, 개인특성, 가정환경의 순으로 나타났다. 학교환경 하위요인 중 가해·피해경험, 지역사회 변인 중 유해환경, 개인특성 변인 중 폭력허용도, 가정환경 변인 중 부모-자녀 폭력과의 상관이 높은 것으로 나타났다. 학교급에 따라 중학생은 가정과 학교 변인 군, 초등학생은 지역사회 변인군에서 큰 관련성을 보였다. 본 결과를 토대로 청소년의 학교폭력 가해경험을 감소·예방하는 방안과 후속연구를 위한 시사점을 제안하였다. The purpose of this study was to conduct a meta-analysis to determine the effect size of protective and risk factors related to violence experiences at school. Results show that the individual level appeared to have the largest effect size among the protective factors associated with school violence perpetration experiences, followed by the school and family level. Specifically, we found the greatest effect size with resilience at the individual level, the positive parent-child relationship at the family level, and class cohesiveness at the school level. As for the risk factors, the school-level variable appeared to have the largest effect size associated with school violence experiences, followed by the community, individual and family level factors. Specifically, we found the greatest effect size with violence acceptability among the individual level factors, parent-child violence among the family level factors, previous experience of school violence victimization and bullying among the school level factors, and harmful environment among the community level factors. Based on these results, some implications and suggestions to reduce and prevent adolescents' experience of school violence perpetration were recommended for follow-up research.

생성형 AI 시대, 교육의 변화와 교육평가의 향방

성태제(Tae-Je Seong),시기자(Kija Si),최윤정(Youn-Jeng Choi) 한국교육평가학회 2024 교육평가연구 Vol.37 No.1

이 연구는 생성형 AI 시대를 맞이하여 교육과 기술의 접점에서 교육평가 패러다임 변화의 특징을 살펴보고, 미래 교육평가의 향방을 조망하는데 목적이 있다. 생성형 AI 시대에 대응한 교육과정, 교수⋅ 학습, 교육평가 패러다임의 변화 동향과 향후 과제를 제시하면 다음과 같다. 첫째, 생성형 AI가 보편화 됨에 따라 교사의 역할은 지식 전달자보다는 학생들의 전인적 성장을 촉진하는 안내자, 상담자로서의 역할이 강조될 것으로 예상되는 바, AI와의 협업을 통해 교사의 전문성을 확장시킬 수 있도록 교사의 AI⋅디지털 역량을 강화할 필요가 있다. 둘째, 개인의 적성과 흥미, 진로⋅직업과 관련된 개인화 교육 과정에 대한 요구가 증대되고 있어 학교 교육과정과 관련된 모든 구성원이 교육과정 설계의 주체가 되는 다중심성 교육과정 생성ㆍ공유 체제 마련이 필요하다. 셋째, AI 디지털 교과서 및 AI 디지털 교과 서와 연계한 AI 맞춤형 교수학습 플랫폼 구축 등 디지털화가 가속화됨에 따라 에듀테크 기반 교수⋅ 학습 방법의 교육적 효용성을 높일 수 있는 방안에 대한 교육 현장과의 소통 및 지속적 연구와 지원 이 필요하다. 넷째, 디지털 기술의 혁신적 발전으로 학습분석의 적용 범위가 확장되고 개인 맞춤형 평 가의 기반이 조성됨에 따라 개별 학생의 전인적 성장 지원을 위한 능력참조평가와 성장참조평가 및 협력적 문제해결력, 창의적 사고 등 미래 역량 함양을 위한 실제적 맥락에 기반한 수행평가와 게임이 재조명되고 있어 이를 활성화하기 위한 AI 기반 평가 체제에 대한 연구가 필요하다. 이 논문은 생성형 AI 등장에 따른 교육평가의 패러다임 변화와 교수학습 및 학생평가에 미치는 영향을 다면적으로 살펴 봄으로써, 교육 현장에 평가에 대한 새로운 관점과 통찰의 기회를 제공하는데 의의가 있다. The trends and future challenges in response to the era of generative AI for education, instructional methods, and the paradigm shift in educational assessment can be outlined as follows: First, as generative AI becomes more prevalent, the role of teachers is poised to shift from being mere knowledge transmitters to becoming guides and counselors, actively fostering the holistic development of students. Consequently, the importance of teachers' AI and digital competencies is anticipated to witness a substantial rise. Second, as the demand for personalized education-based on individual aptitude, interests, career paths, and vocational relevance grow, there is a need to establish a collaborative and shared system for creating and sharing a multi-perspective curriculum that involve all stakeholders in the school curriculum. Third, the digitization of instructional materials, such as AI digital textbooks and AI-integrated personalized teaching platforms, is accelerating. Therefore, ongoing communication with the field, continuous research, and support are necessary to enhance the educational effectiveness of education technology-based teaching and learning methods. Fourth, with the innovative development of digital technologies, there has been a renewed focus on ability-referenced assessments, growth-referenced assessments, and performance assessments and games based on real-world contexts. This requires research into AI-based assessment systems for effective implementation. By comprehensively examining the impact of the paradigm shift in educational assessment and its influence on instructional methods and student evaluations in the era of generative AI, the significance of this study lies in providing new perspectives and insights into assessment in the field of education.

대학생의 입학전형별 대학생활 경험 및 지각된 대학생활 성공에 대한 영향요인

김남희,최윤정,전은정 이화여자대학교 교육과학연구소 2022 교육과학연구 Vol.53 No.2

본 연구는 대학생활 경험의 하위 구성요소로 대학생의 학업적 성취, 대학생활 만족도, 대학생활 참여도, 진로준비행동을 채택한 후, 이러한 것들이 입학 시 그들이 거쳐 간 입학전형과 관련되어 있는지 살펴보았다. 또한 대학생활 성공에 영향을 미치는 요인이 무엇인지 확인하였다. 연구데이터를 위해 서울 소재 대학 4학년 재학생 588명으로부터 유효한 응답을 확보하였다. 입학전형별 대학생활 경험의 차이를 알아보고자 일원배치 분산분석을 실시하였고 대학생활 성공에의 영향요인을 찾아내고자 순서형 로지스틱 회귀분석을 실시하였다. 그 결과 입학전형별로 대학생활 경험에 차이가 나타나지는 않았으나, 대학생활 성공에 있어서는 수시 논술전형 출신일 경우, 가정형편이 좋을수록, 학점, 대학생활 만족도, 교내 사회적 관계가 좋거나 높을수록 대학생활 성공도가 높은 것으로 나타났다. 연구결과를 통하여 재학생의 대학생활 성공에 대학 입학 후의 대학생활 경험이 유의미하게 영향을 미친다는 것이 밝혀졌고, 이를 감안할 때 대학의 역할이 중대함을 알 수 있었다. 끝으로 본 연구결과를 토대로 대학의 입학관련 정책수립과 개선 방향에 대해 제언하였다. This study assigned academic achievement, college life satisfaction, college life participation, and career preparation activity as subcomponent variables of the college experience and examined whether these were related to the admission process. In addition, it was confirmed what factors influence the academic success of college students. Responses from 588 fourth-year college students in Seoul, Korea were obtained, and to identify difference by admission type, ANOVA was performed and an ordinal logistic regression analysis was conducted to detect factors influencing college student success (CSS). There were no outstanding differences in the college experience by admission type from the ANOVA results. However, CSS was significantly higher when students were admitted by writing an occasional essay, or when family circumstances, GPAs, degrees of college life satisfaction, and social relationships in college were better or higher. Considering that the factors explaining CSS from the research results were related to the college experience after admission, significant implications for the role of universities can be drawn. Finally, future directions for university admission-related policy establishment and improvement were suggested.