텍스트 마이닝 기법을 활용한 대학생 세계이해 논술형 평가 답안의 수행 수준별 특성 분석 = Text-mining Analyses of Undergraduates’ Essays on Global Perspectives by Performance Levels in Korea

국문 초록 (Abstract)

이 연구는 텍스트 마이닝 기법을 활용하여 대학생의 세계이해 논술형 평가 답안의 수행 수준별 특성을 탐색하기 위한 것이다. 이를 위해 글로벌 환경의 상호의존성과 국가 간 이해관계 분석에 초점을 맞추어 논술형 평가를 시행하였으며, 채점 결과에 따라 답안을 상, 중, 하의 3개 수준으로 구분하였다. 수행 수준별 답안에 대한 키워드 빈도 분석과 키워드 네트워크 분석 결과는 다음과 같다. 첫째, 하 수준에서는 지시문에 제시된 단어와 지구온난화에 대한 당위적 대응을 기술하는 단어가 자주 등장한 반면, 상 수준에서는 국가 간 입장 차이와 갈등, 기술을 활용한 초국가적 대응에 대한 구체화․세분화된 단어가 자주 등장하였다. 둘째, 하 수준에서는 단어 간 가중 연결중심성 지수의 편차가 크고 단어 간 거리는 먼 반면, 상 수준에서는 단어 간 가중 연결중심성 지수의 편차는 작고가중 매개중심성이 높은 단어들을 중심으로 단어들이 긴밀하게 연결․확장되는 양상을 보였다. 셋째, 논술형 평가 답안의 세부 논의 구조를 파악하는 데에는 모든 수준에서 바이그램 네트워크 분석이 효과적이었다. 끝으로 논술형 평가 답안에서 피험자 수행의 질적 차이를 분석하기 위한 텍스트 마이닝 활용의 유용성과 향후 과제를 논의하였다.

참고문헌 (Reference)

1 윤빛나리, "토픽모델링 활용 마이스터고 정책이슈 분석:교육부 보도자료를 중심으로" 한국직업능력연구원 23 (23): 39-67, 2020

2 곽민호 ; 민혜리 ; 김미림, "토픽 모델링을 활용한 대학생의 서술형 강의평가 분석" 교육연구소 20 (20): 491-522, 2019

3 이슬기, "토픽 모델링에 따른 고등학생 논설문의 응결성과 응집성의 상관분석" 국어교육학회 52 (52): 135-162, 2017

4 정우경 ; 신동희, "토픽 모델링 및 바이그램 네트워크 분석 기법을 통한 여대생의 건강관리 및 웨어러블 디바이스 인식에 관한 연구" 한국정보관리학회 38 (38): 129-152, 2021

5 김민정, "텍스트마이닝 방법론을 활용한 웨어러블 관련 키워드의 트렌드 분석" 한국디지털정책학회 18 (18): 181-190, 2020

6 이서진 ; 민경석, "텍스트 자료에 대한 네트워크 분석과 토픽 모델링 -대학 역량기반 교육을 중심으로-" 한국교육평가학회 35 (35): 165-188, 2022

7 조용림, "텍스트 마이닝을 활용한 글쓰기 자료 분석 - M대학의 ‘글쓰기 클리닉’에 제출된 글쓰기 자료를 중심으로" 한국문화융합학회 42 (42): 279-307, 2020

8 정옥진, "텍스트 마이닝(Text Mining)을 활용한 환경교육 논문 키워드 분석" 106-110, 2019

9 황은희 ; 장지현 ; 양현경, "텍스트 마이닝 기법을 활용한 자유학기제 연구동향 분석" 교육연구소 25 (25): 299-318, 2019

10 박치성 ; 정지원, "텍스트 네트워크 분석: 사회적 인식 네트워크(socio-cognitive network) 분석을 통한 정책이해관계자 간 공유된 의미 파악 사례" 정부학연구소 19 (19): 73-108, 2013

11 장성민, "초보교사의 글쓰기 과제 표상에 나타난 지적 구조 분석 ­- 우수한 필자 교사와 미숙한 필자 교사의 차이를 중심으로 -" 한국작문학회 (37) : 87-127, 2018

12 박지현, "초․중학교 교사별 과정 중심 평가 연수 프로그램 개발 및 및 강사 연수" 한국교육과정평가원 2018

13 곽민호 ; 서영진, "잠재디리클레할당(LDA)을 활용한 대학생의 동료평가 기준에 관한 탐색적 연구" 한국교양교육학회 14 (14): 323-337, 2020

14 유예림 ; 백순근, "자동화된 텍스트 분석을 활용한 2015 개정 교육과정 정책에 대한 언론 보도의 쟁점 분석" 한국교육과정평가원 19 (19): 127-156, 2016

15 조서연 ; 임다미 ; 함은혜, "원격수업 운영을 위한 교사 지원 요구 분석: 텍스트마이닝 기법의 활용" 한국교원교육학회 38 (38): 171-194, 2021

16 이지원, "쓰기 평가의 키워드 채점 방식에 대한 타당성 분석" 국어교육학회 49 (49): 513-548, 2014

17 이현준 ; 박영민, "쓰기 수행 수준에 따른 학생 글의 연결망 특성비교 분석" 학습자중심교과교육학회 16 (16): 1039-1067, 2016

18 이슬기 ; 박영민, "쓰기 수행 수준에 따른 중학생 논설문의 텍스트 시각화 분석" 학습자중심교과교육학회 17 (17): 401-422, 2017

19 백순근, "수행평가의 원리" 교육과학사 2000

20 박혜영, "수업-평가 연계 강화를 통한 서․논술형 평가 내실화 방안. 한국교육과정평가원 연구보고" 한국교육과정평가원 2019

21 교육부, "서․논술형 평가 정책 관련 정리 자료"

22 김경희, "서·논술형 평가의 평가학적 의미 탐색" 한국교육평가학회 33 (33): 839-862, 2020

23 신안나, "빅데이터를 활용한 자유학기제 정책의 키워드 및 토픽 분석" 서울대학교 2019

24 유예림, "빅데이터 분석 기법을 활용한 2015 개정 교육과정 정책에 대한 언론보도 분석" 서울대학교 2017

25 박종희 ; 박은정 ; 조동준, "북한 신년사(1946-2015)에 대한 자동화된 텍스트 분석" 한국정치학회 49 (49): 27-62, 2015

26 함은혜 ; 심우정 ; 박소영, "대학생 세계이해 논술형 평가도구개발 및 타당화" 한국교육학회 59 (59): 107-138, 2021

27 김주영 ; 박정환, "대학 교수자들의 온라인 수업 전환 경험 분석을 위한 텍스트마이닝 연구" 한국교육공학회 36 (36): 839-871, 2020

28 지은림, "논술고사의 신뢰성에 영향을 미치는 채점자 특성 분석" 한국교육평가학회 21 (21): 97-113, 2008

29 백유진, "논설문 채점에 나타난 국어 교사의 채점 편향의 특성 분석: 텍스트 특징에 따른 채점 편향 분석을 중심으로" 청람어문교육학회 (76) : 67-101, 2020

30 기상청, "기후용어사전"

31 김승수 ; 김종민, "교육대학교 지원자의 학교생활기록부 중 행동 특성 및 종합의견 텍스트 마이닝: 의미연결망 분석 방법별 및 전형유형별 비교 분석" 한국교육평가학회 34 (34): 817-850, 2021

32 Lang, D., "wordcloud2: Create Word Cloud by ‘htmlwidget’"

33 이재윤, "tnet과 WNET의 가중 네트워크 중심성 지수 비교 연구" 한국정보관리학회 30 (30): 241-264, 2013

34 Feinerer, I., "tm: Text Mining Package"

35 Silge, J., "tidytext: Text Mining and Analysis Using Tidy Data Principles in R" 1 (1): 37-, 2016

36 Wickham, H., "tidyr: Tidy Messy Data"

37 Wickham, H., "stringr: Simple, Consistent Wrappers for Common String Operations. R package version 1.4.1"

38 Pedersen, T., "ggraph: An Implementation of Grammar of Graphics for Graphs and Networks"

39 Wickham, H., "dplyr: A Grammar of Data Manipulation"

40 Jonsson, A., "The use of scoring rubrics: Reliability, validity and educational consequences" 2 (2): 130-144, 2007

41 Csardi, G., "The igraph Software Package for Complex Network Research" 1695 : 1-9, 2006

42 Ferreira-Mello, R., "Text mining in education" 9 (9): 1332-, 2019

43 Opsahl, T., "Structure and Evolution of Weighted Networks"

44 Rezaei, A. R., "Reliability and validity of rubrics for assessment through writing" 15 (15): 18-39, 2010

45 Perez, R. J., "Refining King and Baxter Magolda’s model of intercultural maturity" 56 (56): 759-776, 2015

46 Tiffani, I. E., "Optimization of Naïve Bayes Classifier By Implemented Unigram, Bigram, Trigram for Sentiment Analysis of Hotel Review" 1 (1): 1-7, 2020

47 이상은, "OECD 교육 2030 참여 연구:역량의 교육정책적 적용 과제 탐색. 한국교육개발원 연구보고" 한국교육개발원 2018

48 Opsahl, T., "Node centrality in weighted networks: Generalizing degree and shortest paths" 32 : 245-251, 2010

49 Newman, M. E., "Modularity and community structure in networks" 103 (103): 8577-8582, 2006

50 Jeon, H., "KoNLP: Korean NLP Package"

51 신안나 ; 백순근 ; 유예림 ; 김연경, "Keyword Network Analysis on 'Free Semester Policy' with Korean Newspaper Articles" 교육종합연구원 26 (26): 17-42, 2017

52 Clauset, A., "Finding community structure in very large networks" 70 (70): 066111-, 2004

53 Ji, X., "Examining the distribution, modularity, and community structure in article networks for systematic reviews" American Medical Informatics Association 2015 : 1927-, 2015

54 Cohen, Y, "Estimating the intra-rater reliability of essay raters" 2 (2): 1-11, 2017

55 Wind, S. A., "Do raters use rating scale categories consistently across analytic rubric domains in writing assessment?" 43 : 100416-, 2020

56 Gutierrez, E., "Analysis of human behavior by mining textual data: Current research topics and analytical techniques" 13 (13): 1276-, 2021