기계 학습을 활용한 논증 수준 자동 채점 및 논증 패턴 분석 = Automated Scoring of Argumentation Levels and Analysis of Argumentation Patterns Using Machine Learning

국문 초록 (Abstract)

이 연구는 과학적 논증 담화에 대한 자동 채점의 성능 개선 방향을 탐색하였으며, 자동 채점 모델을 활용하여 논증 담화의 양상과 패턴을 분석하였다. 이를 위해 과학적 논증 수업에서 발생한 학생 발화를 대상으로 논증 수준을 평가하는 자동 채점을 수행하였다. 이 자동채점의 데이터셋은 4가지 단위의 논증 피처와 논증 수준 평가틀로 구성되었다. 특히, 자동 채점에 논증 패턴을 반영하기 위하여 논증 클러스터와 n-gram을 활용하였다. 자동 채점 모델은 3가지의 지도 학습 기법으로 구성되었으며, 그 결과 총 33개의 자동 채점 모델이 구성되었다. 자동 채점의 결과, 최대 85.37%, 평균 77.59%의 채점 정확도를 얻었다. 이 과정에서 논증 담화의 패턴이 자동 채점의 성능을 개선하는 주요한 피처임을 확인하였다. 또한, 의사결정 나무와 랜덤 포레스트의 모델을 통하여 과학적 논증 수준에 따른 논증의 양상과 패턴을 분석하였다. 이를 통하여 주장, 자료와 함께 정당화가 체계적으로 구성된 과학적 논증과 자료에 대한 활발한 상호작용이 이루어진 과학적 논증이 논증 수준의 발달을 이끈다는 점 등을 확인하였다. 이와 같은 자동 채점 모델의 해석은 논증 패턴을 분석하는 새로운 연구 방법을 제언하는 것이다.

다국어 초록 (Multilingual Abstract)

We explored the performance improvement method of automated scoring for scientific argumentation. We analyzed the pattern of argumentation using automated scoring models. For this purpose, we assessed the level of argumentation for student’s scientific discourses in classrooms. The dataset consists of four units of argumentation features and argumentation levels for episodes. We utilized argumentation clusters and n-gram to enhance automated scoring accuracy. We used the three supervised learning algorithms resulting in 33 automatic scoring models. As a result of automated scoring, we got a good scoring accuracy of 77.59% on average and up to 85.37%. In this process, we found that argumentation cluster patterns could enhance automated scoring performance accuracy. Then, we analyzed argumentation patterns using the model of decision tree and random forest. Our results were consistent with the previous research in which justification in coordination with claim and evidence determines scientific argumentation quality. Our research method suggests a novel approach for analyzing the quality of scientific argumentation in classrooms.

참고문헌 (Reference)

1 최준, "한국어의 정형화된 표현 연구" 담화·인지언어학회 17 (17): 163-190, 2010

2 하민수, "학습 도구로서의 서술형 평가 그리고 인공지능의 활용: WA3I 프로젝트 사례" 한국현장과학교육학회 13 (13): 271-282, 2019

3 길호현, "텍스트마이닝을 위한 한국어 불용어 목록 연구" 우리말글학회 78 : 1-25, 2018

4 이만형, "전문가의 형태소 분류를 활용한 과학 논증 자동 채점" 한국과학교육학회 40 (40): 321-336, 2020

5 신호심, "원운동 학습 상황에서 Toulmin의 논의구조(TAP)와 다이어그램을 이용한 대화적 논의과정 분석틀 개발" 한국과학교육학회 32 (32): 1007-1026, 2012

6 이경건, "머신 러닝을 활용한 과학 논변 구성 요소 코딩 자동화 가능성 탐색 연구" 한국과학교육학회 38 (38): 219-234, 2018

7 김승주, "논증적 글쓰기 과제의 자동 채점을 위한 N-gram 자질의 활용 가능성 탐색" 한국작문학회 (41) : 37-62, 2019

8 맹승호, "논증 담화 분석 연구의 방법론적 고찰: 논증활동의 협력적 구성과 인식적 실행의 분석을 중심으로" 한국과학교육학회 33 (33): 840-862, 2013

9 남정희, "논의를 강조한 탐구적 과학 글쓰기(Science Writing Heuristic)의 중학교 과학 수업에의 적용" 한국과학교육학회 28 (28): 922-936, 2008

10 양일호, "과학적 논증과정 평가를 위한 루브릭 개발" 한국과학교육학회 29 (29): 203-220, 2009

11 김미숙, "과학적 논의를 활용한 과정중심평가에서의 교사 피드백 유형 사례 연구" 한국과학교육학회 40 (40): 271-289, 2020

12 González-Howard, M, "Variation in how teachers support critique in argumentation discussions" 2017

13 Liu, O. L., "Validation of automated scoring of science assessments" 53 (53): 215-233, 2016

14 Wachsmuth, H., "Using argument mining to assess the argumentation quality of essays" 1680-1691, 2016

15 McNeill, K. L., "Thinking with Data" Taylor & Francis 233-265, 2007

16 Toulmin, S., "The uses of argument" Cambridge University Press 1958

17 Jeong, A. C., "The sequential analysis of group interaction and critical thinking in online" 17 (17): 25-43, 2003

18 Ryu, S., "The influence of group dynamics on collaborative scientific argumentation" 11 (11): 335-351, 2015

19 Osborne, J. F., "The development and validation of a learning progression for argumentation in science" 53 (53): 821-846, 2016

20 Erduran, S., "TAPping into argumentation : Developments in the application of Toulmin’s argument pattern for studying science discourse" 88 (88): 915-933, 2004

21 Kelly, G. J., "Students’ reasoning about electricity : Combining performance assessments with argumentation analysis" 20 (20): 849-871, 1998

22 Duschl, R., "Science education in three-part harmony : Balancing conceptual, epistemic, and social learning goals" 32 (32): 268-291, 2008

23 Tsoumakas, G., "Random k-labelsets: An ensemble method for multilabel classification" 406-417, 2007

24 Breiman, L., "Random forests" 45 (45): 5-32, 2001

25 Park, C., "R data mining" Kyowoo 2015

26 Sampson, V., "Perspectives on scientific argumentation" Springer 235-264, 2012

27 Vygotsky, L. S., "Mind in society: The development of higher psychological processes" Harvard University Press 1978

28 Park, E. L., "KoNLPy: Korean natural language processing in Python" 133-136, 2014

29 Grooms, J., "How concept familiarity and experience with scientific argumentation are related to the way groups participate in an episode of argumentation" 55 (55): 1264-1286, 2018

30 Zohar, A., "Fostering students’ knowledge and argumentation skills through dilemmas in human genetics" 39 (39): 35-62, 2002

31 Driver, R., "Establishing the norms of scientific argumentation in classrooms" 84 (84): 287-312, 2000

32 Osborne, J., "Enhancing the quality of argumentation in school science" 41 (41): 994-1020, 2004

33 Ford, M., "Disciplinary authority and accountability in scientific practice and learning" 92 (92): 404-423, 2008

34 Nielsen, J. A., "Dialectical features of students’ argumentation : A critical review of argumentation studies in science education" 43 (43): 371-393, 2013

35 Fauzi, M. A., "Automatic essay scoring system using N-gram and cosine similarity for gamification based E-learning" 151-155, 2017

36 Sampson, V., "Assessment of the ways students generate arguments in science education : Current perspectives and recommendations for future directions" 92 (92): 447-472, 2008

37 Clark, D. B., "Assessing dialogic argumentation in online environments to relate structure, grounds, and conceptual quality" 45 (45): 293-321, 2008

38 Henderson, J. B., "Argumentation in Chemistry Education" Royal Society of Chemistry 79-105, 2019

39 KICE(Korea Institute Of Curriculum & Evaluation), "A Study on the Development and Introduction of an Automated Scoring Program(RRI 2006-6)"