생성형 인공지능 ChatGPT의 국어능력은 어떠한가?- 2024학년도 대학수학능력시험 국어영역 문항 풀이 결과의 오류 유형 분석을 중심으로 = How is the Korean language ability of generative artificial intelligence ChatGPT?－ Analysis of error types in the results of solving items in the Korean language section of the 2024 CSAT

국문 초록 (Abstract)

이 연구는 생성형 인공지능의 국어능력을 알아보기 위한 목적으로 OpenAI사에서개발한 ChatGPT를 활용하여, 2024학년도 대학수학능력시험 국어영역 문항의 풀이결과와 그 과정에서의 오류 유형을 분석한 연구이다. 이를 위해 연구자들은 문항 풀이에 적합한 프롬프트를 설계하고, ChatGPT로부터 문항의 정답과 지문의 내용에 입각한 각 선택지의 정오 판단 근거를 수집하였다.
본격적인 분석에 앞서 ChatGPT의 문항별 정답에 대한 경향성을 살펴본 결과, 문학보다 독서 영역에서 그리고 추론적 이해와 비판적 이해보다는 어휘·개념과 사실적이해를 묻는 문항에서 더 높은 정답률을 보임을 확인하였다. 아울러 문항 풀이에 대한 ChatGPT의 오류 유형은 크게 두 가지 양상으로 유형화되었는데, 문항에 대한 정오 판단의 근거를 지문 내에서 찾아내지 못하는 양상과 판단의 근거를 지문 내에서 발견했으나 지문의 의미를 잘못 구성하는 양상이 있었다. 또한, 후자의 경우에는 또다시ChatGPT가 지문의 의미를 구성하는 과정에서 축자적 의미만이 개입하여 잘못된 의미를 구성하거나, 지문 내의 정보를 결합하지 않거나 잘못 결합함으로써 의미를 올바르지 않게 구성하는 경우로 나뉘었다.
이러한 연구의 결과는 생성형 인공지능의 국어능력을 실증적으로 분석 및 고찰하고, 생성형 인공지능 시대의 문식 주체가 갖춰야 할 역할을 제안할 수 있다는 점에서의의가 있다. 이 연구를 토대로 향후에는 생성형 인공지능의 국어능력에 관한 종합적인 비교 검토가 수행될 필요가 있다. 더욱이 최근 기술의 발달로 국어 현상과 국어교육의 시차가 심화되는 바, 끊임없이 변화하는 문식 환경에서 문식 주체를 지원하기 위해 향후에도 생성형 인공지능과 관련된 담론이 촉발되고 논의될 필요가 있을 것이다.

다국어 초록 (Multilingual Abstract)

Using OpenAI’s ChatGPT to determine the Korean language ability of gener ative artificial intelligence, this study analyzes the results of solving items in the Korean language area of the 2024 CSAT as well as the types of errors found in the process. Therefore, the researchers designed prompts suitable for solving items and collected the basis for the noon judgment for each option based on the correct answer to the question and the content of the text from ChatGPT.
Prior to the full-scale analysis, ChatGPT’s tendency toward correct answers for each items was examined, and the percentage of correct answers was confirmed to be higher in the reading area than in literature and in items requiring vocabulary, concepts, and factual understanding rather than inferential and critical understand ing. Additionally, ChatGPT’s error types for item solving were largely categorized into two types: one in which the basis for the noon judgment of the item was not found within the text, and the other in which the meaning of the text was incorrect ly constructed. Furthermore, in the latter case, ChatGPT was divided into cases in which only the accumulative meaning intervened in the process of constructing the meaning of the text to create the wrong meaning, or the wrong meaning was constructed by not connecting or incorrectly connecting the information within the text.
The results of these studies are significant as they empirically analyze and exam ine the Korean language ability of generative artificial intelligence and suggest the role of readers and writers in this era of generative artificial intelligence. Based on this study, conducting a comprehensive comparative review of the Korean language capabilities of generative artificial intelligence in the future is necessary. Moreover, as the time difference between the Korean language phenomenon and Korean lan guage education has intensified owing to the recent development of technology, discourse related to generative artificial intelligence will need to be triggered and discussed in the future to support readers and writers in the ever-changing literacy environment.