ChatGPT의 한영 번역 도구로서의 정확성 분석 = Analysis of ChatGPT’s Accuracy on Korean-English Translation

국문 초록 (Abstract)

2016년 알파고(AlphaGo)가 등장한 이후 2023년 현재에 이르기까지 인공지능(AI: Artificial Intelligence)은 우리 사회 전반에 광범위한 영향을 끼치고 있다. 영어교육에 있어서도 인공지능이 끼치는 영향력은 이제 새삼 강조할 필요가 없을 정도이며, 2022년 11월 Open AI가 공개한 생성형 인공지능 ChatGPT(Generative Pre-programmed Transformer)에 의해 그 영향력은 더욱 강해지고있다. 이에 따라 2023년부터는 ChatGPT를 활용한 영어교육 관련 연구가 다수 발표되고 있다. 본 연구에서는 ChatGPT의 번역 도구로서의 정확성을 알아보기 위해 한영 번역 결과물을 영어 원어민의평가를 통해 분석했다. 영어 원어민 평가자는 영어 번역문에 나타난 오류를 수정하고, 번역문 전체의완성도를 0∼5의 척도로 평가했다. 또한 본 연구자가 한국어 원문이 영어 번역문으로 바뀌는 과정에서 발생하는 부정확성을 번역 오류와 생략 등으로 나누어 분석했다(이정화, 차경환, 2022). 한영 번역은 텍스트의 종류에 따라 난이도가 다르기 때문에(윤여범, 2023; 이상빈, 2020), 텍스트를 세 종류(전공서적, 문학작품, 속담)로 나누어 ChatGPT의 한영 번역 정확성을 비교했다. 주요 결과는 다음과 같다. 첫째, ChatGPT는 세 종류의 텍스트 번역에 있어 문법적 오류는 거의 찾아볼 수 없을 정도의 정확성을 보여주었다. 둘째, 번역의 정확성은 전공서적에서 가장 높았으며 속담에서 가장 낮았다. 영어번역 결과물에 대한 원어민들의 평가에 있어서도 전공서적이 가장 정확하고 속담이 가장 부정확했으며, 번역 오류 분석에 있어서도 속담을 제외한 전공서적과 문학작품의 번역은 오류가 매우 적게 나타났다. 셋째, ChatGPT는 기존의 번역기와는 달리, 한국어 속담을 영어로 번역할 때 직역으로는 의미전달이 되지 않는 경우 속담의 비유적 의미에 대한 추가 설명을 제공하였다. 본 연구의 결과를 종합해볼 때, ChatGPT는 사실적 정보에 관한 텍스트 및 문학작품의 한영 번역을 위한 도구로서는 매우 훌륭히 사용될 것으로 판단된다. 또한, 번역뿐만 아니라, ChatGPT는 이미 영어교육의 많은 분야에서성공적으로 활용되고 있듯이, 한영번역을 뛰어넘어 읽기와 쓰기를 비롯한 영어교육의 다양한 분야에큰 변화를 가져올 것으로 판단된다.

다국어 초록 (Multilingual Abstract)

Since the introduction of AlphaGo in 2016, Artificial Intelligence (AI) has had a significant impact on our society as a whole. English education has also been significantly impacted by various AI tools, such as translators and chatbots. The impact of AI on English education is growing with the release of ChatGPT (Generative Pre-programmed Transformer) by Open AI in 2022. Many studies using ChatGPT in English education have been conducted to date. ChatGPT appears to have various functions that could be useful in English education. For example, ChatGPT can generate comprehension questions from a given English text, modify the text’s difficulty levels based on students’ proficiency, and provide corrective feedback on students’ writing. The current study attempts to assess the accuracy of ChatGPT’s Korean–English translation. Because accuracy varies depending on the text type, three Korean text types (text on factual information, a poem, and proverbs) were selected for this study.
The results of ChatGPT’s Korean–English translation were evaluated by native English speakers. The following are the study’s main findings. First, ChatGPT translated the three types of text accurately, with almost no grammatical errors. Second, the accuracy of translation was highest in the text containing factual information and lowest in the proverbs containing many figurative expressions. Third, ChatGPT demonstrated some functions that were distinct from those of other translators. For example, it explains the figurative meaning of Korean proverbs in greater detail. According to the findings of this study, ChatGPT can be effectively used as a tool for Korean–English translation.