GPT-4를 활용한 과학탐구역량 자동채점의 특성 분석

함은혜,박소영,이병윤,이성혜,이유경,홍유정 한국교육정보미디어학회 2024 교육정보미디어연구 Vol.30 No.3

이 연구는 GPT-4기반 자동채점시스템을 활용한 과학탐구역량 채점자료가 인간전문가의 채점자료와어떻게 다른지를 비교․분석한 것이다. 이를 위해 연구진이 개발한 GPT-4기반 자동채점시스템을 활용하여 초등학생 과학탐구활동보고서 322개를 평가하였으며, 산출된 채점자료의 내적 구조가 인간 채점자료의 내적 구조와 유사한지, 과학탐구역량에 대한 이론적 가정을 지지하는지를 검토하였다. 주요 연구결과는 다음과 같다. 첫째, GPT-4를 활용한 채점은 인간 채점과 비교하여 관대하였으며, 특히 난이도가 높은 채점항목에 대해서 더 관대한 경향을 보였다. 둘째, 채점의 일관성과 채점항목 간 내적일치도는 인간 채점보다 높은 경향을 보였다. 셋째, 다국면 채점자 모형 분석 결과, GPT-4 채점 자료를 인간 채점 자료와 통합하는 경우, 채점항목의 난이도에서 변동이 크게 나타났으며, 인간채점자의 내적적합도와 외적적합도를 상당히 손상시키는 것으로 나타나, GPT-4 채점 결과와 인간채점 결과의 비교가능성이 지지되지 않았다. 연구 결과를 바탕으로, GPT-4를 활용한 자동채점의 한계, 가능성과 과제를논의하였다. This study aims to examine the effectiveness of GPT-4 in automated scoring system compared to human experts when assessing students’ scientific inquiry reports. A total of 322 elementary students’ science inquiry reports were evaluated using a GPT-4-based automated scoring system as well as by a group of human experts. The two sets of scoring data were compared to examine whether the internal structure of the GPT-scoring data resembled that of human scoring, and whether it aligned with theoretical expectations of scientific inquiry skills. The key findings are as follows: First, GPT-4’s scoring was generally more lenient, particularly with more challenging criteria. Second, GPT-4 demonstrated higher consistency in scoring and internal consistency among items than human scoring. Third, the many-faceted Rasch model showed significant discrepancies in item difficulty when integrating GPT-4 scoring data with human scoring data, adversely affecting the internal and external fit of human raters, which suggests that the comparability between GPT-4 and human scoring outcomes is limited. Based on these findings, the limitations, possibilities, and challenges of using GPT-4 for automated scoring are discussed

챗GPT 활용과 교육적 과제

박진경 한국실천신학회 2024 신학과 실천 Vol.- No.88

본 논문의 목적은 교육적 시각에서 챗GPT 활용 시 발생하는 학습적, 기술적, 윤리 적 이슈를 살펴보고, 챗GPT를 안전하게 사용하기 위한 교육적 과제를 탐색하는 것이 다. 2022년 11월 30일 오픈AI가 챗GPT를 처음 선보인 이후, 교육 현장에서는 챗GPT 활용에 대한 기대와 우려가 교차하였다. 그러나 챗GPT 활용에 대한 가능성과 한계성 에 대한 충분한 논의가 이루어지기 이전에, 이미 많은 교육 분야에서 사용되면서 다 양한 이슈를 야기하고 있다. 챗GPT를 어떻게 활용하느냐에 따라 챗GPT 활용이 교육 분야에 기회가 될 수도 있고, 또한 위기가 될 수도 있는 상황이다. 챗GPT로 촉발된 생성형 AI 시대를 살아가는 학습자에게 챗GPT 활용을 금지하기보다는 안전하게 활 용할 수 있는 교육적인 대안을 제시하는 것이 필요하다. 챗GPT의 긍정적인 활용으로, 대량교육 체제에서 수행했던 교사주도학습이 아니라 학습자 중심 교육 체제 안에서 자기주도학습이 가능해짐에 따라, 선제적으로 갖추어야 할 AI 리터러시와 AI 시민성 도 절실히 요구되고 있다. 이러한 역량을 근거로 한 학습자의 챗GPT 활용 능력이 곧 그들의 학습 능력과도 관련될 것이다. 그런 의미에서, 본 논문은 챗GPT의 교육적 가 능성과 한계성을 고려하여 챗GPT를 효율적인 보조 도구로 활용한다는 전제로 출발 한다. 이를 기초로, 먼저 챗GPT가 무엇인지 주요 개념을 살펴본 후, 교육 분야에 챗 GPT로 인해 초래한 학습적, 기술적, 윤리적 이슈를 모색한다. 그리고 교수자가 학습자를 위해 수행해야 할 챗GPT 활용을 위한 교육적 과제들 - 에듀테크를 이용한 학 습자 중심의 맞춤형 교육, 안전한 선용을 위한 AI 리터러시 교육, 윤리적 측면을 강화 한 AI 시민성 교육 –을 탐색한다. 본 연구는 챗GPT의 악용을 예방하고 선용을 강화 해 나가는 데 중요한 이론적, 실천적 기반뿐만 아니라, 챗GPT 시대를 선도하는 미래 세대를 위한 건설적인 제언을 제시한 의의가 있다. This study aims to investigate the learning, technical, and ethical implications that arise when ChatGPT is used in education and identify challenges for its safe integration into educational contexts. Since OpenAI launched ChatGPT on November 30, 2022, there has been both anticipation and apprehension about how it is used in educational settings. Despite the need for thorough discussions on the possibilities and limitations of ChatGPT, it has already been applied across various academic fields, prompting many issues. The utilization of ChatGPT in education presents a dual possibility: it can serve as both an opportunity and a potential crisis. It is crucial to provide educational alternatives that can effectively and safely harness the potential of ChatGPT rather than outright forbidding its use among learners in the era of generative AI driven by ChatGPT. This calls for an urgent emphasis on both AI literacy and AI citizenship, particularly considering the positive role ChatGPT can play. The transition from traditional, teacher-led education models to learner-centered frameworks underscores the importances of fostering self-directed learning among students. As learners' proficiency in utilizing ChatGPT becomes intertwined with their learning capabilities, this study begins by exploring its effective integration as an auxiliary tool, considering its educational potential and constraints. With this premise, this study examines ChatGPT’s nature and implications on learning, technical, and ethical issues within education. Next, it talks about the educational problems that arise when ChatGPT is used that educators need to solve for the benefit of their learners. These problems include providing personalized, learner-centered education through EduTech, teaching AI literacy to be used safely, and instilling AI citizenship with a focus on ethical considerations. This study’s three major educational challenges are rooted in theoretical principles and practical foundations. They serve to prevent ChatGPT misuse, strengthen its adoption, and provide constructive suggestions for guiding future generations through the era of ChatGPT.

챗(Chat) GPT를 활용한 대학 교양 읽기-쓰기의 운영 방안 탐색 - 한국외국어대학교 사례를 중심으로 -

박소영 이화어문학회 2024 이화어문논집 Vol.62 No.-

챗(Chat) GPT 등장 이후, 대학 읽기-쓰기 교양 교과에서의 활용 또는 제 재에 대한 논란이 뜨겁다. 성인 학습자를 대상으로 하는 대학 읽기-쓰기 교양 교과의 목표는 창의적 사고와 비판적 능력을 기르고, 이를 바탕으로 논리적이고 참신한 글을 쓰는 데 있다. 이에 한국외국어 대학교 1학년 신 입생의 챗 GPT 인식과 대학 읽기-쓰기 교양 교과와의 연계성에 대한 설문 조사를 실시하여, 조사 결과를 바탕으로 챗 GPT를 활용한 교과 운영 방안 을 마련하였다. 먼저 텍스트 성격에 따라 읽기-쓰기 교양 교과 활동에서 필요한 ‘프롬프트 크리에이터’, ‘요약하기와 중심어 찾기’를 활용 방안으로 제시하였다. 그리고 챗 GPT의 창의성 여부, 저작물 표절과 관련한 한계와 그 해결 방안을 제시할 필요성 또한 제기된바, 쓰기 과정에서 챗 GPT를 활용할 수 있는 방안을 모색하였다.‘경험의 글쓰기’,‘각주와 참고문헌 작성 의 윤리’를 제시하여 효과적인 사용 방안을 탐색하여, 향후 대학에서의 챗 GPT 활용에 대한 실질적인 가이드라인을 제공할 수 있다. Since the advent of Chat GPT, there has been much controversy over its use or sanction in university reading-writing liberal arts subjects. The goal of college reading-writing liberal arts courses for adult learners is to develop creative thinking and critical skills, and to write logical and novel essays based on them. Accordingly, a survey was conducted on the connection between perceptions of Chat GPT among freshmen at Hankuk University of Foreign Studies and college reading-writing liberal arts subjects, and then a curriculum management plan that uses Chat GPT was prepared based on the survey results. Accordingly, ‘prompt creators’ and ‘summary and central word search’ required for reading-writing liberal arts activities were suggested according to the nature of the text. In addition, the creativity of Chat GPT, limitations related to the plagiarism of works, and the need to suggest solutions were also raised, and a plan to utilize Chat GPT in the writing process was sought. By presenting the ‘writing of experience’ and ‘ethics of writing footnotes and references’, it is expected that practical guidelines for the use of Chat GPT in universities will be provided in the future.

챗GPT를 활용한 시창작 방안 연구

김민지 ( Kim¸ Min-jee ) 동국대학교 한국문학연구소 2023 한국문학연구 Vol.- No.72

챗GPT-4의 등장으로 ‘창작’의 영역은 인공지능이 대체할 것이라는 두려움과 불안감에 휩싸였다. 만일 공고히 지켜온 인간의 창작 영역마저 인공지능이 빼앗는다면 여태껏 철학에서 강조했던 인간에 대한 기대와 사유가 허상에 불과한 것이 될지도 모른다. 따라서 본 연구에서 인공지능의 현황을 살피고 챗GPT가 부재하고 있는 것을 확인하여, 챗GPT를 활용한 창작 방안을 모색하고자 한다. 또한 문학 장르 중 은유, 반복, 표현 등 모든 것이 고려되는 시를 중심으로 다루면서, 챗GPT가 결코 인간의 창작물을 넘어설 수 없음을 확인한다. 그래서 본 연구는 챗GPT가 인간을 대체할 기술이 아닌 인간과 상호보완하는 존재로 인정하고, 추후 시창작을 위해 챗GPT를 어떻게 효율적으로 활용할 수 있을지 고찰한다. 본 연구에서 챗GPT의 창작 역량이 아직 부족하다고 보고, 챗GPT를 활용한 시창작 방안을 제시하여 추후 교육 활동에 적용할 목적으로까지 확장된 논의를 펼친다. 또한 시창작에서 중요하게 여기는 관점과 감정이 챗GPT에 부재하고 있음을 확인하고, 이를 사용자가 채워 창작물로서 완성하기를 제안한다. 따라서 본 연구에서는 챗GPT의 한계를 검토하고, 챗GPT를 활용한 시창작 방안의 논리적인 이해를 돕기 위해 볼프강 이저의 이론으로 설명하고자 한다. 이저가 말한 미정성과 빈자리 개념을 가지고 사용자의 역할을 설명한다면 챗GPT의 활용에 있어 논리적으로 접근할 수 있다. 이는 추후 교육 분야에서 유의미한 논의가 될 것이라 기대한다. The purpose of this study is to present a poetry creation plan using Chat GPT. With the advent of Chat GPT-4, the area of “creation” was engulfed by fear and anxiety that artificial intelligence would replace it. If artificial intelligence takes away even the human creative area that has been firmly protected, the expectations and thoughts of humans that have been emphasized in philosophy so far may be nothing more than an illusion. Therefore, in this study, we would like to examine the current status of artificial intelligence and confirm the absence of Chat GPT to seek creative measures using Chat GPT. It also focuses on poetry in which everything such as metaphors, repetitions, and expressions are considered among literary genres, confirming that Chat GPT can never go beyond human creations. Therefore, Chat GPT is regarded as a complement to humans, not a technology to replace humans, and it is considered how to efficiently use Chat GPT for future poetry creation. This study believes that the creative capacity of Chat GPT is still insufficient, and expands the discussion with the aim of applying it to future educational activities by presenting a poetry creation plan using Chat GPT. It also confirms that perspectives and emotions that are considered important in poetry creation are absent in Chat GPT, and suggests that users should fill them. In this study, the object to enter the command is defined as a ‘user’. It is described as a user beyond command input. Therefore, in this study, we would like to review the limitations of Chat GPT and explain it with Wolfgang Iser's theory to help logical understanding of poetry creation methods using Chat GPT. If the user's role is explained with the concept of uncertainty and vacancy mentioned by the author, it can be approached logically in the use of Chat GPT. This can be expected to be a meaningful discussion in the field of education in the future.

법률영역에서 GPT-4 활용 가능성과 시사점 - 법학적성시험(LEET) 중심으로 -

박성미,박지원,안정민 서울대학교 법학연구소 2023 경제규제와 법 Vol.16 No.1

2022년 11월 OpenAI에서 공개한 초거대 언어모델(Large Language Model, LLM) 기반 대화형 인공지능 ChatGPT가 전세계적으로 큰 반향을 일으키고 있다. 특히 가장 최근 모델인 GPT-4의 경우 LSAT의 성적이 상위 12%의 점수를 기록하는 등 혁신적인 성과를 보여줌으로써 언어와 추론에 크게 의존하는 법률 분야에서 법률 문서 해석, 계약서 작성 등 모든 법률 업무에서 사람을 대체할 수 있는 수준까지 얼마 남아 있지 않았다는 예측이 있다. 본 연구는 이러한 막연한 우려에 대한 근거를 객관적인 실험을 통해 증명해보고자 하였다. 이를 위해 본 연구에서는 OpenAI가 발표하였던 미국의 LSAT 실험 결과를 재확인해보고, 이와 유사한 우리나라의 법학적성시험인 LEET 시험의 문제풀이 분석을 통해 법률영역에서 GPT-4가 가지고 올 영향을 평가해 보고자 하였다. 이를 위해 GPT-4의 문제풀이가 논리적이고, 타당하며, 정확한 추론을 내릴 수 있도록 다양한 프롬프트 디자인을 통한 실험을 진행하였다. 이러한 실험 방법을 통해 GPT-4의 추론 과정에서 발생한 문제점을 분석하여 적시하였다. 연구결과에 의하면 GPT-4 모델이 LEET 시험 문제를 풀 때 피상적인 분석만 가능하며 새로운 사실 적용이 어렵고, 개방형 질문에 대한 답변이 일관되지 않으며, 암시적 사실은 단순히 없는 것으로 판단하는 경우 등이 나타나 아직까지 GPT-4는 합리적인 추론모델로 인정하기 어려웠다. 다만, 법률 말뭉치를 활용한 사전학습, 법률전문가 피드백 시스템 구축, 법적 지원 기술 개발 등의 방식으로 추론영역에서 사람의 의사결정을 지원할 수 있는 가능성은 충분하다고 판단된다. In November 2022, OpenAI released ChatGPT, a conversational AI chatbot, which caused a global sensation. The most recent model, GPT-4 is expected to replace experts in various legal tasks, including interpreting legal documents and drafting contracts, due to its impressive performance enhancements, such as achieving top 12% on LSAT. This study aims to objectively prove the concerns surrounding GPT-4 through experiments. To achieve this, the study confirmed the results of the LSAT experiment announced by OpenAI and evaluated the potential impact of GPT-4 on the legal field by analyzing the problem-solving of LEET, a legal aptitude test similar to LSAT, in Korea. The study conducted various prompt design experiments to ensure that GPT-4's problem-solving is logical, valid, and able to draw accurate inferences. The study analyzed the problems that arose during GPT-4's inference process through this experimental method. The research results showed that GPT-4 can only perform superficial analysis when solving LEET test questions, has difficulty applying new facts, returns inconsistent answers to the same question, and often ignores implicit facts. Therefore, it is currently difficult to recognize GPT-4 as a rational inference model. However, it has potential to aid human inference in law by pre-training with legal data, incorporating expert feedback, and developing specialized legal technology.

챗GPT에(게) 묻다

김화선(Hwa-seon Kim) 한국리터러시학회 2023 리터러시 연구 Vol.14 No.3

This review examines the meaning of ChatGPT, a state-of-the-art natural language processing (NLP) model developed by OpenAI, and Professor Kim Dae-sik, a brain scientist, exchanged questions and answers on topics such as human relations, love, and happiness, risks facing mankind, God's existence and death. First, we asked ChatGPT, Google Bard, and Microsoft's search engine “Newbing” to write a book review on “The Future of Mankind Ask ChatGPT,” and then analyzed the contents and composition of each answer. The book review written by ChatGPT was presented in the form of “Overall Introduction-Book Composition Method and Theme-Limitations and Significance of ChatGPT-General Review,” and the flow of the article was generally smooth, but it was difficult to find the writer’s fresh perspective. Google’s Bard article confirmed that the text generation method of artificial intelligence chatbots focuses on universal summaries and simple and clear explanations rather than individuality and originality. Microsoft’s search engine “Newbing,” based on the GPT-4 model, specifically cited the contents of the book to increase reliability and reveal the source in consideration of the issue of intellectual property infringement. Looking at the conversation scenes between humans and machines, I thought about the significance of the conversation. In order for “ask-answer” to be a process of generating meaning, curiosity, and curiosity about not only oneself but also others and the world must be placed behind it. In addition, to continue the conversation, a literacy ability to discover meaning is required, and literacy presupposes the ability to read between the lines and grasp contextual knowledge. This eventually requires the imagination to fill the gap and the overall perspective to grasp the relationship between the part and the whole, the part and the part. The process of finding meaning is the ability to think about surplus and outside and grasp the context, and if you say one thing, it is no different from the sense of recognizing heat. The sensibility that knows how to capture nuances belongs to the realm of humanism, which is essential for humans to sense and judge an object or phenomenon. Therefore, Professor Kim Dae-sik’s conclusion in “Epilogue II” of “The Future of Humanity Ask ChatGPT” has great implications. The eye to distinguish the voices of individuals, which contain nuances subtly different from those that “probabilistic parrots” imitate plausibly, is based on humanities knowledge that cannot be easily filled with the names of efficiency, probability, and practicality. To exist as thinking human beings, we realize again that we must ask ‘why’ rather than ‘what’ and rely on the logic of coincidence and the specific context of life, not on the axis of stochastic thinking. And at the core of it, there is humanity that repeatedly asks and answers with a long-term perspective. 이 글은 OpenAI에서 개발한 최첨단 자연어 처리(NLP) 모델 챗GPT와 뇌과학자인 김대식 교수가 인간관계와 사랑, 정의와 행복, 인류가 직면한 위험, 신의 존재와 죽음과 같은 주제로 주고받은 문답을 소개하고 있는 『챗GPT에게 묻는 인류의 미래』가 인공지능 시대의 출발점에 선 독자들에게 시사하는 의미가 무엇인가를 살피고 있다. 먼저 챗GPT와 구글 Bard, 마이크로소프트사의 검색엔진 ‘뉴 빙(new bing)’에 차례로 『챗GPT에게 묻는 인류의 미래』에 대한 서평을 작성해달라고 요구한 후, 각 답안의 내용과 구성 방식을 분석해보았다. 챗GPT가 작성한 서평은 ‘전반적인 소개-책의 구성 방식과 주제-챗GPT의 한계와 의의-총평’ 형식으로 제시되었고, 글의 흐름은 전반적으로 매끄러운 편이지만 글쓴이의 참신한 관점을 찾아보기는 어려웠다. 구글의 바드가 제시한 글은 동일한 어휘 사용, “또한”으로 시작하는 문장 형식의 반복 등이 나타났으며 인공지능 챗봇의 텍스트 생성방식이 개성과 독창성보다는 보편적인 요약과 간단하고 명확한 설명 위주로 진행되고 있다는 사실을 확인시켜주었다. GPT-4 모델을 기반으로 한 마이크로소프트사의 검색엔진 ‘뉴 빙(new bing)’은 책의 내용을 구체적으로 인용하여 내용에 신뢰성을 높였고 지적재산권 침해 문제를 의식하여 출처를 밝혀주었다. 인간과 기계가 나눈 대화 장면들을 살펴보며 대화가 갖는 의의에 대해 생각해보았다. ‘묻기-대답하기’가 의미를 생성하는 과정이 되려면 그 배면에는 자기뿐 아니라 타자와 세계에 대한 호기심과 궁금증이 자리해야 한다. 그리고 대화를 지속하려면 의미를 발견해내는 리터러시(Literacy) 능력이 필요한데, 읽고 쓸 줄 아는 문해력은 행간을 읽고 맥락적 지식을 파악하는 역량을 전제로 한다. 이는 결국 빈틈을 채울 수 있는 상상력과 부분과 전체, 부분과 부분의 관계를 파악할 수 있는 전체적 안목을 요구한다. 의미를 찾는 과정은 잉여와 외부를 사유하고 맥락을 파악하는 능력이며, 말하지 않아도 알 수 있고 하나를 말하면 열을 알아채는 눈치와 다름이 없다. 뉘앙스를 포착할 줄 아는 눈치란 인간이 어떤 사물이나 현상을 감각하고 판단하는 데 필수적인 휴머니티의 영역에 속한다. 그래서 『챗GPT에게 묻는 인류의 미래』의 ‘에필로그Ⅱ’에 남긴 김대식 교수의 결론은 시사하는 바가 크다. “확률적 앵무새”가 그럴듯하게 흉내내는 목소리와는 미묘하게 다른 뉘앙스를 담고 있는 개별자들의 목소리를 구분해내는 안목은 능률과 확률, 실용이라는 이름으로 쉽사리 채울 수 없는 인문학적 소양을 바탕으로 한다. 사유하는 인간으로서 존재하려면 ‘무엇을’이 아니라 ‘왜’를 질문해야 하고, 확률적 사고의 축이 아닌 우연성의 논리와 삶의 구체적 맥락에 기대어야 한다는 사실을 다시금 깨닫는다. 그리고 그 핵심에 긴 안목으로 묻고 대답하기를 반복하는 인문학이 자리한다.

GPT-4를 활용한 인간과 인공지능의 한국어 사용 양상 비교 연구

박서윤,김한샘,강예지,강조은,김유진,이재원,정가연,최규리 국어국문학회 2024 국어국문학 Vol.0 No.206

본 논문은 인간과 인공지능 모델이 생성한 텍스트 간 차이점을 밝히고자 에세이를 중심으로 형태론적, 통사론적, 사회언어학적 특징 등 언어학적 층위에 따라 연구하였다. 고등학교 1학년〜3학년 학생들이 작성한 에세이를 인간 생성 에세이 데이터셋으로 사용하였으며, 인공지능 모델 생성 데이터로는 GPT-4가 생성한 에세이를 사용하였다. 형태론적 층위 분석을 위해 품사 빈도와 어휘 다양도, 어휘 밀도 그리고 어휘 정교도를 사용하였으며, 카이 제곱 검정, 윌콕슨의 부호-서열 검정 등을 활용하여 인간과 GPT-4의 어휘 사용 양상 간 차이의 유의미성을 검정하였다. 검정 결과 품사 빈도, 어휘 다양도, 어휘 밀도에서는 유의 확률(p-value)이 모두 0.05 이하로 나타나 실제로 어휘 사용 양상에 통계적으로 유의미한 차이가 있음을 확인할 수 있었다. 어휘 정교도에서는 인간과 GPT-4 간 통계적으로 유의미한 차이가 드러나지 않았다. 통사론적 층위 분석은 문장 기초 특성과 의존 구문 분석 결과를 바탕으로 진행하였으며, 분석 결과 인간이 GPT-4보다 각 특성별로 편차와 분포가 넓은 양상을 보여 다양한 문장을 사용하여 에세이를 작성하고 있음을 확인할 수 있었다. 한편 구문 분석을 수행한 결과, 인간이 생성한 문장에는 VP와 AP가 상대적으로 빈번하게 등장하였고 GPT-4 생성 문장의 경우 NP와 수식 관련 성분이 자주 등장하였다. 언어 사용자 시각에서의 주체별 언어적 특징 분석을 위해 성별어 분석을 진행한 결과, GPT-4는 성별별 기호어, 혐오어, 그리고 성별 공통 혐오어를 거의 사용하지 않고 성별 공통 기호어는 자주 사용하는 경향을 보였다. 이에 따라 GPT-4는 성별 편향 혹은 혐오 표현에 대해 회피하도록 학습되었음을 확인하였다. 감성 분석의 경우에는 GPT-4가 생성한 에세이가 인간의 에세이보다 긍정의 극성을 가지는 비중이 높아, 학습 데이터 구성 시 부정적인 감성이 드러나는 데이터를 필터링하였거나 생성 시에 극성에 대한 조정이 가해졌을 가능성이 있음이 드러났다. This paper aims to enlighten the differences between texts which were generated by human and AI model, focusing on ‘essays’. We analyzed Korean usage patterns according to linguistic layers such as morphological, syntactic, and sociolinguistic features. In an aspect of dataset, we used essays written by high school students in the 1st to 3rd grades as ‘human-generated essays’, and essays generated by GPT-4 as data for ‘GPT-4 generated essays’. For morphological feature analysis, we used part-of- speech tag frequency, Type Token Ratio (TTR), lexical density, and lexical sophistication. We found that human and GPT-4 have different patterns of Part-Of-Speech by using statistical analysis. Also we observed that there are differences between human and GPT-4 in lexical features except lexical sophistication. The syntactic analysis was based on basic sentence characteristics and dependency parsing. The results showed that humans’ sentences have a wider range of deviations and distributions for each sentence characteristic than GPT-4s’, which indicates that humans write a variety of sentences than AI model. On the other hand, the dependency parsing showed that ‘VP’ and ‘AP’ appeared relatively frequently in human- generated sentences, while ‘NP’ and modifier(MOD) appeared frequently in GPT-4-generated sentences. To examine the linguistic features in the sight of language users, we analyzed gender-biased words, and found that GPT-4 rarely used gender-specific preferred words, gender-aversive words, and gender-common aversive words but frequently used gender-common preferred words. This suggests that GPT-4 has been pre-trained to avoid gender-biased or hate speech. In the case of sentiment analysis, GPT-4s showed more positive emotions than humans, and this also revealed that as same as gender bias results, GPT-4 has been pre-trained to generate positive sentences that negative sentences.

GPT-4를 활용한 인간과 인공지능의 한국어 사용 양상 비교 연구

박서윤(Park, Seo-yoon),강예지(Kang, Ye-jee),강조은(Kang, Jo-eun),김유진(Kim, Yu-jin),이재원(Lee, Jae-won),정가연(Jung, Ga-yeon),최규리(Choi, Gyu-ri),김한샘(Kim, Han-saem) 국어국문학회 2024 국어국문학 Vol.0 No.206

본 논문은 인간과 인공지능 모델이 생성한 텍스트 간 차이점을 밝히고자 에세이를 중심으로 형태론적, 통사론적, 사회언어학적 특징 등 언어학적 층위에 따라 연구하였다. 고등학교 1학년〜3학년 학생들이 작성한 에세이를 인간 생성 에세이 데이터셋으로 사용하였으며, 인공지능 모델 생성 데이터로는 GPT-4가 생성한 에세이를 사용하였다. 형태론적 층위 분석을 위해 품사 빈도와 어휘 다양도, 어휘 밀도 그리고 어휘 정교도를 사용하였으며, 카이 제곱 검정, 윌콕슨의 부호-서열 검정 등을 활용하여 인간과 GPT-4의 어휘 사용 양상 간 차이의 유의미성을 검정하였다. 검정 결과 품사빈도, 어휘 다양도, 어휘 밀도에서는 유의 확률(p-value)이 모두 0.05 이하로 나타나 실제로 어휘 사용 양상에 통계적으로 유의미한 차이가 있음을 확인할 수 있었다. 어휘 정교도에서는 인간과 GPT-4 간 통계적으로 유의미한 차이가 드러나지 않았다. 통사론적 층위 분석은 문장 기초 특성과 의존 구문 분석 결과를 바탕으로 진행하였으며, 분석 결과 인간이 GPT-4보다 각 특성별로 편차와 분포가 넓은 양상을 보여 다양한 문장을 사용하여 에세이를 작성하고 있음을 확인할 수 있었다. 한편 구문 분석을 수행한 결과, 인간이 생성한 문장에는 VP와 AP가 상대적으로 빈번하게 등장하였고 GPT-4 생성 문장의 경우 NP와 수식 관련 성분이 자주 등장하였다. 언어 사용자 시각에서의 주체별 언어적 특징 분석을 위해 성별어 분석을 진행한 결과, GPT-4는 성별별 기호어, 혐오어, 그리고 성별 공통 혐오어를 거의 사용하지 않고 성별 공통 기호어는 자주 사용하는 경향을 보였다. 이에 따라 GPT-4는 성별 편향 혹은 혐오표현에 대해 회피하도록 학습되었음을 확인하였다. 감성 분석의 경우에는 GPT-4가 생성한 에세이가 인간의 에세이보다 긍정의 극성을 가지는 비중이 높아, 학습 데이터 구성 시 부정적인 감성이 드러나는 데이터를 필터링하였거나 생성 시에 극성에 대한 조정이 가해졌을 가능성이 있음이 드러났다. This paper aims to enlighten the differences between texts which were generated by human and AI model, focusing on ‘essays’. We analyzed Korean usage patterns according to linguistic layers such as morphological, syntactic, and sociolinguistic features. In an aspect of dataset, we used essays written by high school students in the 1st to 3rd grades as ‘human-generated essays’, and essays generated by GPT-4 as data for ‘GPT-4 generated essays’. For morphological feature analysis, we used part-ofspeech tag frequency, Type Token Ratio (TTR), lexical density, and lexical sophistication. We found that human and GPT-4 have different patterns of Part-Of-Speech by using statistical analysis. Also we observed that there are differences between human and GPT-4 in lexical features except lexical sophistication. The syntactic analysis was based on basic sentence characteristics and dependency parsing. The results showed that humans’ sentences have a wider range of deviations and distributions for each sentence characteristic than GPT-4s’, which indicates that humans write a variety of sentences than AI model. On the other hand, the dependency parsing showed that ‘VP’ and ‘AP’ appeared relatively frequently in humangenerated sentences, while ‘NP’ and modifier(MOD) appeared frequently in GPT-4-generated sentences. To examine the linguistic features in the sight of language users, we analyzed gender-biased words, and found that GPT-4 rarely used gender-specific preferred words, gender-aversive words, and gender-common aversive words but frequently used gender-common preferred words. This suggests that GPT-4 has been pre-trained to avoid gender-biased or hate speech. In the case of sentiment analysis, GPT-4s showed more positive emotions than humans, and this also revealed that as same as gender bias results, GPT-4 has been pre-trained to generate positive sentences that negative sentences.

<글쓰기멘토링>에서 Chat GPT 활용사례와 참여자 인식변화

전현옥,채민정 한국에듀테인먼트학회 2024 에듀테인먼트연구 Vol.6 No.2

본 연구는 대학에서 제공하고 있는 <글쓰기멘토링> 프로그램에서의 Chat GPT 활용 사례를 통하여 Chat GPT의 교육적 활용에 대한 참여자 인식변화를 확인하고, 이를 통해 대학에서 제공하는 글쓰기 관련 비교과 프로그램 운영시 Chat GPT 활용 가능성을 확인하고 교육적 시사점을 도출하는 것에 목적이 있다. 이를 위해 Chat GPT 활용 <글쓰기멘토링> 운영 사례를 분석하고, 참여 학생들의 인식변화를 확인하였다. 연구결과 첫째, 기존의 프로그램과 다르게 즉각적인 피드백 제공, 개인화된 학습 지원, 창의적 아이디어 및 표현 도움, 광범위한 정보 접근, 학습 동기 부여 차원에서 긍정적 측면을 확인할 수 있었다. 둘째, 학 습자 결과물 분석 결과 대체로 윤리강령은 잘 지켜서 활용하고 있으나, 몇몇 오류 사례들을 통해 프롬프 트 작성방법, 출처검증 등에 있어서 교육적 시사점을 도출할 수 있었다. 마지막으로 학습자 인식의 변화 결과 Chat GPT 도입시기, 프롬프트 작성의 중요성, 윤리적 측면, 긍정적 측면, 신뢰도와 활용도 측면에서 학습자 인식이 긍정적으로 변화하였음을 통계적으로 확인할 수 있었다. 이에 따라 대학의 비교과 글쓰기 프로그램인 <글쓰기멘토링>에서 Chat GPT를 교육적으로 활용하기 위해서는 Chat GPT의 결과물에 대한 철저한 검증, 멘토의 역할 재정립, 그리고 윤리적 사용에 대한 교육 공동체의 공감대 형성이 필요하겠다. 본 연구를 계기로 대학에서 이루어지는 글쓰기 관련 다양한 비교과 프로그램에서 Chat GPT 활용과 관련 한 생산적이고 구체적인 논의들이 이어지기를 기대한다. The purpose of this study is to confirm the change in perception of the educational use of Chat GPT through the Chat GPT case in <Writing Mentoring>, and to confirm the possibility of using Chat GPT in writing-related operations provided by universities. To this end, we analyzed the operation cases of <Writing Mentoring> using Chat GPT and confirmed the change in perception of participating students. As a result, unlike existing programs, positive aspects can be identified in terms of immediate feedback, personalized learning support, creative ideas and expression help, wide access to information, and motivation for learning. Second, as a result of the analysis of the results, the code of ethics is generally well observed and used, but educational implications can be derived for the method of writing prompts and source verification through some error cases. Finally, as a result of changes in learner perception, it can be statistically confirmed that learner perception has changed positively in terms of the introduction of Chat GPT, the importance of prompt writing, ethical aspects, positive aspects, reliability and utilization. Accordingly, in order to use Chat GPT educationally in <Writing Mentoring>, which is a comparison and writing of universities, it is necessary to thoroughly verify the results of Chat GPT, redefine the role of mentors, and form a consensus in the educational community on ethical use. It is hoped that productive and specific discussions related to the use of Chat GPT will continue in various comparison and programs related to writing at universities.

Chat GPT의 원리, 활용, 한계와 업무효율화

오상훈(Sang Hoon Oh) 목원대학교 교양교육혁신연구센터 2024 지식과 교양 Vol.- No.14

본 논문에서는 대규모 언어모델인 GPT를 활용한 Chat GPT의 원리와 활용방법, 그리고 사용상의 한계 및 업무 효율화 방안을 소개하였다. 이를 위하여 자연어 처리의 작업 영역을 자세히 알아보고, 컴퓨터에서 자연어 처리의 가장 첫 단계로 임베딩이 이루어짐을 설명하였다. 문장 수준의 임베딩을 위하여 제시된 트랜스포머와 GPT의 관계도 설명하였다. 마침내, RLHF를 통하여 GPT-3의 성능을 개선한 GTP-3.5를 기반으로 Chat GPT가 개발되어, OpenAI에 의해 발표되었음도 알아보았다. Chat GPT는 질의응답, 번역, 교정, 요약, 표 데이터 처리, 코딩 등의 영역에 활용할 수 있으며, 역할설정 및 자료 전달을 통하여 원하는 답변을 얻기 위한 유도도 할 수 있다. 한편으로, Chat GPT의 활용 방안이 광대한 만큼 사회에 가져온 충격도 막대함을 알아보았다. 기업체 혹은 국가 차원의 보안이슈가 제기되어 사용금지 조치가 이루어졌으며, 과학계의 저자 인정 여부와 문화예술계는 예술적 가치에 대한 논쟁과 더불어 일자리 이슈가 제기되면서 파업도 일어났다. 생성 AI에 의한 가짜 문제가 제기되었고, 사이버 범죄의 수단으로 악용됨도 알아보았다. Chat GPT가 지닌 환각현상 등의 한계도 알아보았다. 마지막으로 Chat GPT를 업무에 활용하기 위한 방안으로 환각현상을 염두에 둔 내용확인 필요성, 검색기가 아님을 주의하여 RAG 기능이 있는 생성형 AI의 활용하는 것과 전문적인 영역을 위하여 개발된 sLLM 사용 등을 제시하였다. This paper introduces the principles and applications of Chat GPT, which utilizes the large-scale language model GPT. It first discusses the detailed workings of natural language processing, where embedding serves as the initial step in computer-based language processing. The relationship between transformers and GPT is explained for sentence-level embedding. Then this paper explores the development of Chat GPT based on GPT-3.5, which has been improved via reinforcement learning from human feedback or RLHF, and released by OpenAI. Chat GPT can be utilized in various domains such as question answering, translation, correction, summarization, tabular data processing, and coding. It can guide users to obtain desired responses through role-setting and data delivery. However, its broad application is having significant societal impacts. Issues related to corporate or national security have led to usage restrictions, while debates over authorship recognition in the scientific community and discussions about artistic value in the cultural and arts sector have sparked strikes due to job concerns. The emergence of fake problems produced by generative AI, along with its misuse for cybercrime, is also highlighted. Such limitations of Chat GPT, including hallucination phenomena, are discussed in this work. Lastly, suggestions are made for utilizing Chat GPT in business that include emphasizing the need for content verification with hallucination in mind, cautioning against relying solely on search engines, utilizing generative AI with retrieval-augmented generation(RAG) functionality, and employing small large language models (sLLMs) developed for professional domains.