연구데이터 관점에서 본 거대언어모델 품질 평가 기준 제언

한나은,서수정,엄정호 한국정보관리학회 2023 정보관리학회지 Vol.40 No.3

본 연구는 지금까지 제안된 거대언어모델 가운데 LLaMA 및 LLaMA 기반 모델과 같이 연구데이터를 주요 사전학습데이터로 활용한 모델의 데이터 품질에 중점을 두어 현재의 평가 기준을 분석하고 연구데이터의 관점에서 품질 평가 기준을 제안하였다. 이를 위해 데이터 품질 평가 요인 중 유효성, 기능성, 신뢰성을 중심으로 품질 평가를 논의하였으며, 거대언어모델의 특성 및 한계점을 이해하기 위해 LLaMA, Alpaca, Vicuna, ChatGPT 모델을 비교하였다. 현재 광범위하게 활용되는 거대언어모델의 평가 기준을 분석하기 위해 Holistic Evaluation for Language Models를 중심으로 평가 기준을 살펴본 후 한계점을 논의하였다. 이를 바탕으로 본 연구는 연구데이터를 주요 사전학습데이터로 활용한 거대언어모델을 대상으로 한 품질 평가 기준을 제시하고 추후 개발 방향을 논의하였으며, 이는 거대언어모델의 발전 방향을 위한 지식 기반을 제공하는데 의의를 갖는다. Large Language Models (LLMs) are becoming the major trend in the natural language processing field. These models were built based on research data, but information such as types, limitations, and risks of using research data are unknown. This research would present how to analyze and evaluate the LLMs that were built with research data: LLaMA or LLaMA base models such as Alpaca of Stanford, Vicuna of the large model systems organization, and ChatGPT from OpenAI from the perspective of research data. This quality evaluation focuses on the validity, functionality, and reliability of Data Quality Management (DQM). Furthermore, we adopted the Holistic Evaluation of Language Models (HELM) to understand its evaluation criteria and then discussed its limitations. This study presents quality evaluation criteria for LLMs using research data and future development directions.

문화예술경영을 위한 ChatGPT 등 거대언어모형 기술의 활용 방안

안형준 한국문화예술경영학회 2023 문화예술경영학연구 Vol.16 No.2

The recent advancements in artificial intelligence technology, particularly the growth of generative AI, are expected to bring about innovative changes in the field of arts and cultural management. This study examines how Large Language Models (LLMs) can be used in arts and cultural management, aiming to help cultural institutions proactively respond to the changes brought about by LLM technology. This paper first seeks to understand LLM technology and explores its main advantages, such as natural language understanding and generation, and coding support. Next, it investigates the potential for applying these advantages to various areas of arts and cultural management, including audience development, fundraising, audience experience enhancement, and the creative process, presenting concrete examples accordingly. Furthermore, the paper provides a discussion on the possibilities, limitations, and future directions of LLM technology based on the analysis. In conclusion, this study demonstrates that the utilization of AI technologies like LLMs is essential in arts and cultural management, and that cultural institutions can significantly improve their operational efficiency and creative capabilities by proactively adapting to the changes these technologies bring. 최근의 인공지능 기술 발전, 특히 생성형 인공지능 기술의 성장은 문화예술경영 분야에서도 혁신적인 변화를 가져올 것으로 예상된다. 본 연구는 인공지능 거대언어모형, 즉 Large Language Model (LLM)이 문화예술경영에 어떻게 활용될 수 있는지 고찰하고 이를 통해 문화예술기관들이 LLM이 가져올 변화에 효과적으로 대응할 수 있도록 돕고자 한다. 본 논문은 먼저 LLM 기술의 본질을 소개하고 그 주요 장점인 자연어의 이해 및 생성, 프로그래밍 지원 기능 등을 살펴본다. 그 다음 이를 문화예술경영의 여러 분야, 즉 관객 개발, 기금 모금, 관객 체험 향상, 창작 프로세스 등에 활용할 수 있는 가능성을 탐구하며 그에 따른 예시들을 제시한다. 아울러 LLM 기술의 가능성과 한계, 발전 방향에 대한 토론도 제시한다. 결론적으로 이 연구는 문화예술경영 분야에서도 LLM과 같은 인공지능 기술의 활용이 필수적이며, 그러한 기술이 가져오는 변화에 적극 대응함으로써 문화예술기관들이 업무 효율성 및 창의적 역량을 크게 향상시킬 수 있음을 보인다.

LLM-Based AI Assistant for Codes and Standards in Civil Engineering

Kim, Young Tae,Lee, Sok Jin,Kim, Bong Chan,Lee, Eun Mi,Kim, Dong Jin 대한토목학회 2023 대한토목학회 학술대회 Vol.2023 No.10

This study presents the development of a LLM-based Q&A chatbot model for interpreting complex civil engineering regulations in South Korea. Leveraging large language model capabilities, the chatbot provides accurate responses to questions concerning construction standards and specifications. Additionally, a comparative analysis function enables efficient technical reviews of in-house and on-site specifications. Compared to traditional methods, the chatbot enhances productivity and reduces human error. The research points to wider implications for industries dealing with large data and complex regulations, setting the stage for future AI applications

거대언어모델을 활용한 한의학 교육 강화: 교육용 인공지능 개발을 중심으로

박사윤,김창업 한의병리학회 2023 동의생리병리학회지 Vol.37 No.5

Large language models (LLMs) have introduced groundbreaking innovations in various fields, including healthcare, where they augment medical diagnosis, decision-making, and facilitate patient-doctor communication through their exceptional contextual understanding and inferential abilities. In the realm of Korean medicine (KM), the utilization of LLMs is highly anticipated. However, it demands additional training with domain-specific KM data for seamless integration of KM knowledge. There are two predominant strategies for training domain-specific LLMs in the KM domain. The first approach entails direct manipulation of the LLM's internals by either pretraining a base model on an extensive corpus of KM data or fine-tuning a pretrained model's parameters using KM-related question-answering datasets. The second approach avoids internal model manipulation and leverages techniques like prompt engineering, retrieval augmented generation, and cognitive augmentation. Domain-specific LLMs specialized for KM hold the potential for diverse applications, ranging from personalized medical education plans and content generation to knowledge integration, curriculum development, automated student assessment, virtual patient simulations, and advanced research and scholarly activities. These advancements are poised to significantly impact the field of KM and medical education at large.

작업자의 업무 능률 향상과 안전 사고 방지를 위한 LLM 기반 챗봇 시스템

김두환(Doohwan Kim),한요한(Yohan Han),정인혁(Inhyuk Jeong),황영석(Yeongseok Hwnag),박진주(Jinju Park),이나현(Nahyeon Lee),이유진(Yujin Lee) 한국컴퓨터정보학회 2024 한국컴퓨터정보학회 학술발표논문집 Vol.32 No.1

본 논문에서는 LLM(Large Language Models) 기반의 STT 결합 챗봇 시스템을 제안한다. 제조업 공장에서 안전 교육의 부족과 외국인 근로자의 증가는 안전을 중시하는 작업 환경에서 새로운 도전과제로 부상하고 있다. 이에 본 연구는 언어 모델과 음성 인식(Speech-to-Text, STT) 기술을 활용한 혁신적인 챗봇 시스템을 통해 이러한 문제를 해결하고자 한다. 제안된 시스템은 작업자들이 장비 사용 매뉴얼 및 안전 지침을 쉽게 접근하도록 지원하며, 비상 상황에서 신속하고 정확한 대응을 가능하게 한다. 연구 과정에서 LLM은 작업자의 의도를 파악하고, STT 기술은 음성 명령을 효과적으로 처리한다. 실험 결과, 이 시스템은 작업자의 업무 효율성을 증대시키고 언어 장벽을 해소하는데 효과적임이 확인되었다. 본 연구는 제조업 현장에서 작업자의 안전과 업무 효율성 향상에 기여할 것으로 기대된다.

교수설계에서의 생성형 인공지능 활용 가능성 탐색: 문헌고찰 및 HRD 담당자의 요구분석을 중심으로

전주희 ( Juhui Jeon ),김경혜 ( Kyeonghye Kim ),정보영 ( Boyoung Jung ) 한국교육공학회 2023 교육공학연구 Vol.39 No.0

This study explored the application of generative artificial intelligence (AI) in instructional design, focusing on a comprehensive review of 17 studies (10 overseas and 7 domestic) using the PRISMA method. The analysis centers on exploring the potential of employing generative AI in instructional design based on the ADDIE model. A guidebook detailing practical examples of using ChatGPT for instructional design was developed. To gauge the current performance and perceived importance of generative AI in instructional design, a survey was conducted among 30 human resource development practitioners utilizing the guidebook. The results underwent analysis through Importance -Performance Analysis and Locus for Focus analysis. Results underscored a high priority for demand analysis during the analysis phase, lecture script writing and case creation in the development phase, learner-customized knowledge provision, and learner-driven task support in the implementation phase, along with quantitative and qualitative analysis of learning results in the evaluation phase. This study advocates considering these strategies primarily when guiding instructional designers on how to use generative AI. Notably, it offers practical and specific strategies for incorporating generative AI in instructional design, reflecting the perceptions of instructional designers.

교수설계에서의 생성형 인공지능 활용 가능성 탐색: 문헌고찰 및 HRD 담당자의 요구분석을 중심으로

전주희,김경혜,정보영 한국교육공학회 2023 교육공학연구 Vol.39 No.4

This study explored the application of generative artificial intelligence (AI) in instructional design, focusing on a comprehensive review of 17 studies (10 overseas and 7 domestic) using the PRISMA method. The analysis centers on exploring the potential of employing generative AI in instructional design based on the ADDIE model. A guidebook detailing practical examples of using ChatGPT for instructional design was developed. To gauge the current performance and perceived importance of generative AI in instructional design, a survey was conducted among 30 human resource development practitioners utilizing the guidebook. The results underwent analysis through Importance–Performance Analysis and Locus for Focus analysis. Results underscored a high priority for demand analysis during the analysis phase, lecture script writing and case creation in the development phase, learner-customized knowledge provision, and learner-driven task support in the implementation phase, along with quantitative and qualitative analysis of learning results in the evaluation phase. This study advocates considering these strategies primarily when guiding instructional designers on how to use generative AI. Notably, it offers practical and specific strategies for incorporating generative AI in instructional design, reflecting the perceptions of instructional designers.

LangChain을 활용한 토픽모델링 방법 제안

김남현,김세형,강주영 한국경영정보학회 2023 한국경영정보학회 학술대회논문집 Vol.2023 No.11

최근 몇 년 간 많은 대규모 언어 모델(LLM)이 만들어지고 있다. 이와 함께 LLM 기반 생태계가 빠른 속도로 발전하고 있다. 이러한 흐름 속에서 등장한 LangChain은 언어 모델에 기반한 어플리케이션을 개발하기 위한 프레임워크이며 다양한 분야에 활용되고 있다. 기존 LDA 토픽모델링은 형태소 분석기 의존성이 강해서 주제와 관련성이 낮은 결과를 도출하는 경향이 있다. 본 연구에서는 기존 방식의 한계점을 개선하고 어플리케이션 개발이 아닌 연구에도 활용할 수 있는, LangChain을 활용한 LLM 기반 토픽모델링 방법을 제시한다.

AI 기반 건축 초기 설계 프로세스에 대한 연구 - LLM 및 생성형 AI를 중심으로 -

정희건(Heegun Chong),김성아(Sung-Ah Kim) (사)한국CDE학회 2024 한국CDE학회 논문집 Vol.29 No.2

AIs role in architectural design is shifting architects roles from leading to guiding AI in the design process. While AI shows potential in automating design, its integration in CAD/BIM tools is still emerging. This research identifies architectural design tasks that AI can enhance, particularly in CAAD and BIM, proposing an AI Assistant for task automation and intuitive interface use. The research proposes an early design process using LLM and image-generating AI based on previous research. This process emphasizes user-centered communication using image-recognition-enabled LLM and image GAI, demonstrating that AI can assist in most early design tasks. In this research, a prototype AI Assistant module integrated into a CAD/BIM tool is proposed, showing that image GAI can generate various building interior alternatives, and image recognition LLM can extract furniture features from these images. With proper prompting and data processing, the LLM can recommend similar furniture elements from the users BIM library, automating design tasks. This bridges the gap between AIs theoretical potential and practical application in architectural design.

Can Large Language Models Stabilize the Attitude of a UAM Vehicle? - A Preliminary Research -

Tuan Anh Nguyen(투안안),Minseok Jang(장민석),Jeongseok Hyun(현정석),Taeho Kwak(곽태호),Myat Toe(미앗토),Jae Woo Lee(이재우) 한국항공우주학회 2023 한국항공우주학회 학술발표회 논문집 Vol.2023 No.11