Fine-tuning과 RAG를 활용한 특정 도메인 챗봇 제작 방법 비교

손지원(JiOne Son),김민성(MinSeong Kim),김부건(BuGeon Kim),박상준(SangJun Park),표성민(SungMin Pyo),배지훈(Ji-Hoon Bae),이종혁(JongHyuk Lee) 한국정보기술학회 2024 Proceedings of KIIT Conference Vol.2024 No.5

본 논문은 특정 도메인 챗봇 모델의 성능을 향상하기 위해 Fine-tuning 방식과 RAG 방식을 비교하는 실험을 다룬다. Fine-tuning 방식은 미리 학습된 모델을 특정 작업에 맞게 조정하는 기술이며, RAG 방식은 외부데이터를 활용하여 정확한 답변을 생성하는 방식이다. 실험은 두 방식을 동일한 데이터 세트에 적용하여 10가지 질문에 대한 성능을 비교했다. Fine-tuning 방식은 환각 현상과 답변 오류가 빈번하게 발생하며 정확도와 정답률이 낮았다. 반면 RAG 방식은 환각 현상과 삽입 오류가 적고, 정확도와 정답률이 훨씬 높았다. 따라서 실험 결과로 보아, RAG 방식이 Fine-tuning 방식보다 데이터에 대한 정확한 답변을 제공하는 데 더 적합하다는 것을 확인할 수 있다. This paper deals with an experiment comparing the fine-tuning method and the RAG method to improve the performance of a specific domain chatbot model. The fine-tuning method is a technology that adjusts a pre-trained model to a specific task, and the RAG method is a method that generates accurate answers using external data. The experiment applied the two methods to the same data set and compared their performance on 10 questions. In the fine-tuning method, hallucinations and answer errors occurred frequently, and accuracy and correct response rate were low. On the other hand, the RAG method had fewer hallucinations and insertion errors, and had much higher accuracy and correct response rate. Therefore, based on the experimental results, it can be confirmed that the RAG method is more suitable for providing accurate answers to data than the fine-tuning method.

대규모 언어 모델의 최적화를 위한 지시형 미세 조정과 LoRA 결합 접근법

김상국,노경란,한혁,최붕기 한국산업경영시스템학회 2024 한국산업경영시스템학회지 Vol.47 No.2

This study introduces and experimentally validates a novel approach that combines Instruction fine-tuning and Low-Rank Adaptation (LoRA) fine-tuning to optimize the performance of Large Language Models (LLMs). These models have become revolutionary tools in natural language processing, showing remarkable performance across diverse application areas. However, optimizing their performance for specific domains necessitates fine-tuning of the base models (FMs), which is often limited by challenges such as data complexity and resource costs. The proposed approach aims to overcome these limitations by enhancing the performance of LLMs, particularly in the analysis precision and efficiency of national Research and Development (R&D) data. The study provides theoretical foundations and technical implementations of Instruction fine-tuning and LoRA fine-tuning. Through rigorous experimental validation, it is demonstrated that the proposed method significantly improves the precision and efficiency of data analysis, outperforming traditional fine-tuning methods. This enhancement is not only beneficial for national R&D data but also suggests potential applicability in various other data-centric domains, such as medical data analysis, financial forecasting, and educational assessments. The findings highlight the method's broad utility and significant contribution to advancing data analysis techniques in specialized knowledge domains, offering new possibilities for leveraging LLMs in complex and re- source-intensive tasks. This research underscores the transformative potential of combining Instruction fine-tuning with LoRA fine-tuning to achieve superior performance in diverse applications, paving the way for more efficient and effective utilization of LLMs in both academic and industrial settings.

프라이버시 보호를 위한 오프사이트 튜닝 기반 언어모델 미세 조정 방법론

정진명,김남규 한국지능정보시스템학회 2023 지능정보연구 Vol.29 No.4

최근 구글의 BERT, OpenAI의 GPT 등, 언어모델(Language Model)을 사용한 비정형 텍스트 데이터에 대한 딥러닝 (Deep Learning) 분석이 다양한 응용에서 괄목할 성과를 나타내고 있다. 대부분의 언어모델은 사전학습 데이터로부터 범용적인 언어정보를 학습하고, 이후 미세 조정(Fine-Tuning) 과정을 통해 다운스트림 태스크(Downstream Task)에 맞추어 갱신되는 방식으로 사용되고 있다. 하지만 최근 이러한 언어모델을 사용하는 과정에서 프라이버시가 침해될 수 있다는 우려가 제기되고 있다. 즉 데이터 소유자가 언어모델의 미세 조정을 수행하기 위해 다량의 데이터를 모델 소유자에게 제공 하는 과정에서 데이터의 프라이버시가 침해될 수 있으며, 반대로 모델 소유자가 모델 전체를 데이터 소유자에게 공개하면 모델의 구조 및 가중치가 공개되어 모델의 프라이버시가 침해될 수 있다는 것이다. 이러한 상황에서 프라이버시를 보호하며 언어모델의 미세 조정을 수행하기 위해 최근 오프사이트 튜닝(Offsite Tuning)의 개념이 제안되었으나, 해당 연구는 제안 방법론을 텍스트 분류 모델에 적용하는 구체적인 방안을 제시하지 못했다는 한계를 갖는다. 이에 본 연구에서는 한글 문서에 대한 다중 분류 미세 조정 수행 시, 모델과 데이터의 프라이버시를 보호하기 위해 분류기를 추가한 오프사이트 튜닝을 적용하는 구체적인 방법을 제시한다. 제안 방법론의 성능을 평가하기 위해 AIHub에서 제공하는 ICT, 전기, 전자, 기계, 그리고 의학 총 5개의 대분야로 구성된 약 20만건의 한글 데이터에 대해 실험을 수행한 결과, 제안하는 플러그인 모델이 제로 샷 모델 및 오프사이트 모델에 비해 분류 정확도 측면에서 우수한 성능을 나타냄을 확인하였다. Recently, Deep learning analysis of unstructured text data using language models, such as Google’s BERT and OpenAI’s GPT has shown remarkable results in various applications. Most language models are used to learn generalized linguistic information from pre-training data and then update their weights for downstream tasks through a fine-tuning process. However, some concerns have been raised that privacy may be violated in the process of using these language models, i.e., data privacy may be violated when data owner provides large amounts of data to the model owner to perform fine-tuning of the language model. Conversely, when the model owner discloses the entire model to the data owner, the structure and weights of the model are disclosed, which may violate the privacy of the model. The concept of offsite tuning has been recently proposed to perform fine-tuning of language models while protecting privacy in such situations. But the study has a limitation that it does not provide a concrete way to apply the proposed methodology to text classification models. In this study, we propose a concrete method to apply offsite tuning with an additional classifier to protect the privacy of the model and data when performing multi-classification fine-tuning on Korean documents. To evaluate the performance of the proposed methodology, we conducted experiments on about 200,000 Korean documents from five major fields, ICT, electrical, electronic, mechanical, and medical, provided by AIHub, and found that the proposed plug-in model outperforms the zero-shot model and the offsite model in terms of classification accuracy.

Vision Transformer를 활용한 비디오 분류 성능 향상을위한 Fine-tuning 신경망

이광엽,이지원,박태룡 한국전기전자학회 2023 전기전자학회논문지 Vol.27 No.3

본 논문은 Vision Transformer를 기반으로 하는 Video Classification의 성능을 개선하는 방법으로 fine-tuning를 적용한 신경망을 제안한다. 최근 딥러닝 기반 실시간 비디오 영상 분석의 필요성이 대두되고 있다. Image Classification에 사용되는 기존CNN 모델의 특징상 연속된 Frame에 대한 연관성을 분석하기 어렵다는 단점이 있다. 이와 같은 문제를 Attention 메커니즘이 적용된 Vistion Transformer와 Non-local 신경망 모델을 비교 분석하여 최적의 모델을 찾아 해결하고자 한다. 또한, 전이 학습 방법으로 fine-tuning의 다양한 방법을 적용하여 최적의 fine-tuning 신경망 모델을 제안한다. 실험은 UCF101 데이터셋으로 모델을 학습시킨 후, UTA-RLDD 데이터셋에 전이 학습 방법을 적용하여 모델의 성능을 검증하였다. This paper proposes a neural network applying fine-tuning as a way to improve the performance of VideoClassification based on Vision Transformer. Recently, the need for real-time video image analysis based on deeplearning has emerged. Due to the characteristics of the existing CNN model used in Image Classification, it isdifficult to analyze the association of consecutive frames. We want to find and solve the optimal model bycomparing and analyzing the Vision Transformer and Non-local neural network models with the Attention mechanism. In addition, we propose an optimal fine-tuning neural network model by applying various methods of fine-tuningas a transfer learning method. The experiment trained the model with the UCF101 dataset and then verified theperformance of the model by applying a transfer learning method to the UTA-RLDD dataset.

도메인 특화 LLM: Mistral 7B를 활용한 금융 업무분야 파인튜닝 및 활용 방법

정천수 한국지능정보시스템학회 2024 지능정보연구 Vol.30 No.1

최근 사전학습된 범용적인 LLM(Large Language Model) 출시가 활발해지고 있지만, 도메인 특화 파인튜닝된 LLM 연구와 생성 방법을 제시하는 것은 부족한 실정이다. 본 연구는 도메인에 특화된 LLM의 파인튜닝과 활용에 대한 방안을 탐구하고 LLM의 최신 동향, 파운데이션 모델 및 LLM의 사전학습, 그리고 도메인 특화 LLM 파인튜닝에 대한 방법을 제시한다. 특히, 금융 분야에서의 언어 모델 활용이 중요하기 때문에 금융 특화 데이터셋의 선정과 전처리 방법, 모델 선정및 파인튜닝 절차, 그리고 금융 특화 LLM 파인튜닝 시 고려해야 할 사항들에 대해 구체적으로 제시한다. 금융 데이터 특성을 고려한 도메인 특화 어휘의 구축과 보안 및 규정 준수에 대한 고려사항을 다룬다. LLM 파인튜닝의 적용과 활용 연구에서는 SLM인 Mistral 7B을 활용한 실제 보험 금융 도메인 LLM을 생성하는 방법 및 구현 절차와 다양한 금융 분야에 대한 사례를 제시한다. 이를 통해 본 연구는 LLM을 금융 도메인 분야에 적용하는 가능성을 알아보고 한계점과 개선 방향을 제안함으로써 향후 연구 방향성을 제시한다. 따라서 본 연구는 업무 도메인 분야에서 자연어 처리 기술의 적용과 발전에 기여함과 동시에 다양한 산업 분야에서의 LLM 활용 방향성을 제공함으로써 기업 내 금융 서비스 및 다양한 산업군에 LLM을 적극적으로 활용할 수 있도록 하는데 의미와 가치가 있다. The recent release of pre-trained general-purpose LLMs (Large Language Models) has been active, but research and methods for generating domain-specific fine-tuned LLMs are lacking. This study explores approaches to the fine-tuning and utilization of domain-specific LLMs and presents the latest trends in LLMs, foundation models, and pre-training of LLMs, as well as methods for domain-specific LLM fine-tuning. In particular, because the use of language models in the financial sector is important, we specifically present the selection and pre-processing methods of financial-specific datasets, model selection and fine-tuning procedures, and considerations for financial-specific LLM fine-tuning. We discuss the construction of domain-specific vocabularies considering the characteristics of financial data and considerations for security and compliance. In the study of the application and utilization of LLM fine-tuning, we present the procedure for generating a real insurance finance domain LLM using the SLM (Small Language Model) Mistral 7B and the implementation procedure, and present cases for various financial fields. Through this, this study explores the possibility of applying LLMs to the financial domain field and proposes limitations and improvement directions, thereby presenting future research directions. Therefore, this study contributes to the application and development of natural language processing technology in the business domain field, and at the same time presents the direction of LLM utilization in various industrial fields, thereby having the meaning and value of enabling the active use of LLMs in financial services and various industries within companies.

한국어 언어모델 파인튜닝을 통한 협찬 블로그 텍스트 생성

김보경(Bo Kyeong Kim),변재연(Jae Yeon Byun),차경애(Kyung-Ae Cha) 한국산업정보학회 2024 한국산업정보학회논문지 Vol.29 No.3

본 논문에서는 대규모 한국어 언어모델인 KoAlpaca를 파인튜닝하고 이를 이용한 블로그 텍스트 생성 시스템을 구현하였다. 소셜 미디어 플랫폼의 블로그는 기업 마케팅 수단으로 널리 활용된다. 수집된 협찬 블로그 텍스트의 감정 분석과 정제를 통한 긍정 리뷰의 학습 데이터를 구축하고 KoAlpaca 학습의 경량화를 위한 QLoRA를 적용하였다. QLoRA는 학습에 필요한 메모리 사용량을 크게 줄이는 파인튜닝 접근법으로 파라미터 크기 12.8B 경우의 실험 환경에서 LoRA 대비 최대 약 58.8%의 메모리 사용량 감소를 확인하였다. 파인튜닝 모델의 생성 성능 평가를 위해서 학습 데이터에 포함되지 않은 100개의 입력으로 생성한 텍스트는 사전학습 모델에 비해서 평균적으로 두 배 이상의 단어 수를 생성하였으며 긍정 감정의 텍스트 역시 두 배 이상으로 나타났다. 정성적 생성 성능 평가를 위한 설문조사에서 파인튜닝 모델의 생성 결과가 제시된 주제에 더 잘 부합한다는 응답이 평균 77.5%로 나타났다. 이를 통해서 본 논문의 협찬물에 대한 긍정 리뷰 생성 언어모델은 콘텐츠 제작을 위한 시간 관리의 효율성을 높이고 일관된 마케팅 효과를 보장하는 콘텐츠 제작이 가능함을 보였다. 향후 사전학습 모델의 생성 요소에 의해서 긍정 리뷰의 범주에서 벗어나는 생성 결과를 감소시키기 위해서 학습 데이터의 증강을 활용한 파인튜닝을 진행할 예정이다. In this paper, we fine-tuned KoAlpaca, a large-scale Korean language model, and implemented a blog text generation system utilizing it. Blogs on social media platforms are widely used as a marketing tool for businesses. We constructed training data of positive reviews through emotion analysis and refinement of collected sponsored blog texts and applied QLoRA for the lightweight training of KoAlpaca. QLoRA is a fine-tuning approach that significantly reduces the memory usage required for training, with experiments in an environment with a parameter size of 12.8B showing up to a 58.8% decrease in memory usage compared to LoRA. To evaluate the generative performance of the fine-tuned model, texts generated from 100 inputs not included in the training data produced on average more than twice the number of words compared to the pre-trained model, with texts of positive sentiment also appearing more than twice as often. In a survey conducted for qualitative evaluation of generative performance, responses indicated that the fine-tuned models generated outputs were more relevant to the given topics on average 77.5% of the time. This demonstrates that the positive review generation language model for sponsored content in this paper can enhance the efficiency of time management for content creation and ensure consistent marketing effects. However, to reduce the generation of content that deviates from the category of positive reviews due to elements of the pre-trained model, we plan to proceed with fine-tuning using the augmentation of training data.

높은 정보량을 갖는 길이 효율적인 프롬프트 튜닝

이지형(Jihyung Lee),양정안(Jung Ahn Yang),이지형(Jee-Hyong Lee) 한국지능시스템학회 2024 한국지능시스템학회논문지 Vol.34 No.3

이미지 생성 AI 파인튜닝과 활용 사례 - 실내 공간 상세 스타일 키워드를 중심으로 -

정현,이진국 한국CDE학회 2023 한국CDE학회 논문집 Vol.28 No.4

This paper explores the potential of Generative AI in the field of interior architecture, with a specific focus on implementing fine-tuning models based on various interior design styles. It highlights that spaces have unique preferences influenced by culture, region, and users, leading to evolving design styles. However, the base models of image-generation AI do not always reflect the changes and latest trends in interior design styles. Model fine-tuning of image-generation AI enables the visualization of spaces incorporating various interior design styles. The study evaluates the base model's performance on 25 diverse design styles, selecting styles for further training based on the results. This fine-tuning involves three main steps: data preparation and preprocessing, text alignment and hyperparameter optimization, and model training and construction. The findings show that fine-tuning effectively represents styles missed by the base model, generating high-quality images. It accurately portrays style characteristics and keywords, offering versatile design possibilities. This research enhances space visualization while accommodating diverse interior design styles and user preferences. It provides a practical mechanism for generating alternative designs to facilitate practical comparisons in interior architecture. Additionally, it highlights the potential application of Generative AI in various fields beyond interior architecture.

목적 지향 대화 시스템을 위한 어댑터 기반 학습 방법

모윤호,강상우 한국디지털콘텐츠학회 2023 한국디지털콘텐츠학회논문지 Vol.24 No.6

Recently, pretrained hyperscale language models based on Transformer architectures have been used to improve the performance of task oriented dialogue systems. However, as the size of pretrained language models increases, problems typically arise with fine-tuning. Because fine tuning processes for language models require learning the entire parameter set, training takes longer as the size of a model increases, and storage space requirements also increase accordingly. To solve these problems, in this study, we propose a method to reduce the number of parameters of a language model and allow it to learn more efficiently. The proposed approach enables more efficient learning of conversational knowledge by combining an adapter and low-rank adaptation (LoRA) without learning parameters corresponding to Transformer-based language models. We evaluated the performance of an implementation of the proposed approach using the MultiWOZ 2.0 benchmark dataset, which is commonly used to evaluate the performance of task-oriented dialogue systems. The results show that despite learning with 8% fewer parameters compared to fine-tuning an existing model, the proposed method showed similar performance within the 2% error range. These results demonstrate that the efficiency of the proposed model improved dramatically in terms of learning time and storage space requirements. 최근에는 목적 지향 대화 시스템의 성능 향상을 위해 Hyper-Scale의 Transformer기반의 사전 학습된 언어 모델을 사용하고 있다. 하지만 사전 학습된 언어 모델의 크기가 증가함에 따라 Fine-tuning을 진행할 때 문제점이 발생한다. 언어 모델의 Fine-tuning 과정은 전체 파라미터를 학습하기 때문에 크기가 증가하면 학습 시간이 오래 소요된다. 또한 충분한 저장 공간이 필요하다. 본 연구는 이러한 문제점을 해결하기 위해 Transformer 기반의 언어 모델에 해당하는 파라미터는 학습하지 않고 이후 Adapter, LoRA의 구조를 결합해 대화 지식을 효율적으로 학습하는 방법을 제안한다. 제안 모델의 성능 평가는 목적 지향 대화 시스템에서 주로 쓰이는 벤치마크 데이터 셋인 Multi-WOZ 2.0 데이터를 사용했다. 실험결과 기존 모델의 Fine-tuning에 비해 8%의 파라미터로 학습을 진행했음에도 불구하고 제안모델은 기존 모델과 2% 오차범위 내의 비슷한 성능을 보였다. 따라서 학습시간과 저장공간의 효율성이 비약적으로 향상되었음을 증명하였다.

리뷰 데이터 감성 분류 성능 향상을 위한 Fine-tuning 방법

박정일,임명진,김판구 (사)한국스마트미디어학회 2024 스마트미디어저널 Vol.13 No.6

현대사회의 기업들은 소셜 미디어, 제품 리뷰, 고객 피드백 등 다양한 영역에 걸쳐 소비자 의견을 정확하게 이해하는 것이 경쟁에서 성공하기 위한 주요 과제임을 강조하며 감성 분류를 점점 더 중요한 작업으로 채택하고 있다. 감성 분류는 소비자의 다양한 의견과 감성을 파악하여 제품이나 서비스 개선에 도움을 주는 이유로 많은 연구가 진행중이다. 감성 분류에서는 대규모 데이터 셋과 사전 학습된 언어 모델을 통한 미세 조정이 성능 향상에 중요한 역할을 한다. 최근 인공지능 기술의 발전으로 감성 분류 모델은 높은 성능을 보이고 있으며, 특히 ELECTRA 모델은 효율적인 학습 방법과 적은 컴퓨팅 자원을 통해 뛰어난 결과를 제공한다. 따라서 본 논문에서는 ELECTRA에서 한국어를 학습한 KoELECTRA 모델을 이용하여 다양한 데이터 셋에 대한 효율적인 미세 조정을 통해 감성 분류 성능을 향상하는 방법을 제안한다. Companies in modern society are increasingly recognizing sentiment classification as a crucial task, emphasizing the importance of accurately understanding consumer opinions across various platforms such as social media, product reviews, and customer feedback for competitive success. Extensive research is being conducted on sentiment classification as it helps improve products or services by identifying the diverse opinions and emotions of consumers. In sentiment classification, fine-tuning with large-scale datasets and pre-trained language models is essential for enhancing performance. Recent advancements in artificial intelligence have led to high-performing sentiment classification models, with the ELECTRA model standing out due to its efficient learning methods and minimal computing resource requirements. Therefore, this paper proposes a method to enhance sentiment classification performance through efficient fine-tuning of various datasets using the KoELECTRA model, specifically trained for Korean.