도메인 특화 LLM: Mistral 7B를 활용한 금융 업무분야 파인튜닝 및 활용 방법 = Domain-specialized LLM: Financial fine-tuning and utilization method using Mistral 7B

국문 초록 (Abstract)

최근 사전학습된 범용적인 LLM(Large Language Model) 출시가 활발해지고 있지만, 도메인 특화 파인튜닝된 LLM 연구와 생성 방법을 제시하는 것은 부족한 실정이다. 본 연구는 도메인에 특화된 LLM의 파인튜닝과 활용에 대한 방안을 탐구하고 LLM의 최신 동향, 파운데이션 모델 및 LLM의 사전학습, 그리고 도메인 특화 LLM 파인튜닝에 대한 방법을 제시한다. 특히, 금융 분야에서의 언어 모델 활용이 중요하기 때문에 금융 특화 데이터셋의 선정과 전처리 방법, 모델 선정및 파인튜닝 절차, 그리고 금융 특화 LLM 파인튜닝 시 고려해야 할 사항들에 대해 구체적으로 제시한다. 금융 데이터 특성을 고려한 도메인 특화 어휘의 구축과 보안 및 규정 준수에 대한 고려사항을 다룬다. LLM 파인튜닝의 적용과 활용 연구에서는 SLM인 Mistral 7B을 활용한 실제 보험 금융 도메인 LLM을 생성하는 방법 및 구현 절차와 다양한 금융 분야에 대한 사례를 제시한다. 이를 통해 본 연구는 LLM을 금융 도메인 분야에 적용하는 가능성을 알아보고 한계점과 개선 방향을 제안함으로써 향후 연구 방향성을 제시한다. 따라서 본 연구는 업무 도메인 분야에서 자연어 처리 기술의 적용과 발전에 기여함과 동시에 다양한 산업 분야에서의 LLM 활용 방향성을 제공함으로써 기업 내 금융 서비스 및 다양한 산업군에 LLM을 적극적으로 활용할 수 있도록 하는데 의미와 가치가 있다.

다국어 초록 (Multilingual Abstract)

The recent release of pre-trained general-purpose LLMs (Large Language Models) has been active, but research and methods for generating domain-specific fine-tuned LLMs are lacking. This study explores approaches to the fine-tuning and utilization of domain-specific LLMs and presents the latest trends in LLMs, foundation models, and pre-training of LLMs, as well as methods for domain-specific LLM fine-tuning. In particular, because the use of language models in the financial sector is important, we specifically present the selection and pre-processing methods of financial-specific datasets, model selection and fine-tuning procedures, and considerations for financial-specific LLM fine-tuning. We discuss the construction of domain-specific vocabularies considering the characteristics of financial data and considerations for security and compliance. In the study of the application and utilization of LLM fine-tuning, we present the procedure for generating a real insurance finance domain LLM using the SLM (Small Language Model) Mistral 7B and the implementation procedure, and present cases for various financial fields. Through this, this study explores the possibility of applying LLMs to the financial domain field and proposes limitations and improvement directions, thereby presenting future research directions. Therefore, this study contributes to the application and development of natural language processing technology in the business domain field, and at the same time presents the direction of LLM utilization in various industrial fields, thereby having the meaning and value of enabling the active use of LLMs in financial services and various industries within companies.