RAG 기반 데이터 활용 생성형 AI 시스템 구현: 서울과학기술대학교 개인정보관리 지원을 중심으로 = Implementation of a RAG-Based Generative AI System Utilizing Data: Focusing on Supporting Personal Information Management at Seoul National University of Science and Technology

국문 초록 (Abstract)

제목: RAG 기반 데이터 활용 생성형 AI 시스템 구현: 서울과학기술대학교 개인정보관리 지원을 중심으로 최근 생성형 AI의 발전으로 행정, 교육, 의료 등 분야를 막론하고 다양한 활용 사례가 증가하고 있다. 그 중 법률이나 정책문서와 같이 정확하고 신뢰성 높 은 정보 제공이 필수적인 분야에서 그 관심이 더 높아지고 있다. 기존에 있던 검색 시스템은 키워드 중심 방식 혹은 규칙 기반으로 구성되어 있어, 질문의 맥락을 파악하고 이에 맞는 응답을 생성하는데 한계가 있다. 본 연구에서는 이러한 문제를 개선하기 위해 RAG 기반의 생성형 AI 시스템을 구현하였다. 시스템 구현을 위해 Langchain 프레임워크와 OpenAI API 언어 모 델을 활용하였고 서울과학기술대학교의 개인정보 관련 규정 및 법령 문서를 기준 데이터로 채택하였다. 시스템 구현과정에서 정보 검색의 정확도는 크게 데이터의 전처리 방식, 청크 전략, 임베딩 및 벡터화 방식의 선택, Few-shot prompting에 높은 영향을 받는다. 이를 위해 표로 구성된 데이터는 문장 단위 로 정제하고 문장의 의미가 유지될 수 있도록 400 토큰 기준으로 중첩분할 하 였다. 또한 Text-Embedding-3-Small 모델을 채택하여 응답 처리 효율성을 향 상하였으며 다양한 질문 형식을 처리하기 위해 Few-Shot Prompting을 적용하 였다. 우수한 성능의 시스템 구축을 위해 구조에 따라 총 세 가지 버전의 시 스템을 구현하였고, 이는 각각 전술한 성능변수에 차이가 있다. 시스템 성능 평가는 RAGAS 프레임 워크를 활용한 AI 평가와 전문가 평가를 병행하였다. 평가 결과, 사용자 질문의 맥락을 파악하고 이에 맞는 응답을 생성 및 명확한 문서 출처를 제시한 버전3이 가장 우수한 평가를 받았다. 본 연구는 정확하고 신뢰성 높은 정보 제공이 필수적인 공공부문에서 생성형 AI 기술의 적용 가능성을 살펴본 사례로 향후 관련 시스템을 설계하거나 기술 적·정책적 기초자료로 활용할 것으로 기대한다.

목차 (Table of Contents)

• 요 약 i
• 표 목 차 iii
• 그림 목차 iv
• I. 서 론 1
• 1. 연구의 배경 및 목적 1
• 2. 논문 구성 4
• II. 이론적 배경 5
• 1. 생성형 인공지능 기술 개요 및 발전 흐름 5
• 2. 생성형 인공지능 기반 질의응답 시스템 구현 기술 9
• 3. 개인정보 보호 관점에서의 생성형 인공지능 활용 고찰 13
• 4. 기존 연구의 고찰과 한계점 20
• III. 시스템 구현 및 개선 과정 22
• 1. 구현 개요 22
• 2. 데이터 전처리 및 청크 전략 24
• 3. 임베딩 및 벡터화 처리 27
• 4. 질의응답 구조 설계 29
• 5. 시스템 버전별 개선 흐름 30
• 6. 버전별 종합 비교 및 결론 36
• IV. 시스템 평가 및 분석 40
• 1. RAGAS(Retrieval-Augmented Generation Assessment) 프레임워크 40
• 2. 평가 지표 구성 41
• 3. 평가 방법 42
• 4. 평가 결과 43
• V. 결 론 55
• 참고 문헌 56
• 영문초록(Abstract) 60