초등 저학년 학생을 위한 CPS 기반의 언플러그드 로봇 활용 소프트웨어 교육 모형 CPS-SORO 연구

김혜주 국민대학교 소프트웨어융합대학원 2021 국내석사

본 연구는 창의적 문제해결력 신장을 위한 언플러그드 로봇 활용 소프트웨어 교육 모형을 개발하고 해당 모형의 교육적 효과를 확인하기 위한 것이다. 창의적 문제해결력을 갖춘 인재 양성은 현대 사회의 중요한 교육 목표이다. 소프트웨어를 중심으로 변화되는 시대가 요구하는 창의적 문제해결력은 체계적인 소프트웨어 교육을 통해 신장시킬 수 있다. 따라서 학생들이 어릴 때부터 보편적으로 소프트웨어 교육을 접하여 창의적 문제해결력을 신장할 수 있도록 기회를 제공해야 한다. 그러나 프로그래밍 문법 위주로 진행하는 소프트웨어 교육은 학습자의 창의적 사고 능력 발산을 저해하고, 초보 학습자에게는 과도한 인지적 부담을 줌으로 이를 해결하기 위한 교육 방법이 필요하다. 이에 본 연구에서는 초등 저학년 학생을 위한 CPS 기반의 언플러그드 로봇 활용 소프트웨어 교육 모형 CPS-SORO를 개발하고, 12차시 교육프로그램에 적용하였다. 이를 위하여 창의적 문제해결력 신장에 효과적인 오즈번-파네스의 CPS 단계에 준거하여 초등 저학년 학생의 발달 단계에 적합한 언플러그드 로봇을 학습 도구로 활용하였다. 이후, CPS-SORO 모형의 교육적 효과성을 검증하기 위하여 초등 저학년 학생들을 대상으로 수업을 시행하였으며, 대상 학생의 창의적 문제해결력 사전‧사후를 검사를 시행하였다. 그 결과, CPS-SORO 모형이 초등 저학년 학생의 창의적 문제해결력 신장에 유의미한 영향을 준 것이 밝혀졌다. 이상의 결과를 통하여 본 연구에서 개발한 CPS-SORO 모형이 초등 저학년 학생의 창의적 문제해결력 신장을 위한 소프트웨어 교육의 한 방법으로 적용 가능함을 확인하였다. 향후, CPS-SORO 모형을 적용한 수업대상을 확대하여 이를 바탕으로 한 후속 연구가 이루어진다면 보편적이고 보다 실용적인 소프트웨어 교육 모형을 제공할 수 있을 것이다. Cultivating talent with creative problem-solving skills is an important educational goal in modern society. The creative problem-solving skills required in the changing era centered on software can be enhanced through systematic and universal software education. Existing programming grammar-oriented software education hinders learners' creative thinking skills and is difficult for beginners to understand, so educational methods are needed to solve them. Therefore, in this study, CPS-SORO, a software education model using unplugged robots based on CPS for lower grade elementary school students was developed. The following strategies were applied to develop the CPS-SORO model. First, an effective CPS model was applied to enhance creative problem-solving skills. Second, an unplugged robot that is easy to operate even for lower grade elementary school students was used. This study developed by CPS, it is applied to the actual CPS-SORO model to 12 class education programs. Since then the CPS-SORO model applied the lessons of the lower grades in elementary students and then checked their creative problem-solving. As a result, the CPS-SORO model improved the creative problem-solving skills of lower grade elementary school students. It was found to have had a significant effect. Through the above results, it was confirmed that the CPS-SORO model developed in this study can be applied as a method of software education to improve the creative problem-solving ability of lower elementary school students. In the future, if next research based on the CPS-SORO model by expanding the classes, it will be possible to provide a universal and more practical software education model.

효율적인 해안경계를 위한 해무제거 및 해안에서의 미확인 물체 탐지 방안

정민욱 국민대학교 소프트웨어융합대학원 2023 국내석사

효율적인 해안경계를 위한 해무제거 및 해안에서의 미확인물체 탐지 방안 정민욱 인공지능 전공 국민대학교 소프트웨어 융합대학원 한반도는 지리적 특성상 3면이 바다로 둘러싸여 있으며, 해안경계의 관리는 국가 안보와 직결된 중요한 요소이다. 하지만 노후화된 군 장비와 군 인력 감소 문제로 인해 해안경계 작전에 있어 어려움을 겪는 현상이 존재하는 데, 이러한 배경 아래, 해당 논문은 해안경계 작전에 있어 인력 부족을 보완하고자 딥러닝 기반의 자동화 기술 방안을 도입하였다. 특히, 해안지역의 기후 특성상 발생하는 해무로 인해 저시 정 현상이 생기는 데, 이러한 문제점 해결하기 위해 해무 제거 기술을 도입하여 기 존의 객체 탐지 기술과 결합, 기존의 해안 객체 탐지 기술에 대한 성능을 보다 효 율적인 방안으로 개선할 수 있는 부분에 초점을 맞췄다. Yolo, DCP, Segmentation 등 다양한 최신 알고리즘을 활용하였으며, 실험에 사용된 데이터셋은 해무 데이터 셋을 사용하여 연구를 진행하였다. 해무 제거 전 후 이미지 비교를 통해 해무 제거 후의 객체 인식률이 더 높아지는 결과를 도출하였고 이는 미확인물체 탐지의 정확 도를 높이는 데 도움을 주었다. 하지만, 여러 복합 모델을 통합하여 사용함으로써 계산량이 높아지는 점과 해무 제거에 사용된 U-net 네트워크의 복잡하고 무거운 특성 때문에 실시간 처리 속도면에서 비효율적인 결과도 도출이 되었다. 향후 연구 에서는 객체 탐지의 정밀도를 개선할 수 있는 방안과 실시간 객체 탐지가 가능한 방향에 대해 연구하여 해안경계 작전에 효율성을 높이는 동시에 국가 안보 측면에 중요한 진전을 이루는 것을 목표로 할 예정이다. The geographical characteristics of the Korean Peninsula, surrounded by the sea on three sides, make the management of coastal boundaries a crucial factor directly related to national security. However, due to outdated military equipment and a reduction in military personnel, there are challenges in coastal border operations. Against this backdrop, this paper introduces a solution to complement the manpower shortage in coastal border operations by employing deep learning-based automation technology. In particular, addressing the phenomenon of low visibility caused by sea fog in coastal areas, the paper focuses on improving the efficiency of existing coastal object detection technology by introducing fog removal technology in conjunction with conventional object detection techniques. Various state-of-the-art algorithms such as YOLO, DCP, and Segmentation were utilized, and the research was conducted using a dataset containing sea fog data. Through a comparison of images before and after fog removal, the study revealed that the object recognition rate improved after fog removal, contributing to enhancing the accuracy of detecting unidentified underwater objects. However, the integration of multiple complex models led to increased computational complexity, and the use of the U-net network for fog removal resulted in inefficiencies in real-time processing speed. Future research will focus on improving the precision of object detection and exploring directions for real-time object detection, aiming to enhance efficiency in coastal border operations and make significant advancements in national security.

ChatGPT를 활용한 테스트주도개발(TDD)의 효율적인 테스트코드 생성 연구

이해수 국민대학교 소프트웨어융합대학원 2022 국내석사

현대 소프트웨어 개발 프로세스에서 널리 채택된 애자일(Agile)은 스프린트(Sprint)라는 짧은 개발 사이클을 반복해 빠른 시장의 변화와 요구사항에 유연하게 대처하는 개발 방법론으로서 테스트 자동화 및 테스트 코드 작성의 중요성이 강조된다. 테스트주도개발(TDD:Test-Driven Development)은 애자일의 주요 실천 방법중 하나로써 "테스트가 개발을 주도한다"라는 의미로 테스트 코드를 먼저 작성한 후에 해당 테스트를 통과하는 코드를 작성하는 과정을 반복하는 방식이다. 그러나, TDD 개발 방식은 개념상으로는 매우 단순하지만, 초보 개발자와 전통적 개발 방식에 익숙한 이들에게는 상당한 시간과 노력이 필요하게 된다[1][2]. 2022년 11월 발표된 OpenAPI 사의 ChatGPT는 LLM(Large Language Model)기반 대화형 생성 AI 서비스로서 프로그래밍 분야에서도 다양한 기능들과 함께 뛰어난 성능을 보여주고 있다[3]. 이에 본 논문에서는 애자일(Agile)의 TDD 방식으로 개발 진행시 ChatGPT를 테스트코드 자동 생성 도구로 활용하는 방안에 대해 제안한다. 본 실험에서는 회원가입 시 입력받은 아이디, 비밀번호, 이메일, 휴대폰 번호 등에 대한 Validation을 체크하는 프로그램을 ChatGPT를 이용하여 TDD 방식으로 테스트 코드를 생성해 보고, 이를 실제 개발 환경에서 실행하여 테스트 결과를 확인하였다. 실험 결과, ChatGPT와 소통하면서 순차적으로 테스트 코드를 작성할 수 있었고 일부 테스트 케이스에서 잘못된 코드로 인해 오류가 발생했지만, ChatGPT를 통해 오류 원인분석과 함께 수정된 코드를 제시받아 문제를 해결함으로써, ChatGPT를 테스트코드 자동 생성 도구로 활용할 수 있다는 충분한 가능성을 확인할 수 있었다. 그러나 실제 프로젝트 수행 시 훨씬 더 복잡한 환경과 구조, 다양한 기능의 테스트 케이스들이 존재하므로, 이에 관한 다양한 연구와 검증을 통해 ChatGPT와 같은 생성형 AI가 소프트웨어 개발자들의 생산성 향상과 소프트웨어 품질 향상에 큰 도움이 될 것으로 기대한다. Widely adopted in modern software development processes, Agile is a development methodology that emphasizes the importance of test automation and writing test code in short development cycles called sprints to flexibly respond to rapid market changes and requirements. Test-driven development (TDD) is one of the main practices of Agile, which means "tests drive development," and it involves writing test code first and then iterating on code that passes those tests. However, while TDD development is very simple in concept, it can take a lot of time and effort for beginner developers and those who are used to traditional development methods[1][2]. OpenAPI's ChatGPT, announced in November 2022, is an LLM-based interactive generation AI service that shows excellent performance with various functions in the programming field[3]. In this paper, we propose how to utilize ChatGPT as an automatic test code generation tool when developing with the TDD method of Agile. In this experiment, we created a test code using ChatGPT to check the validation of the ID, password, email, mobile phone number, etc. entered when signing up, and then executed it in the actual development environment to check the test results. In our experiments, we were able to use a program with relatively simple logic to communicate with ChatGPT and write test code sequentially. Although some test cases resulted in errors due to incorrect code, ChatGPT provided us with corrected code along with an analysis of the cause of the error, and we were able to solve the problem, showing that ChatGPT can be used as an automated test code generation tool. However, there are much more complex environments, structures, and test cases of various functions in real projects, so we expect that generative AI such as ChatGPT will help software developers improve productivity and improve software quality through various studies and verifications.

딥러닝 기반의 작업자 안전 확인을 위한 점검 시스템

김용욱 국민대학교 소프트웨어융합대학원 2022 국내석사

국문요약 1. 연구 동기 한국의 현장 산업재해 발생 현황은 2021 년 기준 사망자 수 2,080 명, 재해자 수 122,713 명으로 사망만인율 1.07% 재해율 0.63%로 매년 증가하는 추세이다. 산업안전보건법 시행령 기준 사업의 종류별로 상이하지만, 작업환경 기준 통상 상시 근로자 500~ 1000 명 이상일 시 안전관리자 2 명 이상을 선임해야 한다[1]. 하지만 근로시간 내 모든 근로자를 관리하기엔 인력 배정 등의 현실적인 큰 어려움이 있다. 이에 본 논문에서는 통신 기지국 / 중계기 작업 현장에서 실시간으로 근로자의 보호구 착용 여부를 객체 탐지 기술을 근무 관리 시스템 내부에 적용하여 안전 관리 절차를 개선하고자 한다. 2. 연구 방법 본 논문의 연구는 실제 기지국 / 중계기 유지보수 통신업 종사자가 산업 환경에서 사용하는 모바일 앱 형태의 근무 관리 시스템에서 진행한다. 약 3 천장의 사진 데이터를 수집하여 정제와 라벨링을 진행하고 R-CNN, Efficientdet, YOLO(You Only Look Once) 등의 객체 탐지 알고리즘을 Mobile Device 적용에 적합한 Efficientdet-lite, YOLO V4- tiny 와 같이 얕은 네트워크 모델로 제작 및 성능 비교를 진행한다. 본 논문에서 선택한 모델은 Efficientdet-lite1 이며, 작업 시작 전 개인 보호구 착용 여부를 확인하는 TBM(Tool Box Meeting)을 시행하는 단계 내부에 객체 탐지 프로세스를 추가하여 본 연구를 진행한다. 3. 연구 결과 본 논문에서는 Mobile Device 에서의 정확하고 빠른 객체 탐지를 위해 One-Stage Detector 인 YOLO V4-tiny, Efficientdet-lite 두 개의 모델에 Custom 데이터 셋으로 학습 및 모델 비교를 진행하였고, 표 II-4 와 같이 Efficientdet 모델이 YOLO V4 모델 대비 MS COCO-2017 Object Detection 수치 기준 mAP 는 112% 수준 FPS 는 47% 수준으로 나타나 있지만,96x96 픽셀 이상의 큰 Object를 탐지하는 환경에서 표 III-2와 같이 얕은 신경망으로 구성된 Mobile Device 적용에 적합한 Efficientdet-lite, YOLO V4-tiny 모델로 연구를 진행한 결과, Efficientdet-lite1 모델이 YOLO V4-tiny 모델 대비 AP50 기준 평균 99.8% 수준, latency 108% 수준, 모델 크기는 24.6% 수준으로 정확도, 지연속도, 모델 크기 3 가지 측면에서 합리적인 수준으로 산업 현장에서 사용하기에 적합하여 Efficientdet-lite1 모델을 본 시스템에 적용하였다. 본 논문에서 제안한 시스템은 별도의 인력, 비용 투입 및 공간이 한정되지 않은 환경에서 실제 기지국 / 중계기 유지보수 통신업 종사자 약 2,000 명의 산업 환경에 적용시켜 작업 전 안전장구 착용 의무화 환경을 조성하고, 근로자의 장소를 불문하고 실시간으로 현장 근로자의 개인 보호구 착용 확인이 가능하도록 프로세스를 개선했다. Abstract The number of industrial accidents in Korea is increasing every year with a fatality rate of 1.07% and an accident rate of 0.63% with 2,080 deaths and 122,713 injured as of 2021. Therefore, in this paper, we improved safety management procedures by applying object detection technology to the inside of the work management system to check whether workers wear protective equipment in real time at the base station / repeater work site. The research process collected, refined and labeled about 3,000 photo data, and compared the object detection performance with shallow network models such as Efficientdet-lite and YOLO V4-tiny suitable for mobile device application. The selected model was Efficientdet-lite1, and an object detection process was added inside the TBM (Tool Box Meeting) stage that checks whether personal protective equipment is worn before starting work. The system proposed in this paper does not require additional manpower and cost input and is applied to an industrial environment with about 2,000 actual base station/repeater maintenance workers. The process was improved to create an environment for wearing safety equipment before work and to check the safety status of workers in real time.

기계 시각을 활용한 크기배제 크로마토그래피 자동분리 시스템 개발 : 크기배제 크로마토그래피 분리 자동화를 통한 작업 효율 증대

한철진 국민대학교 소프트웨어융합대학원 2023 국내석사

크기배제 크로마토그래피의 분리는 혼합물을 분리할 수 있는 실험 방법으로 많은 연구에서 사용되고 있다. 특히 최근에 체외진단의 수요가 늘어남에 따라 혈장 내 특정 물질을 분리하여 암진단등에 사용 하는 회사들이 많아지고 있는데 이러한 분리에 사용되는 크기배제 크로마토그래피의 수요가 점점 늘어 나고 있는 추세이다. 크기배제 크로마토그래피를 통한 분리 혼합물 분리는 다음과 같은 과정으로 이루어진다. (1) 혼합물 을 칼럼위에 분주한다. 분주한 후 용출액이 아래로 용출되는 것으로 튜브를 통해 획득한다. 이때 눈으 로 튜브에 쓰여진 눈금을 통해 튜브에 담긴 용출액이 특정 볼륨에 도달하였는지 확인한다. (2) 볼륨에 도달한 튜브를 새로운 튜브로 교체하여 같은 과정을 반복한다. 이를 통해 동일한 분획을 획득하여 혼합물에서 동일한 사이즈의 물질을 분리할 수 있다. 각 단계에서 발생하는 문제점은 다음과 같다. (1)에서 발생하는 문제는 용출액이 아래로 용출되는 것 을 육안으로 확인하면서 발생하는 실험자의 육체적 피로가 있고 이에 따라 발생하는 실험 오차 증대가 있다. 또한 실험자의 측정기준이 주관적으로 판단하게 되는 관계로 발생하는 실험결과의 일관성 또한 부족하다. 또한 실험도중 다른 실험을 진행하지 못하므로 1번에 여러개의 샘플을 분리할 수 없다. (2) 에서 발생하는 문제는 손으로 튜브를 교체 하면서 발생하는 샘플 유실 가능성이 있다. 각 과정에서 발생하는 문제를 다음과 같은 방법으로 자동화시켜서 문제를 해결하고자 한다. 먼저 (1) 의 과정에서 발생하는 실험자의 육체적 피로 및 실험오차 증대는 실험자가 육안으로 튜브 눈금을 확인 하면서 발생하는 문제이다. (1)의 과정에서 실험자가 직접 육안으로 튜브의 눈금을 확인하는 것을 자 동화하기 위해서 카메라를 통해 튜브에 담긴 액체의 부피를 측정하고자 한다. 튜브 뒷면에 LED바를 배치하면 빛의 굴절 현상을 통해 수면의 높이를 계산할 수 있다. 카메라를 통해 액체가 담긴 튜브의 높이를 계산하는 알고리즘을 구현한다. 다음으로 동일한 액체의 부피가 동일한 튜브에 담기면 튜브에 담긴 수면의 높이가 같다는 점을 이용하여 목표로 하는 볼륨의 액체가 들어간 튜브의 수면 높이를 측 정하여 기준값으로 정한다. 액체의 부피를 측정하기 위해 빛의 굴절 현상을 이용한다. 빛의 굴절이 이 루어지는 부분은 상왜곡이 일어나 수면을 구분할수있는데 상왜곡이 일어나는 부분을 LED로 치환하여 수면을 명확하게 구분하도록 한다. 또한 영상처리 과정에서 외부의 빛간섭에 의한 왜곡을 방지 하기 위해 암실 환경을 구축한다. (2)의 과정 자동화를 위하여 앞서 설명한 알고리즘을 통해 실시간으로 튜 브의 수면 높이를 측정하고 기준값에 도달하였는지 여부를 확인하도록 한다. 또한 기준값에 도달하였 을 때 튜브를 교체하기 위해 모터를 구동할수있도록 시스템을 구성한다. 또한 이 모든 것이 실험자의 개입 없이 이루어 질 수 있도록 프로그램을 작성하여 분리 자동화를 달성하고자 한다. 완성된 시스템을 적용하여 분리를 자동화하였을시 기대 효과는 다음과 같다. 첫 번째로 실험 오차의 감소이다. 육안으로 분리가 완료될때까지 실시간으로 분리를 확인하여야하는 실험의 특성상 반복된 실 험에 의한 피로누적으로 실험오차가 발생할 확률이 높은데 자동화를 통해 이를 감소시킬 수 있다. 또 한 실험자의 주관이 적용되지 않고 일괄된 기준으로 분리가 진행되기 때문에 실험자에 따른 오류또한 감소 될것으로 예상된다. 두 번째로 작업 능률의 증대이다. 육안으로 분리가 완료될때까지 실시간으로 분리를 확인하여야하는 실험의 특성상 1명의 실험자가 동시에 여러개의 분리를 진행할 수가 없다. 이 를 자동화 시킴으로써 1명의 실험자가 2개 이상의 분리를 동시에 진행함으로써 1인당 작업처리량이 대폭 증가 될것으로 예상된다. 마지막으로 추후 연구를 통해 정밀도를 향상시켜 수동 분리보다 더욱 정밀한 시스템을 완성 할 수 있도록 하고자 한다. size exclusion chromatography (SEC) is widely used in various studies for separating mixtures. Recently, with the increasing demand for in vitro diagnostics, many companies are utilizing SEC to isolate specific substances in plasma for cancer diagnosis, among other uses. This has led to a growing trend in the demand for SEC. The process of separation using SEC involves the following steps: (1) The mixture is loaded onto a column. After loading, the eluent is collected as it exits the column through a tube. During this process, the volume of eluent in the tube is monitored using the scale marks on the tube. (2) Once the eluent reaches a specific volume, the tube is replaced with a new one, and the process is repeated. This enables the separation of substances of the same size from the mixture. Challenges in each step include: (1) Physical strain on the experimenter and increased experimental error due to visually monitoring the elution process, and the lack of consistency in results due to subjective measurements. Additionally, the inability to conduct other experiments simultaneously limits the number of samples that can be processed. (2) The possibility of sample loss while manually changing tubes. To address these issues, automation of the process is proposed. For step (1), to reduce physical strain and experimental error, a camera-based system is suggested to automatically measure the volume of liquid in the tube. The surface level of the liquid can be determined using the refraction of light, assisted by an LED bar placed behind the tube. The algorithm calculates the height of the liquid in the tube using this data. By standardizing the surface level for a target volume, the refraction of light is used to precisely distinguish the liquid surface. An isolated environment is also recommended to prevent external light interference during image processing. For step (2), real-time measurement of the liquid surface level and automated tube replacement using a motorized system are proposed. The completion of this automated system aims to reduce experimental errors, increase work efficiency by allowing a single experimenter to handle multiple separations simultaneously, and enhance precision for more accurate results than manual separation. Future research will focus on further refining the system's accuracy.

다중 카메라 기반 물체 거리 측정 모델 연구

정태훈 국민대학교 소프트웨어융합대학원 2023 국내석사

자율주행 태스크의 과제중 하나는 주행 계획을 수립하기 위해 다양한 물체에 대해 거리를 측정하는 것이다. 이 문제를 해결하기 위한 다양한 센서들이 있지만 가격적인 요소와 디자인/설계 문제로 인해 라이다 센서와 카메라 센서를 사용하는 방법이 연구되고 있다. 이 연구에서는 카메라 센서를 통해 이런 문제를 해결하려한다. 기존의 영상을 통한 연구는 물체의 위치를 특정하기 위해 객체인식, 깊이추론 등의 두 개의 작업을 통해 물체의 위치를 추측/추론하는 것이 일반적이었다. 그러나 본 연구에서는 다중 카메라의 영상을 입력받아 물체의 거리를 추론하는 모델을 제시한다. 제안하는 모델의 구조는 크게 3개의 모듈로 구성된다. 일반적인 Backbone 모델에서 특징맵을 추출하지만, 영상의 개수에 따라 병렬로 구성할 수 있는 다중 카메라 기반 특징 추출 모듈이 있다. 이를 통해 추출된 특징맵을 바닥면으로 투영하는 프로젝션 모듈이 있다. 마지막으로 이 연구의 핵심 제안인 offset/confidence 모듈은 해상도의 한계로 인해 픽셀 좌표계를 월드 좌표계로 변환했을 때의 오차를 보상할 수 있는 구조를 제안했다. 그래서 기존의 2단계 작업을 한 개의 모델로 통합하고 보다 정확한 거리정보를 추론할 수 있음을 보여줬다. 뿐만 아니라, 나아가 물체의 크기정보 트래킹 정보를 End to End 형식의 모델로 추론하는 연구를 진행할 예정이다. 또한, 실제 상용화 환경에서 사용하기 위해 다양한 최적화기법을 이용하여 임베디드 환경에서도 무리 없이 실행할 수 있도록 하는 것이 이 연구의 최종목표이다. In autonomous driving tasks, measuring distances to various objects to plan driving is animportant issue. There are various sensors to solve this problem, but due to cost factors and designissues, methods using lidar sensors and camera sensors are being studied. In this study, weattempt to solve this problem through camera sensors. In existing research using images, it wascommon to guess or infer the location of an object through two tasks, such as object recognitionand depth inference, to specify the location of the object. However, this study presents a model that infers the distance of an object by receiving images from multiple cameras. The structure of theproposed model largely consists of three modules. Feature maps are extracted from the general Backbone model, but there is a multi-camera-based feature extraction module that can beconfigured in parallel depending on the number of images and a projection module that projects theextracted feature maps onto the floor. Lastly, the offset/confidence module, the core proposal of thisstudy, proposes a structure that can compensate for errors when converting the pixel coordinatesystem to the world coordinate system due to resolution limitations, integrating the existingtwo-step tasks into one model. It was shown that more accurate distance information can beinferred. Furthermore, we plan to conduct research to infer the size and tracking information of objects into a single model. In addition, the final goal of this research is to enable smooth executionin an embedded environment by using various optimization techniques for use in an actual commercial environment.

데이터 증강 기법을 통해 학습된 감성 분류 모델의 성능 비교에 관한 연구

이용정 국민대학교 소프트웨어융합대학원 2023 국내석사

자연어 처리에서 딥러닝이 적용되면서 모델을 구축하기 위해 많은 양의 데이터가 필요해졌다. 그러나 한국어 데이터의 경우 영어 데이터에 비해 질적인면과 양적인면 모두 부족하다. 이러한 데이터 부족 문제를 해결하기 위해 데이터 증강이 필요하다. 따라서 본 연구에서는 규칙 기반의 데이터 증강 기법과 생성적 적대 신경망을 이용하여 레이블링된 감성분석 데이터셋의 확장 모델을 제안한다. 데이터 증강을 통해 증강된 데이터셋들을 BERT모델에 입력하여 감성분석을 진행한다. 그 결과, 데이터셋 증강 후 감성분석에 대한 성능이 약 3~5% 증가하는 개선점을 보였다. 향후 영화 리뷰 데이터뿐만 아니라 쇼핑몰 데이터 리뷰, SNS 대화데이터 등 다양한 데이터과 자연어 처리 연구에서 높은 성능을 보여준 다른 딥러닝 모델을 함께 훈련시켜 성능개선이 가장 큰 기법과 모델을 계속 연구하고자 한다. With the application of deep learning in natural language processing, a large amount of data is required to build a model. However, Korean data is lacking in both quality and quantity compared to English data. To solve this problem, data augmentation is needed. Therefore, this study proposes an extension model for labeled sentiment analysis dataset using rule-based data augmentation technique and generative adversarial neural network. The datasets augmented by data augmentation are input to the BERT model for sentiment analysis. As a result, the performance of sentiment analysis is improved by about 3~5% after dataset augmentation. In the future, I will continue to study the techniques and models with the greatest performance improvement by training not only movie review data, but also various data such as shopping mall data reviews and SNS conversation data, and other deep learning models that have shown high performance in natural language processing research.

강화학습을 통한 FluentD 애플리케이션 자원 최적화 연구

김완수 국민대학교 소프트웨어융합대학원 2023 국내석사

This research aims to show that resource management, which has traditionally been a matter of experience for cloud application admin, can be automated through reinforcement learning. Specifically, i researched how application represented by FluentD, a log collection and processing tool commonly utilized in cloud native environments, can respond to changing traffic pattern while minimizing SLO violations and utilizing resources cost effectively. The problem with using real system like FluentD directly as a reinforcement learning environment is that there is a significant amount of time between when the reinforcement learning agent performs an action and when it receives the result. This creates inefficiencies due to the nature of machine learning algorithms that require training over many episodes. To reduce this inefficiency, this research assumed the real FluentD’s environment as time series data and created a simulator that mimics FluentD’s behavior using an LSTM deep learning model. This simulator mimics the current state of FluentD by taking a given CPU quota, request per second, and historical sequence as input and predicting CPU usage and the number of message yet to be processed, ratio of output to input messages. The simulator allowed to train a reinforcement learning model that minimizes CPU allocation while reducing SLO violations in a short time. The resulting reinforcement learning agent had a lower SLO violation rate and a lower CPU allocation than the admin's manually determined settings. These results show that reinforcement learning can be more efficient than passive resource allocation based on heuristics in applications such as FluentD. Furthermore, while it did not outperform the CPU utilization based Vertical scale up algorithm in terms of SLO violation rate, it outperformed it in terms of reward and CPU quota, which are composite metrics. 본 연구는 기존 클라우드 애플리케이션 관리자가 경험에 의존하여 수동으로 자원을 할당하는 문제를 강화학습을 통해 자동화할 수 있음을 보이려 한다. 특히 클라우드 네이티브 환경에서 주로 활용되는 로그 수집 및 처리 도구인 FluentD로 대표되는 애플리케이션이 변화하는 트래픽 패턴에 대응하여 서비스 수준 목표(Service Level Objective)를 충족하면서도 자원을 비용 효율적으로 활용할 수 있는 방법을 연구하였다. FluentD와 같은 실제 시스템을 강화학습의 환경으로서 직접 활용하는 경우 강화학습 에이전트가 액션을 수행한 뒤 결과를 받을 때 까지 상당한 시간이 필요하므로 많은 에피소드를 반복해야 하는 머신러닝 알고리즘의 특성상 효율성이 급격하게 떨어지게 된다. 본 연구에서는 이러한 문제를 해결하기 위해 실제 FluentD의 환경을 시계열 데이터로 가정하고 LSTM(Long Short-Term Memory)[1] 딥러닝 모델을 사용하여 FluentD의 행동을 모방하는 시뮬레이터를 개발하였다. 이 시뮬레이터는 현재 주어진 CPU 할당량과 초당 요청 수 (Request Per Second)와 시계열 데이터로 활용될 이전 시퀀스를 입력 받아 CPU 사용량, 아직 처리되지 않은 메시지의 수, 출력 대비 입력 메시지 비율을 예측하도록 하여 FluentD의 상태를 모방하도록 하였다. 이 시뮬레이터를 통해 실시간으로 입력되는 트래픽에 대응하면서 SLO를 최대한 충족하면서도 CPU 할당량을 최소화할 수 있는 CPU 할당량을 구해내도록 강화학습 에이전트를 빠르게 학습하였다. 최종적으로 개발된 강화학습 에이전트는 관리자가 수동으로 결정한 CPU 할당량에 비해서 SLO를 더 많이 충족하면서도 CPU 할당량을 최소화 할 수 있었다. 이 결과를 통해 FluentD와 같은 애플리케이션에 대해 관리자의 경험에 의존한 수동적인 자원 할당보다 강화학습을 통한 자원 할당이 더 효율적이라는 것을 보였으며, CPU 사용률 기반 수직 확장 알고리즘보다 SLO 위반율 측면에서는 높은 성능을 보이지 못했으나 비용 효율적인 측면에서 높은 성능을 보임을 확인하였다.

사용자 PC 데이터를 활용한 행동분석 기법에 관한 인공지능 모델 연구

박주형 국민대학교 소프트웨어융합대학원 2023 국내석사

2020년 코로나 이후 생산직, 서비스직 같은 업무에 특정한 공간을 필요하지 않고 PC만으로 할 수 있는 사무직 업무들은 기존의 사무실에서 직접 출근하여 수행하던 근무 환경에서 벗어나 재택근무, 탄력 근무 같은 기존의 방식과 다른 근무 환경 및 조건을 도입하는 회사들이 급속도로 늘어나기 시작했다. 하지만 동료평가, 근태 및 근무시간 위주의 기존 기업들이 사용하던 업무 효율성 평가 방식은 이러한 달라진 근무환경 및 근무조건을 따라오지 못하고 있다. 만약 PC의 사용자 행동 로그 데이터를 활용하여 사용자의 행동을 분석할 수 있다면 기존과 다른 다양한 근무 환경 및 근무 조건에도 업무 효율성을 평가할 수 있다. 하지만 PC의 사용자 행동 로그 데이터는 키보드 입력, 프로세스 정보, 마우스 입력 등 데이터의 규모가 매우 방대하여 사람이 일일이 평가하기에는 제한적이라는 한계가 있다. 데이터를 통해 자체적으로 알고리즘을 생성해 내는 딥러닝 기술은 기존 일반적인 소프트웨어 개발 방법으로는 처리하기 곤란한 다양한 비정형 데이터를 인공지능을 통해 자동으로 분석하여 활용할 수 있게 해 주었다. 이러한 장점을 활용 기존의 정형화된 알고리즘을 통해서 분석하기 힘들었던 사람의 행동을 딥러닝 및 인공지능을 활용하여 분석하여 이상행동을 파악하거나, 돌발적이거나 예상하지 못한 패턴을 분석하는 등 인공지능과 사람의 행동분석을 결합한 다양한 연구들도 진행되고 있다. 그러나 인공지능을 활용한 대부분의 연구는 영상 등의 이미지 데이터나, 센서를 활용 사람의 동작 관련 정보를 수집하고 해석하여 주로 위급한 상황에 대한 정보를 실시간으로 파악하거나, 특정 상황의 발생 여부를 분류하는데 많이 사용되고 있다. 하지만 이러한 기존의 방식은 사람의 신체 활동 데이터를 기반으로 행동을 분석하여, PC 앞에서 키보드 마우스를 통해 작업하는 것 같은 뚜렷한 특징을 가지고 있지 않은 상황에서의 활동을 분류할 수 없다는 한계점을 가지고 있다. 본 연구의 목적은 기업의 업무 환경에서 사용하는 PC에 기록되는 사용자의 행동 로그 데이터를 인공지능을 활용하여 행동분석이 가능한지 확인하고자 한다. 이는 PC의 행동 로그 데이터도 인공지능 모델을 활용 자동화된 분석 및 분류를 할 수 있다는 것을 보여주고, 더 나아가 기업의 인사평가 등 실무적인 측면에서 활용 가능한 업무 분석 방식을 제시하고, 근로자들이 업무환경에 구애받지 않고 근무할 수 있는 평가 방식을 제시하고자 한다. Since the covid-19 pandemic occured from 2020, numerous companies introduced telecommuting and work-from-home methods which are different to the conventional work environments and conditions. These working methods have began to increase rapidly in white-collar jobs that can be done only with PCs without requiring specific space for tasks such as production and service workers. The work efficiency evaluation methods that companies used to focusing on peer evaluation, attendance, and working hours do not keep up with these changed working environments and working conditions. Beside, the work efficiency can be evaluated by other methods when the user's behavior can be analyzed by using the PC's user behavior log data. However, the user behavior log data of the PC has a limitation in the huge size of the data such as keyboard input, process information, and mouse input, in which is limited for humans to evaluate one by one. Deep learning technology, which generates algorithms on its own through data, has enabled artificial intelligence (AI) to automatically analyze and utilize various unstructured data that are difficult to process with conventional software development methods. Possessing these advantages, various studies combining AI and human behavior analysis are being conducted, such as analyzing abnormal behaviors using deep learning and AI, or analyzing sudden or unexpected patterns. Most of studies so far using AI used to collect and interpret information related to human motion or gestures from images, videos, and sensor data to identify information about emergency situations in real time or to classify whether a particular situation occurs. These methods have a limitation in that they cannot classify activities in situations which do not have distinct characteristics such as working through a keyboard mouse in front of a PC by analyzing behavior based on human physical activity data. The purpose of this study is to check whether it is possible to analyze behavior using AI for user behavior log data recorded on PCs used in work environments. The novel method in this research shows that the PC behavior log data can also be analyzed and classified using AI models. Furthermore, this method can be used in practical aspects such as personnel evaluation, and allowing workers to work regardless of their work environment.

의료 영상 데이터셋에 대한 심층 신경망의 능동학습 방법 비교 분석

이의재 국민대학교 소프트웨어융합대학원 2023 국내석사

딥러닝은 컴퓨터 비전의 다양한 태스크에서 좋은 성능을 보여주고 있으며, 의료 영상과 같이 전문적인 지식이 필요한 태스크에서도 하루가 다르게 state-of-the-art(SOTA)를 갱신하고 있다. 하지만 이러한 결과 뒤에는 여전히 사람 에 의해 labeling이 된 많은 양의 데이터가 필요하다. 특히, 태스크의 난도가 높아질 수록 의료, 생명공학 같은 전문지식을 가진 전문가의 도움이 필요하다. 때문에, 이 에 상응하는 labeling 비용은 매우 증가한다. Active learning은 이와 같은 labeling 비용 문제를 해결하는 방법의 하나다. Active learning은 많은 양의 unlabeled 데이터에서 학습에 도움이 되는 데이터 일 부를 선별하여 학습용 데이터셋을 구성하는 방법이다. 최근 활발하게 연구되고 있 는 active learning 방법으로는 데이터 선별 기준에 따라 두 가지로 나눌 수 있다. Uncertainty-based 방법은 태스크 모델이 예측하는 unlabeled 데이터의 결과가 불확실한 일부 데이터를 선별하여 학습용 데이터셋으로 구성한다. Diversity-based 방법은 unlabeled 데이터들의 특징점 분포와 유사한 분포를 나타낼 수 있는 데이터 일부를 선별하여 학습용 데이터셋을 구성하는 방법이다. 두 방법 모두 좋은 성능을 보여주지만, 각각 단점이 존재한다. 이를 극복하기 위해 두 방법을 결합한 hybrid 방법도 연구되고 있다. 기존의 active learning 관련 연구들은 검증을 위해 의료 영상과 같이 labeling 난 도가 높은 데이터를 사용하지 않고 있다. 하지만, 의료 영상과 같은 전문적인 지식 이 필요한 데이터의 labeling 작업에는 큰 비용이 들어가기 때문에 active learning 방법에 관한 연구와 검증이 필요하다. 따라서, 본 논문에서는 MedMNIST(v2)와 Medical Segmentation Decathlon(MSD) 의료데이터를 사용하여 다양한 active learning 방법이 의료분야 데이터의 labeling 비용을 효과적으로 줄이면서 SOTA와 유사한 성능을 낼 수 있는 지 검증해볼 필요가 있다. Deep learning has demonstrated strong performance in computer vision tasks and continues to set new benchmarks in specialized domains such as medical imaging. However, achieving these results typically necessitates substantial amounts of human-labeled data, leading to increasing costs as task difficulty increases. Active learning has emerged as a solution for mitigating labeling expenses. This approach selects the most informative samples from a large pool of unlabeled data to construct a more compact training dataset. Active learning methods have been extensively studied and can be categorized into two main strategies based on their data selection perspectives. Uncertainty-based methods choose samples for which the model’s predictions are uncertain within the large unlabeled dataset. Diversity-based methods prioritize samples that best represent the overall distribution of unlabeled data. Although both strategies are effective, they also have inherent limitations. As a result, hybrid methods that combine both uncertainty and diversity criteria are being explored. While existing active learning has been recognized for its potential in challenging datasets such as medical images, few studies have used such data for empirical validation. In this study, we demonstrated the effectiveness of various state-of-the-art active learning techniques using medical imaging asks on the MedMNIST(v2), Medical Segmentation Decathlon(MSD) datasets.