초등 저학년 학생을 위한 CPS 기반의 언플러그드 로봇 활용 소프트웨어 교육 모형 CPS-SORO 연구

김혜주 국민대학교 소프트웨어융합대학원 2021 국내석사

본 연구는 창의적 문제해결력 신장을 위한 언플러그드 로봇 활용 소프트웨어 교육 모형을 개발하고 해당 모형의 교육적 효과를 확인하기 위한 것이다. 창의적 문제해결력을 갖춘 인재 양성은 현대 사회의 중요한 교육 목표이다. 소프트웨어를 중심으로 변화되는 시대가 요구하는 창의적 문제해결력은 체계적인 소프트웨어 교육을 통해 신장시킬 수 있다. 따라서 학생들이 어릴 때부터 보편적으로 소프트웨어 교육을 접하여 창의적 문제해결력을 신장할 수 있도록 기회를 제공해야 한다. 그러나 프로그래밍 문법 위주로 진행하는 소프트웨어 교육은 학습자의 창의적 사고 능력 발산을 저해하고, 초보 학습자에게는 과도한 인지적 부담을 줌으로 이를 해결하기 위한 교육 방법이 필요하다. 이에 본 연구에서는 초등 저학년 학생을 위한 CPS 기반의 언플러그드 로봇 활용 소프트웨어 교육 모형 CPS-SORO를 개발하고, 12차시 교육프로그램에 적용하였다. 이를 위하여 창의적 문제해결력 신장에 효과적인 오즈번-파네스의 CPS 단계에 준거하여 초등 저학년 학생의 발달 단계에 적합한 언플러그드 로봇을 학습 도구로 활용하였다. 이후, CPS-SORO 모형의 교육적 효과성을 검증하기 위하여 초등 저학년 학생들을 대상으로 수업을 시행하였으며, 대상 학생의 창의적 문제해결력 사전‧사후를 검사를 시행하였다. 그 결과, CPS-SORO 모형이 초등 저학년 학생의 창의적 문제해결력 신장에 유의미한 영향을 준 것이 밝혀졌다. 이상의 결과를 통하여 본 연구에서 개발한 CPS-SORO 모형이 초등 저학년 학생의 창의적 문제해결력 신장을 위한 소프트웨어 교육의 한 방법으로 적용 가능함을 확인하였다. 향후, CPS-SORO 모형을 적용한 수업대상을 확대하여 이를 바탕으로 한 후속 연구가 이루어진다면 보편적이고 보다 실용적인 소프트웨어 교육 모형을 제공할 수 있을 것이다. Cultivating talent with creative problem-solving skills is an important educational goal in modern society. The creative problem-solving skills required in the changing era centered on software can be enhanced through systematic and universal software education. Existing programming grammar-oriented software education hinders learners' creative thinking skills and is difficult for beginners to understand, so educational methods are needed to solve them. Therefore, in this study, CPS-SORO, a software education model using unplugged robots based on CPS for lower grade elementary school students was developed. The following strategies were applied to develop the CPS-SORO model. First, an effective CPS model was applied to enhance creative problem-solving skills. Second, an unplugged robot that is easy to operate even for lower grade elementary school students was used. This study developed by CPS, it is applied to the actual CPS-SORO model to 12 class education programs. Since then the CPS-SORO model applied the lessons of the lower grades in elementary students and then checked their creative problem-solving. As a result, the CPS-SORO model improved the creative problem-solving skills of lower grade elementary school students. It was found to have had a significant effect. Through the above results, it was confirmed that the CPS-SORO model developed in this study can be applied as a method of software education to improve the creative problem-solving ability of lower elementary school students. In the future, if next research based on the CPS-SORO model by expanding the classes, it will be possible to provide a universal and more practical software education model.

ChatGPT를 활용한 테스트주도개발(TDD)의 효율적인 테스트코드 생성 연구

이해수 국민대학교 소프트웨어융합대학원 2022 국내석사

현대 소프트웨어 개발 프로세스에서 널리 채택된 애자일(Agile)은 스프린트(Sprint)라는 짧은 개발 사이클을 반복해 빠른 시장의 변화와 요구사항에 유연하게 대처하는 개발 방법론으로서 테스트 자동화 및 테스트 코드 작성의 중요성이 강조된다. 테스트주도개발(TDD:Test-Driven Development)은 애자일의 주요 실천 방법중 하나로써 "테스트가 개발을 주도한다"라는 의미로 테스트 코드를 먼저 작성한 후에 해당 테스트를 통과하는 코드를 작성하는 과정을 반복하는 방식이다. 그러나, TDD 개발 방식은 개념상으로는 매우 단순하지만, 초보 개발자와 전통적 개발 방식에 익숙한 이들에게는 상당한 시간과 노력이 필요하게 된다[1][2]. 2022년 11월 발표된 OpenAPI 사의 ChatGPT는 LLM(Large Language Model)기반 대화형 생성 AI 서비스로서 프로그래밍 분야에서도 다양한 기능들과 함께 뛰어난 성능을 보여주고 있다[3]. 이에 본 논문에서는 애자일(Agile)의 TDD 방식으로 개발 진행시 ChatGPT를 테스트코드 자동 생성 도구로 활용하는 방안에 대해 제안한다. 본 실험에서는 회원가입 시 입력받은 아이디, 비밀번호, 이메일, 휴대폰 번호 등에 대한 Validation을 체크하는 프로그램을 ChatGPT를 이용하여 TDD 방식으로 테스트 코드를 생성해 보고, 이를 실제 개발 환경에서 실행하여 테스트 결과를 확인하였다. 실험 결과, ChatGPT와 소통하면서 순차적으로 테스트 코드를 작성할 수 있었고 일부 테스트 케이스에서 잘못된 코드로 인해 오류가 발생했지만, ChatGPT를 통해 오류 원인분석과 함께 수정된 코드를 제시받아 문제를 해결함으로써, ChatGPT를 테스트코드 자동 생성 도구로 활용할 수 있다는 충분한 가능성을 확인할 수 있었다. 그러나 실제 프로젝트 수행 시 훨씬 더 복잡한 환경과 구조, 다양한 기능의 테스트 케이스들이 존재하므로, 이에 관한 다양한 연구와 검증을 통해 ChatGPT와 같은 생성형 AI가 소프트웨어 개발자들의 생산성 향상과 소프트웨어 품질 향상에 큰 도움이 될 것으로 기대한다. Widely adopted in modern software development processes, Agile is a development methodology that emphasizes the importance of test automation and writing test code in short development cycles called sprints to flexibly respond to rapid market changes and requirements. Test-driven development (TDD) is one of the main practices of Agile, which means "tests drive development," and it involves writing test code first and then iterating on code that passes those tests. However, while TDD development is very simple in concept, it can take a lot of time and effort for beginner developers and those who are used to traditional development methods[1][2]. OpenAPI's ChatGPT, announced in November 2022, is an LLM-based interactive generation AI service that shows excellent performance with various functions in the programming field[3]. In this paper, we propose how to utilize ChatGPT as an automatic test code generation tool when developing with the TDD method of Agile. In this experiment, we created a test code using ChatGPT to check the validation of the ID, password, email, mobile phone number, etc. entered when signing up, and then executed it in the actual development environment to check the test results. In our experiments, we were able to use a program with relatively simple logic to communicate with ChatGPT and write test code sequentially. Although some test cases resulted in errors due to incorrect code, ChatGPT provided us with corrected code along with an analysis of the cause of the error, and we were able to solve the problem, showing that ChatGPT can be used as an automated test code generation tool. However, there are much more complex environments, structures, and test cases of various functions in real projects, so we expect that generative AI such as ChatGPT will help software developers improve productivity and improve software quality through various studies and verifications.

효율적인 해안경계를 위한 해무제거 및 해안에서의 미확인 물체 탐지 방안

정민욱 국민대학교 소프트웨어융합대학원 2023 국내석사

효율적인 해안경계를 위한 해무제거 및 해안에서의 미확인물체 탐지 방안 정민욱 인공지능 전공 국민대학교 소프트웨어 융합대학원 한반도는 지리적 특성상 3면이 바다로 둘러싸여 있으며, 해안경계의 관리는 국가 안보와 직결된 중요한 요소이다. 하지만 노후화된 군 장비와 군 인력 감소 문제로 인해 해안경계 작전에 있어 어려움을 겪는 현상이 존재하는 데, 이러한 배경 아래, 해당 논문은 해안경계 작전에 있어 인력 부족을 보완하고자 딥러닝 기반의 자동화 기술 방안을 도입하였다. 특히, 해안지역의 기후 특성상 발생하는 해무로 인해 저시 정 현상이 생기는 데, 이러한 문제점 해결하기 위해 해무 제거 기술을 도입하여 기 존의 객체 탐지 기술과 결합, 기존의 해안 객체 탐지 기술에 대한 성능을 보다 효 율적인 방안으로 개선할 수 있는 부분에 초점을 맞췄다. Yolo, DCP, Segmentation 등 다양한 최신 알고리즘을 활용하였으며, 실험에 사용된 데이터셋은 해무 데이터 셋을 사용하여 연구를 진행하였다. 해무 제거 전 후 이미지 비교를 통해 해무 제거 후의 객체 인식률이 더 높아지는 결과를 도출하였고 이는 미확인물체 탐지의 정확 도를 높이는 데 도움을 주었다. 하지만, 여러 복합 모델을 통합하여 사용함으로써 계산량이 높아지는 점과 해무 제거에 사용된 U-net 네트워크의 복잡하고 무거운 특성 때문에 실시간 처리 속도면에서 비효율적인 결과도 도출이 되었다. 향후 연구 에서는 객체 탐지의 정밀도를 개선할 수 있는 방안과 실시간 객체 탐지가 가능한 방향에 대해 연구하여 해안경계 작전에 효율성을 높이는 동시에 국가 안보 측면에 중요한 진전을 이루는 것을 목표로 할 예정이다. The geographical characteristics of the Korean Peninsula, surrounded by the sea on three sides, make the management of coastal boundaries a crucial factor directly related to national security. However, due to outdated military equipment and a reduction in military personnel, there are challenges in coastal border operations. Against this backdrop, this paper introduces a solution to complement the manpower shortage in coastal border operations by employing deep learning-based automation technology. In particular, addressing the phenomenon of low visibility caused by sea fog in coastal areas, the paper focuses on improving the efficiency of existing coastal object detection technology by introducing fog removal technology in conjunction with conventional object detection techniques. Various state-of-the-art algorithms such as YOLO, DCP, and Segmentation were utilized, and the research was conducted using a dataset containing sea fog data. Through a comparison of images before and after fog removal, the study revealed that the object recognition rate improved after fog removal, contributing to enhancing the accuracy of detecting unidentified underwater objects. However, the integration of multiple complex models led to increased computational complexity, and the use of the U-net network for fog removal resulted in inefficiencies in real-time processing speed. Future research will focus on improving the precision of object detection and exploring directions for real-time object detection, aiming to enhance efficiency in coastal border operations and make significant advancements in national security.

인공지능을 활용한 자동 문서 분류기 구현

김봉상 국민대학교 소프트웨어융합대학원 2022 국내석사

본 논문에서는 문서 분류에 높은 성능을 보이는 인공지능 모델을 실용화 관점에서 제안하고 시스템화했다. 이 연구를 통해 회사 내부 공용문서 또는 회사 업무용 PC에 문서 또는 개인 PC에 신규 문서가 들어 왔을 때 미리 학습된 인공지능 모델을 통해 폴더링하여 문서 분류에 시간을 절약하거나 랜섬웨어 공격이나 하드디스크 복구 시 파일명과 파일 구조를 잃어버렸을 때 활용할 수 있다. 실제 시스템화하는 과정에서 원문을 요약하여 문서를 폴더의 레벨별로 학습 및 예측해 문서 분류 정확도를 높일 수 있었다. It takes a lot of time to organize documents stored on the company's internal public documents or personal business PCs every time a document is added to the personal hard disk. In this paper, not only does it simply classify documents that are learned and added with artificial intelligence algorithms, but it can also reduce document classification time by automatically placing or recommending them in a folder desired by the user. The problem of improving the size and learning speed of the learning model and disappearing important sentences during sentence preprocessing was supplemented by using Text Summary, and the CNN model with the highest performance among various artificial intelligence algorithms was selected as an artificial intelligence model.

강화학습을 통한 FluentD 애플리케이션 자원 최적화 연구

김완수 국민대학교 소프트웨어융합대학원 2023 국내석사

This research aims to show that resource management, which has traditionally been a matter of experience for cloud application admin, can be automated through reinforcement learning. Specifically, i researched how application represented by FluentD, a log collection and processing tool commonly utilized in cloud native environments, can respond to changing traffic pattern while minimizing SLO violations and utilizing resources cost effectively. The problem with using real system like FluentD directly as a reinforcement learning environment is that there is a significant amount of time between when the reinforcement learning agent performs an action and when it receives the result. This creates inefficiencies due to the nature of machine learning algorithms that require training over many episodes. To reduce this inefficiency, this research assumed the real FluentD’s environment as time series data and created a simulator that mimics FluentD’s behavior using an LSTM deep learning model. This simulator mimics the current state of FluentD by taking a given CPU quota, request per second, and historical sequence as input and predicting CPU usage and the number of message yet to be processed, ratio of output to input messages. The simulator allowed to train a reinforcement learning model that minimizes CPU allocation while reducing SLO violations in a short time. The resulting reinforcement learning agent had a lower SLO violation rate and a lower CPU allocation than the admin's manually determined settings. These results show that reinforcement learning can be more efficient than passive resource allocation based on heuristics in applications such as FluentD. Furthermore, while it did not outperform the CPU utilization based Vertical scale up algorithm in terms of SLO violation rate, it outperformed it in terms of reward and CPU quota, which are composite metrics. 본 연구는 기존 클라우드 애플리케이션 관리자가 경험에 의존하여 수동으로 자원을 할당하는 문제를 강화학습을 통해 자동화할 수 있음을 보이려 한다. 특히 클라우드 네이티브 환경에서 주로 활용되는 로그 수집 및 처리 도구인 FluentD로 대표되는 애플리케이션이 변화하는 트래픽 패턴에 대응하여 서비스 수준 목표(Service Level Objective)를 충족하면서도 자원을 비용 효율적으로 활용할 수 있는 방법을 연구하였다. FluentD와 같은 실제 시스템을 강화학습의 환경으로서 직접 활용하는 경우 강화학습 에이전트가 액션을 수행한 뒤 결과를 받을 때 까지 상당한 시간이 필요하므로 많은 에피소드를 반복해야 하는 머신러닝 알고리즘의 특성상 효율성이 급격하게 떨어지게 된다. 본 연구에서는 이러한 문제를 해결하기 위해 실제 FluentD의 환경을 시계열 데이터로 가정하고 LSTM(Long Short-Term Memory)[1] 딥러닝 모델을 사용하여 FluentD의 행동을 모방하는 시뮬레이터를 개발하였다. 이 시뮬레이터는 현재 주어진 CPU 할당량과 초당 요청 수 (Request Per Second)와 시계열 데이터로 활용될 이전 시퀀스를 입력 받아 CPU 사용량, 아직 처리되지 않은 메시지의 수, 출력 대비 입력 메시지 비율을 예측하도록 하여 FluentD의 상태를 모방하도록 하였다. 이 시뮬레이터를 통해 실시간으로 입력되는 트래픽에 대응하면서 SLO를 최대한 충족하면서도 CPU 할당량을 최소화할 수 있는 CPU 할당량을 구해내도록 강화학습 에이전트를 빠르게 학습하였다. 최종적으로 개발된 강화학습 에이전트는 관리자가 수동으로 결정한 CPU 할당량에 비해서 SLO를 더 많이 충족하면서도 CPU 할당량을 최소화 할 수 있었다. 이 결과를 통해 FluentD와 같은 애플리케이션에 대해 관리자의 경험에 의존한 수동적인 자원 할당보다 강화학습을 통한 자원 할당이 더 효율적이라는 것을 보였으며, CPU 사용률 기반 수직 확장 알고리즘보다 SLO 위반율 측면에서는 높은 성능을 보이지 못했으나 비용 효율적인 측면에서 높은 성능을 보임을 확인하였다.

기계 시각을 활용한 크기배제 크로마토그래피 자동분리 시스템 개발 : 크기배제 크로마토그래피 분리 자동화를 통한 작업 효율 증대

한철진 국민대학교 소프트웨어융합대학원 2023 국내석사

크기배제 크로마토그래피의 분리는 혼합물을 분리할 수 있는 실험 방법으로 많은 연구에서 사용되고 있다. 특히 최근에 체외진단의 수요가 늘어남에 따라 혈장 내 특정 물질을 분리하여 암진단등에 사용 하는 회사들이 많아지고 있는데 이러한 분리에 사용되는 크기배제 크로마토그래피의 수요가 점점 늘어 나고 있는 추세이다. 크기배제 크로마토그래피를 통한 분리 혼합물 분리는 다음과 같은 과정으로 이루어진다. (1) 혼합물 을 칼럼위에 분주한다. 분주한 후 용출액이 아래로 용출되는 것으로 튜브를 통해 획득한다. 이때 눈으 로 튜브에 쓰여진 눈금을 통해 튜브에 담긴 용출액이 특정 볼륨에 도달하였는지 확인한다. (2) 볼륨에 도달한 튜브를 새로운 튜브로 교체하여 같은 과정을 반복한다. 이를 통해 동일한 분획을 획득하여 혼합물에서 동일한 사이즈의 물질을 분리할 수 있다. 각 단계에서 발생하는 문제점은 다음과 같다. (1)에서 발생하는 문제는 용출액이 아래로 용출되는 것 을 육안으로 확인하면서 발생하는 실험자의 육체적 피로가 있고 이에 따라 발생하는 실험 오차 증대가 있다. 또한 실험자의 측정기준이 주관적으로 판단하게 되는 관계로 발생하는 실험결과의 일관성 또한 부족하다. 또한 실험도중 다른 실험을 진행하지 못하므로 1번에 여러개의 샘플을 분리할 수 없다. (2) 에서 발생하는 문제는 손으로 튜브를 교체 하면서 발생하는 샘플 유실 가능성이 있다. 각 과정에서 발생하는 문제를 다음과 같은 방법으로 자동화시켜서 문제를 해결하고자 한다. 먼저 (1) 의 과정에서 발생하는 실험자의 육체적 피로 및 실험오차 증대는 실험자가 육안으로 튜브 눈금을 확인 하면서 발생하는 문제이다. (1)의 과정에서 실험자가 직접 육안으로 튜브의 눈금을 확인하는 것을 자 동화하기 위해서 카메라를 통해 튜브에 담긴 액체의 부피를 측정하고자 한다. 튜브 뒷면에 LED바를 배치하면 빛의 굴절 현상을 통해 수면의 높이를 계산할 수 있다. 카메라를 통해 액체가 담긴 튜브의 높이를 계산하는 알고리즘을 구현한다. 다음으로 동일한 액체의 부피가 동일한 튜브에 담기면 튜브에 담긴 수면의 높이가 같다는 점을 이용하여 목표로 하는 볼륨의 액체가 들어간 튜브의 수면 높이를 측 정하여 기준값으로 정한다. 액체의 부피를 측정하기 위해 빛의 굴절 현상을 이용한다. 빛의 굴절이 이 루어지는 부분은 상왜곡이 일어나 수면을 구분할수있는데 상왜곡이 일어나는 부분을 LED로 치환하여 수면을 명확하게 구분하도록 한다. 또한 영상처리 과정에서 외부의 빛간섭에 의한 왜곡을 방지 하기 위해 암실 환경을 구축한다. (2)의 과정 자동화를 위하여 앞서 설명한 알고리즘을 통해 실시간으로 튜 브의 수면 높이를 측정하고 기준값에 도달하였는지 여부를 확인하도록 한다. 또한 기준값에 도달하였 을 때 튜브를 교체하기 위해 모터를 구동할수있도록 시스템을 구성한다. 또한 이 모든 것이 실험자의 개입 없이 이루어 질 수 있도록 프로그램을 작성하여 분리 자동화를 달성하고자 한다. 완성된 시스템을 적용하여 분리를 자동화하였을시 기대 효과는 다음과 같다. 첫 번째로 실험 오차의 감소이다. 육안으로 분리가 완료될때까지 실시간으로 분리를 확인하여야하는 실험의 특성상 반복된 실 험에 의한 피로누적으로 실험오차가 발생할 확률이 높은데 자동화를 통해 이를 감소시킬 수 있다. 또 한 실험자의 주관이 적용되지 않고 일괄된 기준으로 분리가 진행되기 때문에 실험자에 따른 오류또한 감소 될것으로 예상된다. 두 번째로 작업 능률의 증대이다. 육안으로 분리가 완료될때까지 실시간으로 분리를 확인하여야하는 실험의 특성상 1명의 실험자가 동시에 여러개의 분리를 진행할 수가 없다. 이 를 자동화 시킴으로써 1명의 실험자가 2개 이상의 분리를 동시에 진행함으로써 1인당 작업처리량이 대폭 증가 될것으로 예상된다. 마지막으로 추후 연구를 통해 정밀도를 향상시켜 수동 분리보다 더욱 정밀한 시스템을 완성 할 수 있도록 하고자 한다. size exclusion chromatography (SEC) is widely used in various studies for separating mixtures. Recently, with the increasing demand for in vitro diagnostics, many companies are utilizing SEC to isolate specific substances in plasma for cancer diagnosis, among other uses. This has led to a growing trend in the demand for SEC. The process of separation using SEC involves the following steps: (1) The mixture is loaded onto a column. After loading, the eluent is collected as it exits the column through a tube. During this process, the volume of eluent in the tube is monitored using the scale marks on the tube. (2) Once the eluent reaches a specific volume, the tube is replaced with a new one, and the process is repeated. This enables the separation of substances of the same size from the mixture. Challenges in each step include: (1) Physical strain on the experimenter and increased experimental error due to visually monitoring the elution process, and the lack of consistency in results due to subjective measurements. Additionally, the inability to conduct other experiments simultaneously limits the number of samples that can be processed. (2) The possibility of sample loss while manually changing tubes. To address these issues, automation of the process is proposed. For step (1), to reduce physical strain and experimental error, a camera-based system is suggested to automatically measure the volume of liquid in the tube. The surface level of the liquid can be determined using the refraction of light, assisted by an LED bar placed behind the tube. The algorithm calculates the height of the liquid in the tube using this data. By standardizing the surface level for a target volume, the refraction of light is used to precisely distinguish the liquid surface. An isolated environment is also recommended to prevent external light interference during image processing. For step (2), real-time measurement of the liquid surface level and automated tube replacement using a motorized system are proposed. The completion of this automated system aims to reduce experimental errors, increase work efficiency by allowing a single experimenter to handle multiple separations simultaneously, and enhance precision for more accurate results than manual separation. Future research will focus on further refining the system's accuracy.

다중 카메라 기반 물체 거리 측정 모델 연구

정태훈 국민대학교 소프트웨어융합대학원 2023 국내석사

자율주행 태스크의 과제중 하나는 주행 계획을 수립하기 위해 다양한 물체에 대해 거리를 측정하는 것이다. 이 문제를 해결하기 위한 다양한 센서들이 있지만 가격적인 요소와 디자인/설계 문제로 인해 라이다 센서와 카메라 센서를 사용하는 방법이 연구되고 있다. 이 연구에서는 카메라 센서를 통해 이런 문제를 해결하려한다. 기존의 영상을 통한 연구는 물체의 위치를 특정하기 위해 객체인식, 깊이추론 등의 두 개의 작업을 통해 물체의 위치를 추측/추론하는 것이 일반적이었다. 그러나 본 연구에서는 다중 카메라의 영상을 입력받아 물체의 거리를 추론하는 모델을 제시한다. 제안하는 모델의 구조는 크게 3개의 모듈로 구성된다. 일반적인 Backbone 모델에서 특징맵을 추출하지만, 영상의 개수에 따라 병렬로 구성할 수 있는 다중 카메라 기반 특징 추출 모듈이 있다. 이를 통해 추출된 특징맵을 바닥면으로 투영하는 프로젝션 모듈이 있다. 마지막으로 이 연구의 핵심 제안인 offset/confidence 모듈은 해상도의 한계로 인해 픽셀 좌표계를 월드 좌표계로 변환했을 때의 오차를 보상할 수 있는 구조를 제안했다. 그래서 기존의 2단계 작업을 한 개의 모델로 통합하고 보다 정확한 거리정보를 추론할 수 있음을 보여줬다. 뿐만 아니라, 나아가 물체의 크기정보 트래킹 정보를 End to End 형식의 모델로 추론하는 연구를 진행할 예정이다. 또한, 실제 상용화 환경에서 사용하기 위해 다양한 최적화기법을 이용하여 임베디드 환경에서도 무리 없이 실행할 수 있도록 하는 것이 이 연구의 최종목표이다. In autonomous driving tasks, measuring distances to various objects to plan driving is animportant issue. There are various sensors to solve this problem, but due to cost factors and designissues, methods using lidar sensors and camera sensors are being studied. In this study, weattempt to solve this problem through camera sensors. In existing research using images, it wascommon to guess or infer the location of an object through two tasks, such as object recognitionand depth inference, to specify the location of the object. However, this study presents a model that infers the distance of an object by receiving images from multiple cameras. The structure of theproposed model largely consists of three modules. Feature maps are extracted from the general Backbone model, but there is a multi-camera-based feature extraction module that can beconfigured in parallel depending on the number of images and a projection module that projects theextracted feature maps onto the floor. Lastly, the offset/confidence module, the core proposal of thisstudy, proposes a structure that can compensate for errors when converting the pixel coordinatesystem to the world coordinate system due to resolution limitations, integrating the existingtwo-step tasks into one model. It was shown that more accurate distance information can beinferred. Furthermore, we plan to conduct research to infer the size and tracking information of objects into a single model. In addition, the final goal of this research is to enable smooth executionin an embedded environment by using various optimization techniques for use in an actual commercial environment.

Diffusion model을 활용한 폐 CT 이미지 생성 연구

이재원 국민대학교 소프트웨어융합대학원 2023 국내석사

The quality of medical data is becoming increasingly important as researchers apply artificial intelligence to medical data to help doctors make diagnoses and create new drugs. Compared to other data, medical data requires measurement and diagnosis by medical professionals, which is costly and time-consuming due to the need for samples and equipment. Disease-related data is difficult to obtain in large quantities, and the data is less diverse due to diseases that occur only in certain age groups, races, regions, etc. If the data contains errors due to inaccurate diagnosis, or if the data is collected in a non-standardized form, the quality of the data decreases and reliability problems arise. In addition, there is a disadvantage that medical data collection and sharing is accompanied by important ethical considerations related to privacy, and it is difficult to obtain good quality data. To solve these problems, medical data generation using Generative Adversarial Networks (GANs) has been proposed. However, GANs suffer from mode collapse, where the generator fails to produce diverse images and the discriminator produces only certain data that cannot be distinguished from the real image, resulting in poor image diversity and adversarial learning, which reduces the stability of the model. In this paper, we address the problem of generating lung CT images using Denoising Diffusion Probabilistic Models (DDPM). DDPM consists of a forward process to gradually add noise to the image and a reverse process to restore the original image from the noisy image. The denoising stage, which tries to restore the noisy image to the original image, uses a U-net structure, which consists of an encoder and a decoder for downsampling. The encoder and decoder are composed of a ResNet layer to reduce the spatial resolution of the image while extracting the required features. In addition, a block with a self-attention mechanism is added to focus on the important features of the image to improve the efficiency of model training and make it work flexibly. As a quantitative and qualitative analysis of this study, we generated images using Wasserstein GAN (WGAN) and Progressive Growing of GANs (PGGAN) among the GAN models used as generation models, and proved that the image generation model evaluation results are better when compared with the images generated using the proposed DDPM. This proves that the images generated by DDPM have better diversity and quality. 의료데이터에 인공지능을 적용하여 의사의 진단을 돕거나 신약을 만드는 등 다양한 연구가 진행되며 의료데이터의 품질이 점점 더 중요해지고 있다. 의료데이터는 다른 데이터에 비해 의료 전문가의 측정과 진단 필요하며 이를 수행하기 위한 시료 및 장비 등 때문에 비용과 시간이 많이 소요된다. 질병 관련 데이터는 대량의 데이터 확보가 어렵고 특정 연령대, 인종, 지역 등에서만 일어나는 질병 등의 이유로 데이터의 다양성이 떨어지며, 데이터가 부정확한 진단에 의한 오류가 있는 경우, 표준화되지 않은 형태로 수집된 경우 데이터의 질이 떨어지고 신뢰성의 문제가 생긴다. 또한 의료데이터 수집과 공유가 개인정보 보호와 관련된 중요한 윤리적 고려 사항을 동반하고 있어 좋은 품질의 데이터를 확보하는데 어려움이 있다는 단점이 존재한다. 이와 같은 문제를 해결하기 위해 Generative Adversarial Networks(GAN)를 이용한 의료데이터 생성 방법이 제시되고 있다. 하지만 GAN은 모드 붕괴(Mode collapse)가 일어나는데 생성자가 다양한 이미지를 만들어내지 못하고, 판별자가 실제 이미지와 구분하지 못하는 특정 데이터만 만들어 이미지의 다양성이 떨어지고 적대적으로 학습을 하기 때문에 모델의 안정성이 떨어지는 문제가 있다. 본 논문에서는 Denoising Diffusion Probabilistic Models(DDPM)를 활용하여 폐 CT 이미지를 생성하는 문제를 다룬다. DDPM은 점차적으로 이미지에 노이즈를 추가하는 Forward process와 노이즈가 추가된 이미지에서 원본 이미지로 복원하는 Reverse Process로 구성된다. 노이즈 이미지를 원본 이미지로 복원하려고 하는 denoising 단계에서 U-net 구조를 사용하는데 U-net 구조는 다운샘플링을 위한 인코더(Encoder)와 디코더(Decoder)로 구성되어 있다. 인코더와 디코더는 ResNet layer로 구성되어 이미지의 공간적 해상도를 줄이는 동시에 필요한 특징을 추출한다. 또한 Self-attention 메커니즘을 추가한 block을 추가해 이미지의 중요한 특징에 집중하여 모델 학습의 효율성을 높이고 유연하게 동작하게 한다. 본 연구의 정량적 및 정석적 분석으로 생성모델로 사용되고 있는 GAN 모델 중 Wasserstein GAN(WGAN), Progressive Growing of GANs(PGGAN)을 활용하여 이미지를 생성하고 그 이미지와 제안된 DDPM을 활용해 생성한 이미지와 비교했을 때 이미지 생성 모델 평가 수치의 결과가 더 좋다는 것을 입증했다. 이를 통해 DDPM으로 생성된 이미지의 다양성과 품질이 더 좋은 결과를 가지는 것을 증명했다.

데이터 증강 기법을 통해 학습된 감성 분류 모델의 성능 비교에 관한 연구

이용정 국민대학교 소프트웨어융합대학원 2023 국내석사

자연어 처리에서 딥러닝이 적용되면서 모델을 구축하기 위해 많은 양의 데이터가 필요해졌다. 그러나 한국어 데이터의 경우 영어 데이터에 비해 질적인면과 양적인면 모두 부족하다. 이러한 데이터 부족 문제를 해결하기 위해 데이터 증강이 필요하다. 따라서 본 연구에서는 규칙 기반의 데이터 증강 기법과 생성적 적대 신경망을 이용하여 레이블링된 감성분석 데이터셋의 확장 모델을 제안한다. 데이터 증강을 통해 증강된 데이터셋들을 BERT모델에 입력하여 감성분석을 진행한다. 그 결과, 데이터셋 증강 후 감성분석에 대한 성능이 약 3~5% 증가하는 개선점을 보였다. 향후 영화 리뷰 데이터뿐만 아니라 쇼핑몰 데이터 리뷰, SNS 대화데이터 등 다양한 데이터과 자연어 처리 연구에서 높은 성능을 보여준 다른 딥러닝 모델을 함께 훈련시켜 성능개선이 가장 큰 기법과 모델을 계속 연구하고자 한다. With the application of deep learning in natural language processing, a large amount of data is required to build a model. However, Korean data is lacking in both quality and quantity compared to English data. To solve this problem, data augmentation is needed. Therefore, this study proposes an extension model for labeled sentiment analysis dataset using rule-based data augmentation technique and generative adversarial neural network. The datasets augmented by data augmentation are input to the BERT model for sentiment analysis. As a result, the performance of sentiment analysis is improved by about 3~5% after dataset augmentation. In the future, I will continue to study the techniques and models with the greatest performance improvement by training not only movie review data, but also various data such as shopping mall data reviews and SNS conversation data, and other deep learning models that have shown high performance in natural language processing research.

음성인식 기반 텍스트 읽기 진행 추적 기술 연구

박동우 국민대학교 소프트웨어융합대학원 2023 국내석사

The technology that tracks the text that readers are reading in real time to help them understand their reading habits and provide data to improve their reading skills. In this paper, I have built a real-time streaming Korean speech recognition model using Kaldi and proposed a technique to track the text read aloud by readers. To assess the accuracy of the reading position returned according to the input voice, I conducted an experiment using AI Hub's 'News Transcript and Anchor Voice Data.' The experimental results demonstrated a reading tracking accuracy of 89.1%. It's important to note that this experiment was conducted with the assumption that readers read in a single direction. However, in the real world, readers often jump over text or go back to where they were reading. Further research is needed to adapt to various reading styles. Such research is expected to make a significant contribution to supporting individuals with reading disabilities. 독자가 실시간으로 읽고 있는 텍스트를 추적하는 기술은 학습자의 독서 습관을 이해하는 데 도움이 되고, 읽기 활동을 개선하기 위한 데이터를 제공할 수 있다. 본 논문에서는 Kaldi를 사용하여 실시간 스트리밍 한국어 음성인식 모델을 구축하고 독자가 소리 내어 읽는 텍스트를 추적하는 기술을 제안한다. AI Hub의 ‘뉴스 대본 및 앵커 음성 데이터’를 활용하여 음성에 따라 반환하는 읽기 위치의 정확도를 측정하는 실험을 진행하였으며 실험 결과, 89.1%의 정확도로 읽기 추적을 수행할 수 있었다. 이 실험은 독자가 한 방향으로 읽는다는 전제하에 진행되었으나 현실에서는 정해진 방향으로만 읽는 것이 아니라 글을 뛰어넘거나, 읽었던 부분으로 되돌아가는 경우가 흔하며, 다양한 읽기 스타일에 대응하기 위한 추가적인 연구가 필요하다. 이러한 연구는 읽기 장애를 가진 사람들을 지원하는 데 기여할 것으로 기대된다.