파형 생체신호 이상치 탐색을 위한 딥러닝 방법 연구

박태준 아주대학교 2022 국내석사

As various deep learning methods are introduced in medical research, the use cases of waveform bio-signals collected from patients are increasing. Waveform bio-signals include electrocardiogram, photoplethysmography, and arterial blood pressure. As a deep learning method to utilize them, 1-dimensional convolutional neural network is used. Various deep learning methods are being studied, as well as the quality of waveform data to be input to the model and processing methods. To obtain unbiased study results, more accurate noise detection and processing are required for researchers. In this study, a deep learning model was developed and analyzed to detect noise in the photoplethysmography (Pleth), arterial blood pressure (ABP), and respiratory (Resp) waveforms. For comparison, a supervised learning model(1dCNN) and an unsupervised learning model (GAAL) were trained on each waveform and evaluated using internal and external data. The supervised learning model was constructed with reference to the basic CNN structure, and the unsupervised learning model was composed of a generative adversarial network (GAN) in the form of active learning (GAAL). For model learning and internal evaluation, MIMIC3 waveform matched subset data, an open database, was used, and Fantasia database was used for external evaluation. The label of the noise in the data was manually conducted by two data engineers, and the training set and validation & test set were individually labelled. The training set, which is 80% of the MIMIC3 data, was used for model learning, and the detailed settings of the model were adjusted (hyper-parameter tuning) in the validation set (10%). To prevent model overfitting, the model with the highest AUROC was extracted from the validation set, and the process was repeated 30 times for each learning method considering the randomness of model learning. Trained models were evaluated in the test set (10%), and the mean and standard deviation of the AUROC and AUPRC values calculated. After the internal validation, the same evaluation was performed on the external validation data for blood pressure and respiratory waveforms, and the mean and standard deviation of AUROC and AUPRC were calculated and compared. In addition, to evaluate the transfer learning performance of the unsupervised learning model, unsupervised transfer learning was performed on the training set (80%) of Fantasia data, and the classification performance was compared with the existing models in the same external test set (10%). As a result of the internal validation, the supervised learning model showed that classification of the pleth waveform (1dCNN mean AUROC = 0.97[0.0]; GAAL mean AUROC = 0.9[0.04]) and ABP waveform (1dCNN mean AUROC = 0.9 [0.04]; GAAL mean AUROC = 0.84[0.03]) showed higher performance compared to the unsupervised learning model, but there was no significant difference in the respiratory waveform (1dCNN mean AUROC = 0.73 [0.04]; GAAL mean AUROC = 0.75[0.03]). As a result of external validation, both the supervised learning model and the unsupervised learning model showed performance degradation in the respiratory waveform (1dCNN mean AUROC = 0.39 [0.01]; GAAL mean AUROC = 0.4[0.07]), but after transfer learning, the unsupervised learning model showed a sharp decrease in performance. In the waveform (Transfer mean AUROC = 0.62[0.04]), the performance was improved. This study has the significance of confirming and analyzing the noise detection learning performance of supervised and unsupervised learning models in various waveform bio-signals (Pleth, ABP, Resp). For a more general comparison, the average AUROC and AUPRC of 30 models were compared in internal and external data, and the advantages of unsupervised transfer learning were also examined. In addition, we saw the possibility of advanced research using the GAAL algorithm, and the need for more detailed and sophisticated future research was examined through the analysis of the shortcomings of the study. 의학 연구에 다양한 딥러닝 방법이 소개됨에 따라 환자로부터 수집된 파형 생체 신호의 활용 사례가 늘어나고 있다. 파형 생체 신호에는 대표적으로 심전도(Electrocardiogram), 광혈류측정(Photoplethysmo-graphy), 혈압(Arterial blood pressure)등이 있으며 이를 활용하기 위한 딥러닝 방법으로는 일차원 합성곱 신경망(1-dimensional Convolutional Neural Network)이 주목받고 있다. 다양한 딥러닝 방법들이 연구되고 있는 만큼 모델에 입력될 파형 데이터의 질과 그에 따른 정제 방법 또한 연구되고 있다. 편향되지 않은 연구 결과를 얻기 위해서는 연구자들에게 보다 정확한 잡음(noise) 또는 누락 탐지 및 정제가 요구된다. 본 연구는 광혈류, 혈압, 호흡 파형의 잡음을 탐지하기 위한 딥러닝 모델을 개발하고 분석하였다. 비교를 위해 지도학습 모델(1dCNN)과 비지도학습 모델(GAAL)을 각각의 파형에서 학습하고 내부 및 외부 데이터를 활용해 평가하였다. 지도학습 모델은 기본적인 CNN의 구조를 참고하여 구성하였고, 비지도학습 모델은 적대적 생성네트워크-(Generative Adversarial Network, GAN)을 액티브 러닝(Active learning)의 형태로 구성하였다(Generative Adversarial Active Learning, GAAL). 모델의 학습 및 내부평가를 위해 오픈 데이터 베이스인 MIMIC3 waveform matched subset 데이터를 활용하였으며, 외부평가를 위해 Fantasia database를 활용했다. 데이터의 노이즈 유무는 데이터 엔지니어 2명에 의해 수동적으로 진행되었으며 훈련셋(train set)과 검증&평가셋(validation & test set)을 각자 라벨링하였다. 모델의 학습에는 MIMIC3 데이터의 80%인 훈련셋이 사용되었으며, 검증셋(10%)에서 모델의 세부설정을 조정(Hyper-parameter tuning)하였다. 모델의 과적합을 막기 위해 검증셋에서 가장 높은 AUROC를 기록한 모델을 추출하였고, 모델 학습의 무작위성을 고려해 위의 과정을 각 학습방법마다 30회 반복하였다. 마지막으로 학습한 30개 모델은 평가셋(10%)에서 평가되었으며 지도학습 모델과 비지도학습 모델이 기록한 AUROC와 AUPRC값의 평균과 표준편차를 계산하였다. 내부검증 이후, 혈압과 호흡 파형에 대해 외부검증 데이터에서도 동일한 평가가 이루어졌으며 마찬가지로 AUROC, AUPRC의 평균과 표준편차를 계산하여 비교하였다. 추가로 비지도학습 모델의 전이학습 성능을 평가하고자 Fantasia data의 훈련셋(80%)에서 비지도 전이학습을 수행했고, 동일한 외부검증 평가셋(10%)에서 기존의 모델들과 분류 성능을 비교했다. 내부 검증 결과, 지도학습 모델이 광혈류 파형(1dCNN 평균 AUROC = 0.97[0.0]; GAAL 평균 AUROC = 0.9[0.04])과 혈압 파형(1dCNN 평균 AUROC = 0.9 [0.04]; GAAL 평균 AUROC = 0.84[0.03])의 노이즈 분류에 비지도학습 모델에 비해 높은 성능을 보인 반면 호흡 파형(1dCNN 평균 AUROC = 0.73 [0.04]; GAAL 평균 AUROC = 0.75[0.03])에서는 뚜렷한 차이를 보이지 않았다. 외부검증 결과, 지도학습 모델과 비지도학습 모델 모두 호흡 파형(1dCNN 평균 AUROC = 0.39 [0.01]; GAAL 평균 AUROC = 0.4[0.07])에서 급격한 성능 저하를 보였지만, 전이학습 이후 비지도학습 모델은 호흡파형(Transfer 평균 AUROC = 0.62[0.04])에서 성능 향상을 보였다. 본 연구는 다양한 파형 생체신호(Pleth, ABP, RESP)에서 지도학습과 비지도학습 모델의 노이즈 탐지 학습 성능을 확인 및 분석했다는 의의를 갖는다. 보다 일반적인 비교를 위해 30개 모델의 평균 AUROC와 AUPRC를 내부 및 외부 데이터에서 비교하였으며, 비지도 전이학습을 통해 비지도학습 방법이 갖는 장점 또한 살펴보았다. 또한, GAAL 알고리즘을 활용한 고도화된 연구 가능성을 보았으며 몇몇 연구의 단점에 대한 분석을 통해 추후에 더욱 세밀하고 정교한 추후 연구의 필요성을 살펴보았다.

미등록단어 문제와 데이터 부족 현상을 해결하기 위한 비지도학습 토크나이저와 추출 기반 문서 요약 기법

김현중 서울대학교 대학원 2019 국내박사

Natural language processing is interested in converting a human language into computer-usable information to solve real problems. Among its various sub-tasks, tokenization is a fundamental data pre-processing task that aims to detect words or morphemes from its input sentence. Therefore, ineffective tokenization degrades the quality of other subsequent natural language processing tasks such as document summarization, in which documents are condensed into several key words or sentences. All of these various natural language processing tasks share common intrinsic challenges such as out-of-vocabulary problem, lack of labeled training data and inevitable grammatical or spelling errors within the input texts. Among these various issues, grammatical or spelling errors are especially fatal for natural language processing for Korean. As the readability of the Korean texts are not significantly affected by these errors, these errors are simply overlooked in the training data, thereby causing tokenization to be increasingly difficult. Furthermore, these overlooked grammatical or spelling errors are one of the main reasons behind the out-of-vocabulary problem in Korean. Unfortunately, there is simply not enough training data to resolve these errors. In this paper, I propose various unsupervised Korean natural language processing methods to overcome these issues. Due to its unsupervised nature, it can be easily applied to various domains that lack labeled training data. Instead of relying on labeled data, I utilize the structures of Eojeol, a basic unit of a Korean word, as a prior knowledge for capturing the patterns in the Korean language. Based on dividing Eojeol into a L + [R] structure, I propose four new unsupervised natural language processing methods for Korean. To overcome the out-of-vocabulary problem, I create two Eojeol based unsupervised Korean tokenizers that not only outperforms Word Piece Model but also performs at a similar level as supervised Korean tokenizers that are trained on labeled datasets and dictionaries. Furthermore, I devise a novel noun extraction method that is superior than the trained Korean morpheme analyzers. Beside these pre-processing tasks, I also propose key words and sentences selection method that removes redundant sentences and summarizes a set of Korean documents without relying on any tokenizer. For summarizing a document set that consists of documents with various topics, I additionally propose an improved document clustering method and effective cluster labeling method. It is up to several thousand times than existing k-means clustering algorithm during initialization. Finally, I propose summarization method for time series formed document set. It first devides the data it into several segments based on time point of topic change, then the keyword and keysentence extraction methods proposed in previous chapter are applied to summarize each segment. Our improved clustering and time-series formed documents summarization methods can be applied to different languages not only Korean. Supervised machine learning approaches are inevitable in natural language processing. However, unsupervised methods offer additional insight into Korean language that supervised methods fail to capture.As our unsupervised methods perform at a similar level as their supervised counterparts, integrating both approaches will provide unprecedented improvement in the world of Korean natural language processing. 자연어처리는 사람의 언어를 컴퓨터가 이용할 수 있는 형태의 정보로 변환하거나 이를 이용하는 과업들로 이뤄진 분야이다. 토크나이징은 문장을 단어나 형태소와 같이 분석의 단위로 분해하는 과업으로, 다른 자연어처리 과업의 입력 데이터를 처리하는 기초 과업이다. 토크나이저의 성능이 좋지 않을 경우 문서 요약이나 토픽 모델링과 같은 다른 자연어처리 과업의 품질이 저하된다. 문서 요약 과업은 키워드나 핵심 문장을 통하여 문서 집합의 내용을 요약하는 과업으로, 대량의 문서 집합에 대한 탐색을 편리하게 도와주거나 문서를 인덱싱 하는데 이용될 수 있다. 그러나 자연어처리 과업은 다음의 어려움을 지닌다. 첫째, 미등록단어 문제라 불리는 현상으로, 학습 데이터에 등장하지 않은 단어를 제대로 인식하지 못할 수 있다. 둘째, 각 과업에 적합한 학습 데이터를 마련하기 어렵다. 셋째, 텍스트 데이터에는 띄어쓰기 오류 및 철자법 오류에 의하여 잘못된 자연어처리 결과가 야기될 수 있다. 영어와 달리 한국어에는 띄어쓰기와 철자법 오류가 빈번하며, 이로 인하여 단어의 경계 구분이 어려운 경우가 발생한다. 위의 어려움들은 서로가 연결되어 있다. 데이터 내 오류는 미등록단어 문제를 발생시키며 이를 해결하는 모델을 구축하기 위해서는 추가적인 학습 데이터가 필요하다. 이러한 어려움은 토크나이저와 문서 요약 외 다른 자연어처리 과업들에서도 공통적으로 발생한다. 이 논문에서는 한국어 자연어처리 과업에서 발생하는 어려움을 해결하기 위하여 한국어의 구조적 특징을 이용하는 비지도학습 자연어처리 방법들을 제안한다. 비지도학습 방법은 학습 데이터를 이용하지 않기 때문에 다양한 도메인의 자연어처리 과업에 적용하기 용이하다. 또한 한국어의 구조적 특징은 비지도학습 기반 모델의 사전 지식 역할을 하여, 데이터로부터 효율적으로 정보를 학습할 수 있도록 도와준다. 이 논문에서는 비지도학습 한국어 자연어처리에 적합한 어절 구조인 L + [R] 와 이를 이용하는 다섯 가지 비지도학습 자연어처리 방법을 제안한다. 첫째, 미등록단어 문제를 해결하기 위하여 한국어 어절의 구조를 기반으로 작동하는 비지도학습 기반 한국어 토크나이저를 제안한다. 제안한 토크나이저는 Word Piece Model 보다 좋은 분류 성능과 학습 데이터를 이용하는 형태소 분석기와 비슷한 단어 인식 성능을 보였다. 둘째, L + [R] 구조를 기반으로 명사를 추출하는 방법을 제안하였으며, 이 역시 학습 말뭉치와 단어 사전을 이용하는 형태소 분석기보다도 뛰어난 명사 인식 능력을 보였다. 셋째, 단일 주제의 문서 집합 요약을 위한 키워드 및 핵심 문장 추출 방법을 제안하였다. 이 방법은 단어 추출 과정이 내제되어 있으며 키워드의 미등록단어 문제에 강건하다. 또한 중복되지 않는 문장들로 핵심 문장을 구성할 수 있다. 넷째, 다양한 주제로 구성된 문서 집합을 요약하기 위한 문서 군집화 기반 키워드 추출 방법을 제안하였다. 이 방법은 효율적인 문서 군집화를 위하여 초기화 과정을 개선하였으며, 개선된 Spherical k-means 방법은 기존의 알고리즘보다 수천배 빠른 초기화 계산 속도를 보였다. 또한 군집화 결과인 군집 중심값만을 이용하여 각 군집의 키워드를 추출하기 때문에 추가의 문서 요약 모델을 학습할 필요가 없다. 다섯째, 뉴스와 같이 시계열 형식으로 발생하는 문서 집합을 요약하는 방법을 제안하였다. 이 방법은 시계열 구분 방법을 이용하여 문서 집합의 주제가 변하는 시점을 기준으로 구간을 분리하며, 구간 별 키워드와 핵심 문장을 추출하여 구간 내 문서 집합을 요약한다. 제안된 문서 군집화 기반 키워드 추출 방법과 시계열 형식의 문서 집합 요약 방법은 한국어가 아닌 다른 언어에도 적용될 수 있다. 지도학습 기반 머신러닝 모델들은 다양한 과업에서 높은 정확도를 보여주지만, 학습 데이터에 대한 편향성 때문에 모델이 적용될 데이터에 적합하도록 조정이 필요하다. 이와 반대로 비지도학습 기반 방법은 모델이 적용될 데이터로부터 정보를 추출하며, 지도기반 모델들의 편향성 문제를 완화하는데 이용될 수 있다. 이 논문에서 제안하는 방법들은 비지도학습 기반으로만 작동함에도 불구하고 지도학습 기반 방법보다 좋거나 비슷한 성능을 보인다. 그러므로 제안한 방법과 지도학습 기반 방법을 상호 보완적으로 이용된다면 높은 정확도와 학습 데이터에 대한 편향성이 적은 모델로 발전할 수 있다.

정상 데이터 기반 비지도 학습을 통한 프레스 가공제품의 표면 불량탐지 방법

김현우 부산대학교 대학원 2023 국내석사

가전제품의 외관을 구성하는 부품의 경우 표면 불량에 무척 민감하다. 소비자가 제품의 불량을 처음 평가하는 부분이 제품의 외관이라 더욱 그렇다. 이러한 외관 제품 중 프레스 가공제품의 표면 검사는 여전히 작업자의 눈에 의한 육안 검사로 진행하고 있으며 현장의 다양한 변화에 대응하기 위해 머신 러닝 시스템(Machine learning system)을 통해 표면 검사 자동화에 대한 해법을 찾아가고 있다. 머신 러닝 기반의 표면 불량 탐지 모델의 경우 학습에 필요한 불량 데이터가 충분하지 않은 경우, 적은 불량 데이터는 학습 성능 향상에 큰 제약 사항으로 작용한다. 특히 제조 공정이 안정화 되어있는 경우, 불량은 더욱 적게 발생하게 되어 원하는 학습 데이터를 수집하는데 많은 시간이 걸리게 된다. 본 연구에서는 불량탐지를 위한 학습 모델을 설계할 때, 정상 데이터를 불량 탐지 모델의 학습에 활용하는 방법을 제안한다. 그만큼 불량 데이터를 수집하는데 많은 시간을 소요하지 않고 빠른 학습 결과를 도출해 낼 수 있다. 정상 데이터를 입력하여 불량 데이터를 생성하고 복원을 통해 정상 데이터와의 차이를 계산하며, 결합과 분리를 통해 제품 표면의 불량을 판별한다. 정상 데이터는 데이터의 흠집을 제거하는 모델을 학습할 때 사용하며, 이후 모델이 판단한 데이터 중 불량 데이터를 선별하여 실시간 학습을 통해 학습 성능을 보완한다. Parts constituting the exterior of home appliances are very sensitive to surface defects. It is even more so because the product's appearance is the first part that consumers evaluate the product's defect. Among these exterior products, the surface inspection of press-processed products is still carried out by visual inspection by the operator's eyes, and a solution to surface inspection automation is being sought through a machine learning system to respond to various changes in the field. In the case of a machine learning-based surface defect detection model, if there is not enough defect data required for learning, a small amount of defect data acts as a major constraint on improving learning performance. In particular, when the manufacturing process is stabilized, fewer defects occur and it takes a lot of time to collect desired learning data. In this study, when designing a learning model for defect detection, we propose a method of using normal data to learn the defect detection model. As such, it is possible to derive fast learning results without spending a lot of time collecting bad data. It generates defective data by inputting normal data, calculates the difference from normal data through restoration, and identifies defects on the product surface through concatenation and separation. The normal data is used to train a model that removes flaws in the data, and then the bad data is selected from the data judged by the model to supplement the learning performance through real-time learning.

초등학생의 창의적 문제해결력 향상을 위한 비지도학습 기반 인공지능 교육 프로그램 개발

장수정 대구교육대학교 교육대학원 2023 국내석사

2022 개정 교육과정 구성의 중점 배경에서 가장 첫 번째로 ‘인공지능 기술 발전에 따른 디지털 전환’을 언급할 만큼 인공지능 교육의 필요성은 갈수록 증가하고 있다. 인공지능 교육에서는 2022 개정 교육과정, 교육부의 교재 등을 통해 인공지능의 원리와 만드는 과정 탐색을 통한 실생활로의 전이와 창의적 문제해결력을 강조하고 있다. 그러나 교육과정의 요구와 달리 현장에서 사용되는 교재, 현장 교육과 선행연구의 인공지능 교육 프로그램은 단순한 실습, 지식 전달, 놀이, 체험과 같은 교육이 다수를 이루고 있다. 이러한 체험 위주의 교육은 인공지능 교육에서 강조하는 창의적 문제해결력을 향상시키기에는 한계가 있기에 본 연구에서는 창의적 문제해결력을 향상시킬 수 있는 비지도학습 기반 인공지능 교육 프로그램을 개발 및 적용하고자 하였다. 그리고 교육 프로그램의 효과를 검증하기 위하여 대구 J 초등학교 6학년 학생을 대상으로 4주에 걸쳐 교육 프로그램을 적용하였다. 연구 결과, 본 교육 프로그램 적용 후 학습자들의 창의적 문제해결력 전반에 유의미한 향상도를 확인할 수 있었다. 정성적 분석을 통해 실생활로의 전이와 인공지능에 대한 인식, 개념 및 원리에 대한 이해도 또한 향상되었음을 확인하였다. 본 연구는 지도학습과 언플러그드 중심의 기존 인공지능 교육을 비지도학습과 학생 주도적 문제 해결의 영역까지 확장하였다는 점에서 의의가 있다. 본 연구가 앞으로의 인공지능 교육 관련 연구의 발판이 되어 인공지능 교육의 정착과 발전에 이바지하기를 기대한다. 주요어 : 창의적 문제해결력, 비지도학습, 군집, 초등 인공지능 교육, 교육 프로그램

발전용 가스 터빈의 콘볼루션 오토인코더 적용을 통한 비지도방식 운전기록 이상탐지 사례 연구

이근배 고려대학교 컴퓨터정보통신대학원 2021 국내석사

본 논문에서는 비지도학습(Unsupervised learning)을 통한 발전용 가스 터빈(Power gas turbine)의 이상 신호 탐지를 위해 합성곱 신경망(Convolutional neural network, CNN)과 오토인코더(Auto-encoder,AE)가 결합된 콘볼루션 오토인코더(Convolutional auto-encoder, CAE) 모델 응용 결과를 서술하였다. 발전용 가스 터빈에 부착되는 운전 상태 감지 시스템은 시운전 이후 제품의 기대 수명이 끝날 때까지 운전용 제어변수(Parameter) 설정치를 변경하지 않는 것이 관례이다. 이 경우 통상 25년 이상의 운전 기간 중 누적되는 내구성 감소에 따른 비정상적 신호를 감지할 수 없다. 최근 기계학습(Machine learning)과 심층학습(Deep learning)을 활용한 이상 징후 탐지(Anomaly detection) 알고리즘이 산업용 기계 제품의 운전 상태 감시 목적으로 속속 도입되고 있다. 그러나, 발전용 가스 터빈 보호를 위한 심층학습 모델은 아직 본격적인 도입이 시작되는 단계이다. 본 논문에서 응용한 CAE 모델은 심층학습을 통해 운전 기록에서의 비정상 신호를 판별할 수 있다. CNN은 공간 데이터의 연산에 필수적인 특징(feature)만을 추출하여 학습에 필요한 데이터의 양을 축소한다. 또한 여기에 훈련을 통해 재구성된 일반적인 오차값보다 더 큰 오차가 존재할 경우 이를 식별하는 AE의 비지도학습 특성을 결합하여, CAE는 데이터의 종류가 불균형하게 분포된 대용량 데이터 세트에서도 효과적으로 이상 징후를 식별할 수 있다. 실제 가동 중인 복합화력 발전소의 가스 터빈 운전 기록을 데이터 세트로 활용한 결과, 응용된 CAE 모델은 이상 신호 탐지용으로 활용 사례가 확인된 Isolation forest(iforest), K-평균 클러스터링(K-means), 1종 서포트 벡터머신(One-class support vector machine, OCSVM) 등 기존 응용된 기계학습 모델보다 실제 특이 신호 패턴을 더 정확하게 탐지하였다.

비지도학습 머신러닝 기반 자기주도학습 역량 잠재요인의 군집분석 모델 개발

임성태 충북대학교 2019 국내석사

최근 K-MOOC 강좌 개발의 양적인 확대와 더불어, 대학 간 학점교류 및 대학 내 학점인정 등 교수·학습 혁신을 위해 MOOC의 도입 및 적용이 확산되고 있는 추세이다. MOOC와 같은 이러닝 형태의 교육은 학습자가 주도적으로 본인의 학습활동을 수행해 나가지 않으면 제대로 된 교육적 효과를 얻을 수 없다. 따라서, MOOC 교육을 효과적으로 운영하기 위해서는 학습자의 자기주도학습 역량을 정확히 분석하고, 이를 기반으로 학습자의 MOOC 교육 인식 및 요구를 제대로 파악하는 것이 중요하다. 이에 본 논문에서는 C대학에서 실시한 ‘MOOC 정책 수립을 위한 학생 요구조사’를 통해 수집된 579명의 학부생 설문 조사 결과 데이터를 활용하여 데이터마이닝 기반 분석을 적용하였다. 첫 번째, 대학생 학습자의 자기주도학습 역량 측정과 MOOC 교육 요구조사 실시를 위하여 해당 분야 15년 이상의 전문가 3인과 선행연구를 근거로 한 문헌 분석·종합·재구성을 통해 2개의 설문 도구를 개발하였다. 두 번째, 579명의 학습자를 대상으로 개발된 MOOC 교육 인식·요구 및 자기주도학습 역량에 대한 도구를 활용하여 설문 조사를 실시하였다. 세 번째, 설문 전반 데이터에 대해 중복응답, 결측치 및 영근처의 분산 처리 등의 전처리 과정을 실시하였다. 네 번째, 자기주도학습 역량 측정문항의 상관분석(Correlation Analysis)과 요인분석(Factor Analysis)을 실시하였다. 상관분석을 통해 문항의 지표 간의 관련성을 높은 변수를 파악하였으며, 요인분석을 통해 해당 문항의 변수 식별 및 잠재된 요인(Latent Factors)을 도출하였다. 요인분석은 적절한 잠재적 요인의 수를 고려하기 위하여 카이저 규칙(Kaiser Rule)과 스크리 도표(Scree Plot)가 사용되었으며, 분석은 주성분 분석법과 직교 회전법 중 하나인 배리맥스(Varimax) 회전법을 사용하여 실시되었다. 잠재요인의 주요 변수로는 적재량(Loadings) 0.50 이상의 변수를 기준으로 잠재요인을 명명하였다. 다섯 번째, 자기주도학습 역량의 식별된 요인을 기반으로 학습자 데이터를 k-평균군집 군집분석(k-means Clustering)을 통해서 집단을 분류하고, 집단의 특성을 파악하였다. k-평균군집에는 R의 {Nbclust} 패키지의 26개의 지수를 활용하여, 최적의 군집의 수를 탐색하여 군집분석을 실시하였으며, 분류된 집단에 특성에 따라 집단을 명명하였다. 마지막으로, 분류된 집단의 MOOC 교육 인식과 요구의 수준에 대한 차이를 분석하였고, 이를 기반으로 개별학습자의 데이터의 시뮬레이션(Simulation)을 통해 분류된 집단의 특성을 통한 공통적인 교수·학습 처방 이외에 개별 학습자의 응답의 수준을 비교·대조하여 집중적으로 고려되어져야 할 항목들을 살펴보았다. 본 논문의 연구결과를 통해 분류된 자기주도학습 역량 상위, 중위, 하위 집단의 학습자들은 학습활동에서의 수행·평가·상호작용이나 교수학습, MOOC 플랫폼 일반서비스 등 학습자가 직접적으로 학습활동에 영향을 받는 항목에서 인식의 차이가 있었다. 특히 상위집단에서는 결과에서 도출된 항목들에 대해서 그 중요성을 타 집단에 비해 중요하게 인식하고 있는 경향이 있는 것으로 나타났다. 이에 따라 자기주도학습 역량은 학업성취도로 연결되는 중요한 요인이므로, 이에 상위집단이 비중있게 인식하고 있는 항목들을 중심으로 중·하위집단에 대한 교육 방안을 제시하였다. 첫째, MOOC를 지속적으로 수강할 수 있도록 서비스 운영에 대한 상시 모니터링 및 서비스 공지, 체계적인 관리가 이루어지도록 할 필요가 있다. 둘째, 현재 K-MOOC 플랫폼의 대시보드(Dashboard)는 주차별 학습에 대한 진척상황이나, 학습목표 도달을 위한 학습과정, 중요한 학습정보 등을 확인할 수가 없어 대시보드의 기능 개선이 시급하다. 이에 학습자가 수업전반에 대한 안내와 학습과정에 대한 진도를 확인할 수 있는 MOOC 플랫폼 내 최적화된 대시보드 제공이 필요하다. 셋째, MOOC 운영 경험이 있는 전문 수업튜터(Tutor)를 통해 면대면의 기회가 부족한 학습자의 교수실재감을 높이고, 학습자 간의 상호작용 및 공정한 평가가 이루어지도록 지속적으로 확인해 나가며, 학습자들과의 유대감을 높여나가는 것이 중요하다. 본 논문은 기존 기술통계에서의 빈도, 평균, 편차 등에서 파악할 수 없었던 다면적인 데이터를 분석하고, 유용한 정보를 도출하였다는 점에서 차별성을 갖는다. 또한 자기주도학습 역량의 요인분석 결과를 기반으로 학습자들의 집단 분류를 통해 MOOC에 대한 교육적 활용 방안 및 시사점을 제시하였으므로 자기주도학습 역량 강화를 위한 교육 자료로 활용할 수 있으며, 더 나아가 대학에서의 MOOC 교육의 운영 방향 및 학점인정화를 위한 정책 수립에 도움이 될 것이라고 판단된다. In addition to expanding the quantity of K-MOOC courses development, MOOC has been introduced and applied more recently to innovate teaching and learning, including inter-college credit exchange and university credit recognition. Education in the form of e-Learning such as MOOC cannot achieve proper educational effects unless learners take the lead in carrying out their own learning activities. Therefore, in order to operate MOOC education effectively, it is important to analyze the learners' Self-Directed Learning Capabilities accurately and understand the learner's MOOC education recognition and needs based on the analysis. In this paper, the data of 579 undergraduates collected through ‘the Student Demands Survey for the Establishment of MOOC Policy’ conducted by C University were utilized for data-mining analysis. First, two survey tools were developed through analysis, synthesis, and reconstruction prior research with three experts over 15 years in the field to measure the Self-Directed Learning Capabilities of university student for conducting the surveys of MOOC education requirements. Second, the surveys were conducted by using the tools for recognition and needs of MOOC education and Self-Directed Learning Capabilities developed among 579 learners. Third, the Preprocessing was conducted for the overall data in the survey, including multiple responses, missing values, and near zero-variance. Fourth, the Correlation Analysis and Factor Analysis of the Self-Directed Learning Capabilities’ questions were performed. Through Correlation Analysis, variables that are highly relevant between indicators in the questions were identified, and Factors Analysis have led identification of variables and latent factors on variables of the questions. Caiser Rule and Scree Plot were used to consider the appropriate number of latent factors, and the analysis was performed using Principal Componet Analysis and Varimax rotation method. The main variables of the latent factors were derived from variables of Loadings greater than 0.50 and the latent factors derived were named after the main variables. Fifth, based on the identified factors of Self-Directed Learning Capabilities, learners’ data were clustered through k-means Clustering, and the characteristics of the groups were identified. The {Nbclust} of R to explore the optimal number of clusters and to name the clusters according to their characteristics. Finally, differences in the level of MOOC education recognition and needs for classified groups were analyzed, based on the analysis I checked items that should be considered intensively by comparing the level of individual learners' responses in addition to common teaching and learning prescriptions of the groups classified through the simulation of individual learners' data. In this paper, learners from upper, middle and lower groups of Self-Directed Learning Capabilities classified through the research results of this paper differed in recognition of items affected directly by learning activities such as performance, evaluation, interaction, teaching·learning, and general service of MOOC platforms. In particular, the upper group tend to recognize the items more significantly compared with other groups. Since Self-Directed Learning Capabilities is an important factor leading to academic achievement, it was suggested that the medium and lower groups should be educated on the items that the higher groups recognize importantly. First, it is necessary to ensure that service operation is continuously monitored, notified, and systematic management are carried out in order to continuously take MOOC courses. Second, the current dashboard of the K-MOOC platform cannot find out progress on learning process to reach learning goals, and important learning information, making it urgent for the dashboard to improve its function. This requires the provision of optimized dashboards within the MOOC platform, where learners can check the overall guidance and progress in the learning process. Third, it is important to enhance the teaching presence of learners who lack face-to-face opportunities through professional tutors with MOOC experience, continuously check to ensure interaction and fair evaluation between learners, and develop a bond with learners. This paper is differentiated in that it analysed multifaceted data which could not be figured out from frequency, mean and deviation in Descriptive Statistics, and derived useful information. Based on the Factor Analysis results of Self-Directed Capabilities, the educational strategy and implications of MOOC were presented through clustering of learners, so it can be used as educational materials for strengthening Self-Directed Learning Capabilities, and furthermore it will help establish policies for setting operation plan and credit recognition of MOOC education in universities.

딥러닝 기반 비지도학습을 이용한 세포 영상 분석

임선자 부경대학교 2021 국내박사

영상 분할은 세포 영상과 같은 생물학적 유기체의 영상의 분할은 영상의 완전한 분석을 위해 매우 중요하다. 본 연구에서는 영상 분할과 영상 분류 방법을 제안하였다. 순차 신경망 분류기를 이용하여 급성 백혈병 유형 분류를 수행하는 새로운 접근법을 제안하였다. 제안된 방법은 100개의 완전한 혈액도말 이미지를 활용하였다. 90개의 이미지는 훈련이미지에 사용되는 반면 10개의 이미지는 유효성 검사이미지로 보존하였다. 이 실험에서, 정상 및 비정상 세포이미지를 구별하기 위해 GLCM 및 프랙탈 특징이미지가 데이터베이스로부터 추출되었으며, AML 및 ALL 백혈병유형을 구별하기 위해 비정상 세포이미지에서만 5개의 기하학적 특징이 추출되었다. 순차신경망분류성능은 97.7%의 정확도를 나타냈으며 93.5%의 정확도를 보였다. 이러한 실험결과는 자동 백혈병 진단결정 지원시스템을 위한 구성모듈 중 하나로 간주될 것으로 예상된다. 세포분할 정교화의 일환으로 딥러닝 기반 피쳐 생성과 그래프 분할을 사용하여 위상차현미경 검사를 통해 생성된 대장균 박테리아 영상의 분할 방식을 제안하였다. 공간 및 색 강도 정보를 활용하여 수동으로 구축된 형상을 사용하는 기존의 머신러닝 기반 방식과 달리, 본 연구는 세포를 정밀하고 정확하게 표현하기 위해 ‘디노이즈 오토 인코더 형상 추출방법’을 채택하였다. 원본 화소와 영상 그레디언트(gradient)가 결합된 하이브리드 벡터를 먼저 구성하여 픽셀의 내부 의존성, 세포의 모양 및 경계 정보를 학습하는 Deep auto-encoder에 보내진다. 그리고 학습된 형상을 소프트맥스 분류 레이어로 입력하여 지도 학습 과정을 진행한다. 분류기에서 직접 나온 출력물은 최종 직전 단계의 분할 결과를 나타내지만, 일관성을 극대화하기 위해 그래프분할 기반의 정교화 분할을 위한 사전 신호로 사용된다. 제안한 하이브리드 벡터 형상은 세포의 전체 형태와 경계정보를 잘 보존하여 후처리 부담 없이 대부분의 세포 형상들을 잘 포착할 수 있게 한다. 제안된 방법은 일부 포유류 세포인 NIH-3T3와 Hela-S3 원소에서도 시험되었으며 세포의 형상(delineations)보존 측면에서 좋은 결과를 보여주었다. 또한 세포 영상 분할 방법으로 피라미드식 컨볼루션 오토인코더(convolutional autoencoder)를 제안하였다. 두 개의 CAE를 각각 다른 척도(scale)의 다른 크기의 입력을 활용한 CAE를 사용하는 것이다. 다양한 방법들과 비교해 볼 때, DSC는 0.96으로 가장 높게 나왔고, JI 지수는 0.87로 1에 가까워 예상된 결과와 유사하다. 피라미드형 CAE를 사용한 분할은 다른 척도에서 피쳐를 포착할 수 있게 함으로써 의미적 특성과 공간적 특성의 절충을 현저하게 감소시킨다. 제안한 세포 영상 분할방법은 다른 딥러닝 방식과 비교해 볼 때, 후처리 작업이 필요하지 않았다. 세포의 전체적인 모양을 보존하는데 효과적이고 세포의 경계 보존 측면에서 더 우수한 결과를 보여 주었다.

내부자위협탐지를 위한 비지도학습에서의 속성선택 최적화

김태호 고려대학교 정보보호대학원 2018 국내석사

이전의 노력에도 불구하고 조직의 내부자에 의한 자료 유출을 방지하는 것이 점점 어려워지고 있다. 내부자 위협의 탐지 업무 프로세스의 복잡성으로 인해 내부자 행동에 대한 로그 분석의 어려움이 있어 해결하기 어려운 문제 중 하나이다. 이번 연구에서는 비지도 학습 기술을 사용하는 내부자 위협 탐지 모델을 제안했다. 제안 된 모델에서, 우리는 일정한 업무주기와 조직에서 업무 수행자의 역할에 지정되어 있다는 부분에서 통찰력을 가졌다. 그 후 속성선택 프로세스를 적용하여 최적화했습니다. 실험을 통해 제안 된 최적화 모델이 유용함을 확인하였다. Despite of previous effort, it is getting harder to prevent information leakage within the organization. Due to the complexity of business processes, there is a difficult problem of log analysis on insider behavior. Our approach proposed an insider threat detection model using unsupervised learning technology. In the proposed model, we have insight into the constant task cycle and the fixed role of the task performer in the organization. We then applied the feature selection process to optimize it. We confirmed through our experiments that our proposed optimization model is useful.

텍스트 분석과 기계학습 접근법을 활용한 건설업 재해분석

강성식 부경대학교 2021 국내박사

In the case of an occupational accident investigation, information on the accident should be prepared in an occupational accident survey table and reported to government agencies. Since 2001, more than 80,000 cases of industrial accident surveys have been collected every year, and by analyzing them, it is used to identify the current status of domestic accidents and to prepare industrial accident statistics to prevent accidents in the same type and similar industries. In particular, the disaster overview included in the Industrial Accident Survey Table includes the overall process of accidents, and since a large amount of data is accumulated, it is necessary to analyze keywords and analyze them through machine learning. The purpose of this study is to derive keyword-type risk factors related to actual disasters using text analysis and machine learning in the disaster overview, identify the relationship between risk factors, and derive the risks of risk factors. To this end, first, unsupervised learning of high-risk fatal accidents is performed to search for risk factors affecting fatal accidents, and similar risk factors are grouped. Next, through supervised learning of disaster documents, the risk of risk factors is identified by searching for keywords of risk factors that classify non-fatal injury and fatal injury. This study was conducted under two main themes : The first theme is a clustering study through unsupervised learning of the construction industry disaster overview. We collected 2,448 cases of fatal accidents in the construction industry, the industry where fatal accidents occur the most, and structured it into structured data in the form of a document-term matrix through text data preprocessing to enable machine learning. Using self-organizing map(SOM), an unsupervised learning methodology, structured data were clustered among disaster documents with similar characteristics and visualized as a risk factor map. Keyword analysis was performed based on the disaster documents clustered in each cell of the risk factor map, and clustering was additionally performed on adjacent cells to divide into 5 clusters with similar disaster characteristics. Five clusters were clustered into 1. material-oriented disaster, 2. high place moving-oriented disaster, 3. excavator and collapse-oriented disaster, 4. scaffold-oriented disaster, and 5. crane-oriented disaster. Risk factors with high relevance were derived by deriving keywords for risk factors included in each cluster and analyzing the keywords. In addition, dynamic analysis of risk factors was performed through keyword analysis by year according to cluster. The second theme is a classification study of disaster documents through supervised learning of construction industry disaster overview. Among the collected documents, 2,853 fatal disasters and 24,133 non-fatal disaster documents in construction industry were analyzed. To perform supervised learning, text data was preprocessed using TF-IDF, and dimensionality reduction was performed through PCA. Through this, a PC-document matrix was created and then divided into a training set and a test set through k-fold validation, and a model that could classify disaster documents was created using four classification methodologies. The classification model used logistic regression, decision tree, neural network, and support vector machine. Confusion matrix was prepared for each classification model, and the accuracy of each model was evaluated through precision, recall, and accuracy, which are accuracy indicators. Finally, keywords representing risk were derived by analyzing keywords according to the classification model, and risk factors affecting classification were derived by analyzing misclassified disaster documents in a neural network model with the highest accuracy. Misclassification can be divided into two types: Type I error and Type II error. Type I error means a high-risk injury accident, and the document that appears as an actual injury accident is incorrectly predicted as a fatal accident. One error resulted in a document containing risk factors highly related to fatal accidents. Type 2 error means accidental fatal disaster, and it is an error of misclassifying documents that appear to be actual fatal accidents as non-fatal accidents, and documents containing risk factors highly related to non-fatal accidents were derived. The academic contribution was first presented on the usefulness of a text-based disaster summary. Through unsupervised learning of disaster overview, it is possible to more effectively analyze the correlation between risk factors that appear in the process of disaster occurrence, and to understand the risks of risk factors derived from the classification process of disaster documents. Second, a new method that can be used for safety management using machine learning methodology was suggested compared with the previous studies focused on frequency analysis that were analyzed using industrial accident statistics. The practical contribution of this study is first, through the risk factor map created through unsupervised learning, risk factors are extracted and analyzed from text documents that are difficult for humans to interpret individually and visualized as an easy-to-understand map. Second, by identifying risk factors affecting the classification of documents derived through supervised learning, disasters occurring in the field can be analyzed and prevented in detail. It is expected to help safety managers and supervisors effectively manage safety by presenting detailed types and keywords for major factors of disasters and deriving factors related to risk factors that appear in actual sites.

인공지능 기술의 통합보안관제 적용 및 사이버침해대응 절차 개선

고광수 배재대학교 대학원 사이버보안학과 2021 국내석사

In this paper, an improved integrated security control procedure is newly proposed by applying artificial intelligence technology to integrated security control and unifying the existing security control and AI security control response procedures. Current cyber security control is highly dependent on the level of human ability. In other words, it is practically unreasonable to analyze various logs generated by people from different types of equipment and analyze and process all of the security events that are rapidly increasing. And, the signature-based security equipment that detects by matching a string and a pattern has insufficient functions to accurately detect advanced and advanced cyberattacks such as APT (Advanced Persistent Threat). As one way to solve these pending problems, the artificial intelligence technology of supervised and unsupervised learning is applied to the detection and analysis of cyber attacks, and through this, the analysis of logs and events that occur innumerable times is automated and intelligent through this. The level of response has been raised in the overall aspect by making it possible to predict and block the continuous occurrence of cyberattacks. And after applying AI security control technology, an improved integrated security control service model was newly proposed by integrating and solving the problem of overlapping detection of AI and SIEM into a unified breach response process(procedure). 본 논문에서는 통합보안관제에 인공지능 기술을 적용하고, 기존의 보안관제와 인공지능 보안관제 대응 절차를 일원화한 개선된 통합보안관제 절차 새롭게 제안하였다. 현재의 사이버보안관제는 사람의 능력 수준에 의존도가 매우 높다. 즉, 사람에 의해 여러 이기종 장비에서 발생하는 다양한 로그를 분석하고, 급증 하는 보안이벤트를 모두 분석하여 처리한다는 것은 사실상 무리가 있다. 그리고 문자열과 패턴의 일치로 탐지하는 시그니처 기반의 보안장비는 APT(Advanced Persistent Threat)와 같은 고도화, 지능화된 사이버공격을 정확히 탐지하기에 기능상 부족한 면이 있다. 이러한 현안 문제들을 해결하기 위한 하나의 방안으로 인공지능 기술인 지도․비지도학습의 기술을 사이버공격 탐지 및 분석에 적용하고, 이를 통해 수 없이 많이 발생하는 로그와 이벤트의 분석을 자동화 하고, 이를 통해 지능화된 사이버 공격이 지속적으로 발생하는 것을 예측․차단할 수 있도록 하여 전반적인 측면에서 대응수준을 높였다. 그리고 인공지능 보안관제기술을 적용한 후 AI와 SIEM의 중복 탐지 문제점을 일원화 된 침해대응 프로세스(절차)로 통합하여 해결함으로써 개선된 통합보안관제 서비스 모델을 새롭게 제안하였다.