사용자 건강 상태알림 서비스의 상황인지를 위한 기계학습 모델의 학습 데이터 생성 방법

문종혁,최종선,최재영 한국정보처리학회 2020 정보처리학회논문지. 소프트웨어 및 데이터 공학 Vol.9 No.1

In the context-aware system, rule-based AI technology has been used in the abstraction process for getting context information. However, the rules are complicated by the diversification of user requirements for the service and also data usage is increased. Therefore, there are some technical limitations to maintain rule-based models and to process unstructured data. To overcome these limitations, many studies have applied machine learning techniques to Context-aware systems. In order to utilize this machine learning-based model in the context-aware system, a management process of periodically injecting training data is required. In the previous study on the machine learning based context awareness system, a series of management processes such as the generation and provision of learning data for operating several machine learning models were considered, but the method was limited to the applied system. In this paper, we propose a training data generating method of a machine learning model to extend the machine learning based context-aware system. The proposed method define the training data generating model that can reflect the requirements of the machine learning models and generate the training data for each machine learning model. In the experiment, the training data generating model is defined based on the training data generating schema of the cardiac status analysis model for older in health status notification service, and the training data is generated by applying the model defined in the real environment of the software. In addition, it shows the process of comparing the accuracy by learning the training data generated in the machine learning model, and applied to verify the validity of the generated learning data. 다양한 분야에서 활용되는 상황인지 시스템은 상황정보를 획득하기 위한 추상화 과정에서 규칙 기반의 인공기능 기술이 기존에 사용되었다. 그러나 서비스에 대한 사용자의 요구사항이 다양해지고 사용되는 데이터의 증대로 규칙이 복잡해지면서 규칙 기반 모델의 유지보수와 비정형 데이터를 처리하는데 어려움이 있다. 이러한 한계점을 극복하기 위해 많은 연구들에서는 상황인지 시스템에 기계학습 기술을 적용하였으며, 이러한 기계학습 기반의 모델을 상황인지 시스템에 사용하기 위해서는 주기적으로 학습 데이터를 제공해야 한다. 이에 기계학습 기반 상황인지 시스템에 대한 선행연구에서는 여러 개의 기계학습 모델을 적용하기 위한 학습 데이터 생성, 제공 등의 과정을 보였으나 제한된 종류의 기계학습 모델만을 적용 가능하여 확장성이 고려되어야 한다. 본 논문은 기계학습 기반의 상황인지 시스템의 확장성을 고려한 기계학습 모델의 학습 데이터 생성 방법을 제안한다. 제안하는 방법은 시스템의 확장성을 고려하여 기계학습 모델의 요구사항을 반영할 수 있는 학습 데이터 생성 모델을 정의하고 학습 데이터 생성 모듈을 바탕으로 각각의 기계학습 모델의 학습 데이터를 생성하는 것이다. 시스템의 확장성의 검증을 위해 실험에서는 노인의 건강 상태 알림 서비스를 위한 심박상태 분석 모델을 대상으로 한 학습데이터 생성 스키마를 기반으로 학습데이터 생성 모델을 정의하고 실환경에서 정의된 모델을 S/W에 적용하여 학습데이터를 생성한다. 또한 생성된 학습데이터의 유효성을 검증하기 위해 사용되는 기계학습 모델에 생성한 학습데이터를 학습시켜 정확도를 비교하는 과정을 보인다.

폐기물매립지에서의 온실가스 발생량 예측 모델 및 변수 산정방법 개발

박진규(Park, Jin-Kyu),강정희(Kang, Jeong-Hee),반종기(Ban, Jong-ki),이남훈(Lee, Nam-Hoon) 대한토목학회 2012 대한토목학회논문집 B Vol.32 No.6B

본 연구의 목적은 폐기물매립지에서의 온실가스 발생량 예측모델 및 모델에 적용된 변수들의 산정방법을 개발하는 것이다. 본 연구에서는 온실가스 발생예측 모델 중 1차 반응모델의 변수인 메탄잠재발생량과 메탄발생속도상수를 평가하기 위하여 수정 Gompertz 식과 Logistic 식을 미분한 2개의 식을 적용하였다. 변수들은 실제 폐기물매립지에서의 매립가스 발생량에 대한 실측값과 예측값과의 통계학적 비교를 통해 산정하였다. 매립가스 발생량에 대한 실측값과 수정 Gompertz 식 및 Logistic 식을 미분하여 나타낸 2개의 식을 이용한 매립가스 발생량 예측값에 대한 회귀분석결과 결정계수는 각각 0.92와 0.94로 나타나, 폐기물매립지에서의 매립가스 발생량에 대한 측정값이 있을 경우 회귀분석을 통해 변수를 산정할 수 있는 것으로 나타났다. 또한 실측값이 없는 폐기물매립지에서의 온실가스 발생량을 예측할 수 있도록 하기 위하여 수정 Gompertz 식과 Logistic 식을 미분한 2개의 식을 기초로 하여 예측모델을 개발하였으며, 이 모델들의 정확성을 평가하기 위하여 Qcs(실측값):Q(예측값)의 비에 대한 빈도분포를 평가한 결과 LandGEM 모델보다 높은 정확성을 나타내었다. 따라서 본 연구에서 개발한 모델들은 폐기물매립지에서의 온실가스 발생량 예측에 적합한 것으로 사료된다. The objective of this research is to develop greenhouse gas generation models and estimation method of their parameters for solid waste landfills. Two models obtained by differentiating the Modified Gompertz and Logistic models were employed to evaluate two parameters of a first-order decay model, methane generation potential (L0) and methane generation rate constant (k). The parameters were determined by the statistical comparison of predicted gas generation rate data using the two models and actual landfill gas collection data. The values of r-square obtained from regression analysis between two data showed that one model by differentiating the Modified Gompetz was 0.92 and the other model by differentiating the Logistic was 0.94. From this result, the estimation methods showed that L0 and k values can be determined by regression analysis if landfill gas collection data are available. Also, new models based on two models obtained by differentiating the Modified Gompertz and Logistic models were developed to predict greenhouse gas generation from solid waste landfills that actual landfill generation data could not be available. They showed better prediction than LandGEM model. Frequency distribution of the ratio of Qcs (LFG collection system) to Q (prediction value) was used to evaluate the accuracy of the models. The new models showed higher accuracy than LandGEM model. Thus, it is concluded that the models developed in this research are suitable for the prediction of greenhouse gas generation from solid waste landfills.

A study for production simulation model generation system based on data model at a shipyard

백명기,이동건,신종계,우종훈 대한조선학회 2016 International Journal of Naval Architecture and Oc Vol.8 No.5

Simulation technology is a type of shipbuilding product lifecycle management solution used to support production planning or decisionmaking. Normally, most shipbuilding processes are consisted of job shop production, and the modeling and simulation require professional skills and experience on shipbuilding. For these reasons, many shipbuilding companies have difficulties adapting simulation systems, regardless of the necessity for the technology. In this paper, the data model for shipyard production simulation model generation was defined by analyzing the iterative simulation modeling procedure. The shipyard production simulation data model defined in this study contains the information necessary for the conventional simulation modeling procedure and can serve as a basis for simulation model generation. The efficacy of the developed system was validated by applying it to the simulation model generation of the panel block production line. By implementing the initial simulation model generation process, which was performed in the past with a simulation modeler, the proposed system substantially reduced the modeling time. In addition, by reducing the difficulties posed by different modeler-dependent generation methods, the proposed system makes the standardization of the simulation model quality possible.

내장형 시스템을 위한 사용자 인터페이스 모델 기반 모바일 웹앱 자동 생성 도구

최기봉(Kibong Choi),김세화(Saehwa Kim) 한국정보과학회 2017 정보과학회 컴퓨팅의 실제 논문지 Vol.23 No.1

본 논문에서는 사용자 인터페이스(UI) 모델로부터 모바일 웹앱을 자동으로 생성하는 도구를 제시한다. UI 모델은 UI 중심적인 내장형 시스템을 UI 모델링을 통해 효율적으로 개발하기 위한 방법인 PELUM(Pattern and Event based Logical UI Modeling)을 기반으로 한다. 본 논문에서 제시하는 도구는 모델 편집기와 코드 생성기로 이루어져 있다. 모델 편집기는 웹 상에서 논리적 UI 모델(LUM)과 프로그래밍 인터페이스 모델(PIM)을 모델링하는 환경을 제공한다. 코드 생성기는 LUM을 기반으로 앱의 화면구성 및 이벤트 동작을 설정하고 PIM을 기반으로 로컬 데이터베이스 스키마를 자동으로 구성하여 모바일 웹앱을 생성한다. 또한 PIM에서 외부 혹은 open API 주소를 입력 받아 매쉬업 웹앱을 생성하는 기능도 제공한다. 생성된 모바일 웹앱은 사용자가 손쉽게 최적화할 수 있도록 Model-View-Controller(MVC) 아키텍처로 구현하였다. 이를 통해 사용자는 웹 상에서 UI를 모델링하여 여러 기기에서 동작 가능한 모바일 웹앱을 생성할 수 있다. This paper presents a tool that automatically generates mobile web applications from user interface (UI) models which are based on PELUM (Pattern and Event based Logical User Interface Modeling). PELUM is a method for the effective development of UI-centered embedded systems via UI modeling. The proposed tool consists of a model editor and a code generator. The former provides an environment for modeling a Logical UI Model (LUM) and a Programming Interface Model (PIM) on the web. On the other hand, the code generator sets the screen configuration and events’ behavior, according to the LUM, synthesizing a local database schema according to the PIM, and then generates an executable mobile web app. It also can produce mashup web apps by receiving an open API address via the PIM. The generated mobile web apps follow the Model-View-Controller (MVC) architecture in order for users to easily customize them. The proposed tool enables them to generate mobile web apps that can be executed on various devices by modeling logical UIs on the web.

A study for production simulation model generation system based on data model at a shipyard

Back, Myung-Gi,Lee, Dong-Kun,Shin, Jong-Gye,Woo, Jong-Hoon The Society of Naval Architects of Korea 2016 International Journal of Naval Architecture and Oc Vol.8 No.5

Simulation technology is a type of shipbuilding product lifecycle management solution used to support production planning or decision-making. Normally, most shipbuilding processes are consisted of job shop production, and the modeling and simulation require professional skills and experience on shipbuilding. For these reasons, many shipbuilding companies have difficulties adapting simulation systems, regardless of the necessity for the technology. In this paper, the data model for shipyard production simulation model generation was defined by analyzing the iterative simulation modeling procedure. The shipyard production simulation data model defined in this study contains the information necessary for the conventional simulation modeling procedure and can serve as a basis for simulation model generation. The efficacy of the developed system was validated by applying it to the simulation model generation of the panel block production line. By implementing the initial simulation model generation process, which was performed in the past with a simulation modeler, the proposed system substantially reduced the modeling time. In addition, by reducing the difficulties posed by different modeler-dependent generation methods, the proposed system makes the standardization of the simulation model quality possible.

시뮬레이션 격자구조 제작을 위한 Mesh 기반 지질솔리드모델의 Gmsh, COMSOL 변환 프로그램 개발

이창원,조성준 한국지구과학회 2017 한국지구과학회지 Vol.38 No.1

FEM 수치해석을 위한 사면체격자 생성을 위해서는 물체의 볼륨정보를 표현할 수 있는 Boundary Representation (B-Rep) 모델이 필요하다. 공학분야에서는 파라메트릭 솔리드 모델링(Parametric Solid Modeling) 방법을 사용하여 BRep 모델을 정의한다. 반면 지질모델링은 메쉬 기반의 불연속(discrete) 모델링 방법을 사용하는데 이를 지질솔리드모델(Sealed Geological Model)이라 부르며 지층, 단층, 관입암, 모델 경계면과 같은 지질학적 인터페이스들을 이용해 지질도메인을 정의한다. 공학분야의 파라메트릭 모델링과 불연속 모델링 방식의 자료구조의 차이로 인해 불연속 B-Rep 모델은 공학분야에서 사용하는 다양한 오픈소스, 상용 메쉬제작 소프트웨어와 쉽게 호환되지 않는다. 이 논문에서는 공학용 메쉬 제작 소프트웨어와의 호환성을 가지도록 지질솔리드모델을 대표적인 오픈소스인 Gmsh와 상용 FEM 해석 소프트웨어인 COMSOL로 변환하는 프로그램을 제작하였다. 지질모델링 소프트웨어를 통해 제작한 복잡한 지질구조모델을 사용자 편의성을 갖춘 다수의 상용 소프트웨어서 쉽게 활용할 수 있어 지열, 암석역학 등 다양한 지구과학 시뮬레이션 연구에 도움이 될 것으로 생각된다. To build tetrahedra mesh for FEM numerical analysis, Boundary Representation (B-Rep) model is required, which provides the efficient volume description of an object. In engineering, the parametric solid modeling method is used for building B-Rep model. However, a geological modeling generally adopts discrete modeling based on the triangulated surface, called a Sealed Geological Model, which defines geological domain by using geological interfaces such as horizons, faults, intrusives and modeling boundaries. Discrete B-Rep model is incompatible with mesh generation softwares in engineering because of discrepancies between discrete and parametric technique. In this research we have developed a converting program from Sealed Geological Model to Gmsh and COMSOL software. The developed program can convert complex geological model built by geomodeling software to user-friendly FEM software and it can be applied to geoscience simulation such as geothermal, mechanical rock simulation etc.

한국어 음소 단위 LSTM 언어모델을 이용한 문장 생성

안성만(SungMahn Ahn),정여진(Yeojin Chung),이재준(Jaejoon Lee),양지헌(Jiheon Yang) 한국지능정보시스템학회 2017 지능정보연구 Vol.23 No.2

Language models were originally developed for speech recognition and language processing. Using a set of example sentences, a language model predicts the next word or character based on sequential input data. N-gram models have been widely used but this model cannot model the correlation between the input units efficiently since it is a probabilistic model which are based on the frequency of each unit in the training set. Recently, as the deep learning algorithm has been developed, a recurrent neural network (RNN) model and a long short-term memory (LSTM) model have been widely used for the neural language model (Ahn, 2016; Kim et al., 2016; Lee et al., 2016). These models can reflect dependency between the objects that are entered sequentially into the model (Gers and Schmidhuber, 2001; Mikolov et al., 2010; Sundermeyer et al., 2012). In order to learning the neural language model, texts need to be decomposed into words or morphemes. Since, however, a training set of sentences includes a huge number of words or morphemes in general, the size of dictionary is very large and so it increases model complexity. In addition, word-level or morpheme-level models are able to generate vocabularies only which are contained in the training set. Furthermore, with highly morphological languages such as Turkish, Hungarian, Russian, Finnish or Korean, morpheme analyzers have more chance to cause errors in decomposition process (Lankinen et al., 2016). Therefore, this paper proposes a phoneme-level language model for Korean language based on LSTM models. A phoneme such as a vowel or a consonant is the smallest unit that comprises Korean texts. We construct the language model using three or four LSTM layers. Each model was trained using Stochastic Gradient Algorithm and more advanced optimization algorithms such as Adagrad, RMSprop, Adadelta, Adam, Adamax, and Nadam. Simulation study was done with Old Testament texts using a deep learning package Keras based the Theano. After pre-processing the texts, the dataset included 74 of unique characters including vowels, consonants, and punctuation marks. Then we constructed an input vector with 20 consecutive characters and an output with a following 21st character. Finally, total 1,023,411 sets of input-output vectors were included in the dataset and we divided them into training, validation, testsets with proportion 70:15:15. All the simulation were conducted on a system equipped with an Intel Xeon CPU (16 cores) and a NVIDIA GeForce GTX 1080 GPU. We compared the loss function evaluated for the validation set, the perplexity evaluated for the test set, and the time to be taken for training each model. As a result, all the optimization algorithms but the stochastic gradient algorithm showed similar validation loss and perplexity, which are clearly superior to those of the stochastic gradient algorithm. The stochastic gradient algorithm took the longest time to be trained for both 3- and 4-LSTM models. On average, the 4-LSTM layer model took 69% longer training time than the 3-LSTM layer model. However, the validation loss and perplexity were not improved significantly or became even worse for specific conditions. On the other hand, when comparing the automatically generated sentences, the 4-LSTM layer model tended to generate the sentences which are closer to the natural language than the 3-LSTM model. Although there were slight differences in the completeness of the generated sentences between the models, the sentence generation performance was quite satisfactory in any simulation conditions: they generated only legitimate Korean letters and the use of postposition and the conjugation of verbs were almost perfect in the sense of grammar. The results of this study are expected to be widely used for the processing of Korean language in the field of language processing and speech recognition, which are the basis of artificial intelligence systems.

시각화 오토인코더를 사용한 학습된 심층신경망의 잠재공간 조작 시스템

고영민,이은주,민정익,고선우 한국EA학회 2023 정보기술아키텍처연구 Vol.20 No.4

최근에 생성모델, 특히 ChatGPT와 DALLE-3과 같은 생성모델들은 사회에 큰 영향을 미치며, 이러한 모델들의 잠재공간을 정교하게 조작하고 이해하는 기술이 중요해지고 있다. 본 논문에서는 학 습된 생성모델의 잠재공간을 시각화하여 조작하는 새로운 방법인 “시각화 오토인코더” 방법을 제안한 다. 이 방법은 생성모델의 잠재벡터를 입력으로 하여 3차원 이하의 시각화 가능한 차원으로 축소하여 조작하는 것을 목표로 한다. 본 연구에서는 생성모델의 잠재공간 조작을 “관심 있는 샘플 생성”과 “샘 플 간 변환 과정 시각화” 두 가지로 정의하고, 이를 위해 필요한 수학적 성질 “일대일 대응”과 “locally smoothness”를 가정한 심층신경망 기반의 생성모델로 제한한다. MNIST 데이터셋을 사용하여 실험 한 결과 이러한 성질을 만족하는 심층신경망 모델에 대해 제안된 시각화 오토인코더 방법으로 관심 있는 샘플을 생성, 변환 과정을 시각화할 수 있음을 확인하였다. Recent generative models, especially generative models such as ChatGPT and DALLE- 3, have had a great impact on society, and technology to intricately manipulate and understand the latent space of these models is becoming important. In this paper, we propose the “Visualization Autoencoder” method, a new method that visualizes and manipulates the latent space of the learned generative model. This method aims to manipulate the latent vectors of the generative model by reducing them to three or less dimensions that can be visualized. In this study, the latent space manipulation of the generative model is defined as two types: “generating samples of interest” and “visualizing the transformation process between samples”. For this purpose, we limit our-selves to a deep neural network-based generative model that assumes the necessary mathematical properties “one-to-one correspondence” and “locally smoothness”. As a result of experiments using the MNIST dataset, we confirmed that the proposed visualization autoencoder method for a deep neural network model that satisfies these properties can generate samples of interest and visualize the conversion process.

데이터 없이 사전학습된 태스크 모델 기반 생성형 모델의 지속학습

신현준,최동완 한국차세대컴퓨팅학회 2023 한국차세대컴퓨팅학회 논문지 Vol.19 No.4

Research on continual learning to prevent catastrophic forgetting problem of deep learning has recently expanded from classification models to generative models. However, the continual learning of generative models relies on task-specific input data, which poses constraints on pivacy issues and limited memory resources in the real world. In other words, considering the black-box property of neural networks and their relatively small memory size, there is a need to replace inaccessible data. In this paper, we propose the first model, called Data-Free Continual Learning of Generative Network (DF-CLG), which receives pre-trained inference model as input instead of directly accessing task-specific data. Specifically, the generative model is trained to synthesize the data used in the training by constraining the statistics of batch normalization layers stored in the pre-trained inference network. Subsequently, by applying representative continual learning methods, namely regularization-based and rehearsal-based approaches, it is demonstrated that the proposed generative model can alleviate catastrophic forgetting. It is worth noting that regularization-based methods, which are known for their relatively poor performance in continual learning, show comparable or superior performance to rehearsal-based methods in the proposed generative model. 딥러닝의 치명적 망각 현상(Catastrophic forgetting)을 방지하기 위한 지속 학습 연구는 최근 분류모델에서 생성형 모델로 확장되고 있다. 하지만 생성형 모델의 지속 학습은 태스크별 입력 데이터에 의존하며, 이는 현실 세계에서 프라이버시 문제와 한정된 메모리 자원에 따른 제약이 존재한다. 즉, 신경망의 블랙박스 특성과 상대적으로 작은 메모리 크기를 고려하여, 접근 불가능한 데이터를 대체할 필요가 있다. 이에 본 논문에서는 태스크별 데이터에 직접 접근하는 대신, 해당 데이터를 사전 학습한 추론형 신경망만을 입력으로 받아 생성형 모델을 지속 학습하는 모델(Data-Free Continual Learning of Generative Network, DF-CLG)을 처음으로 제안한다. 구체적으로, 사전 학습된 추론형 신경망에 저장된 배치 정규화 계층의 통곗값을 제약하여 학습에 사용된 데이터를 역으로 합성하는 생성형 신경망을 학습한다. 이후, 대표적인 지속 학습 기법인 규제 기반 방법과 리허설 기반 방법을 적용하여, 제안된 생성형 신경망의 치명적 망각 현상이 완화될 수 있음을 보인다. 주목할 점은, 지속 학습에서 상대적으로 저조한 성능으로 알려진 규제 기반 방법이 제안된 생성형 모델에서 리허설 기반 방법에 준하거나 우수한 성능을 보인다는 것이다.

SVR을 사용한 데이터 학습 기반의 풍속 예측 모델 생성

서기성 한국지능시스템학회 2017 한국지능시스템학회논문지 Vol.27 No.6

Developing numerical models for weather prediction is a very difficult and expensive task. The approach to compensate numerical prediction models is mainly occupied, and the generation of daa tbased prediction models has hardly been tried. We have attemtepd to generate a data based prediction model of wind speed using SVR technique for long term data. Using the UM and KLAPS data from 2007 to 2013 year for Seoul, Busan, and Jeju Island, the prediction model was generated and the performance was evaluated. As a result, the results approximated to the compenation method were obtained. On the other hand, fundamental errors are included by using the generated values of the numerical prediction model instead of actual measurement data for predictor variables constituting the model. In order to solve this problem, we constructed a model using data with errors less than a certain level, which resulted in improved outcomess 기상 예측에 대한 수치 예보 모델을 개발하는 것은 매우 어렵고 비용이 많이 드는 작업이므로, 통계적 데이터 기반의 모델생성이 대안이 될 수 있다. 그러나 지금까지는 주로 수치 예보 모델을 보정하는 접근법이 주를 차지하고 있고, 데이터 기반의예보 모델 생성은 거의 시도되지 않고 있다. 본 논문에서는 장기간의 데이터에 대해서 SVR 기법을 사용하여 풍속에 대한데이터 기반 예보 모델을 생성한다. 서울, 부산, 제주도 지역에 대해서 2007~2013년도의 UM과 KLAPS 데이터를 사용하여모델을 생성하고 보정방식과 성능을 비교하여 근접한 성능 결과를 얻었다. 한편 모델을 구성하는 기본 인자들의 데이터가실측치가 아닌 수치예보모델에 의한 생성값을 사용함으로써 원천적인 오차를 포함하고 있다. 이 문제를 해결하기 위해서오차가 일정 수준 이하의 수치예보모델 데이터를 사용하여 모델을 구성하고 이를 통해 향상된 결과를 얻었다