두 이종 혼합 모형에서의 수정된 경사 하강법

문상준 서울시립대학교 2018 국내석사

온라인 학습은 자료가 실시간으로 혹은 배치 단위로 축적되는 상황에서 주어진 목적함수의 해를 계산하는 방법을 말한다. 온라인 학습 알고리즘 중 배치를 이용한 확률적 경사 하강법 (stochastic gradient decent method)은 가장 많이 사용되는 방법 중 하나다. 이 방법은 구현이 쉬울 뿐만 아니라 자료가 동질적인 분포를 따른다는 가정 하에서 그 해의 성질이 잘 연구되어 있다. 하지만 자료에 특이값이 있거나 임의의 배치가 확률적으로 이질적 성질을 가질 때, 확률적 경사 하강법이 주는 해는 큰 편이를 가질 수 있다. 본 연구에서는 이러한 비정상 배치 (abnormal batch)가 있는 자료 하에서 효과적으로 온라인 학습을 수행할 수 있는 수정된 경사 하강 알고리즘 (modified gradient decent algorithm)을 제안하고, 그 알고리즘을 통해 계산된 해의 수렴성을 밝혔다. 뿐만 아니라 간단한 모의 실험을 통해 제안한 방법의 이론적 성질을 실증하였다. The online learning is a process of obtaining the solution for a given objective function where the data is accumulated in real time or in batch units. The stochastic gradient descent method is one of the most widely used for the online learning. This method is not only easy to implement, but also has good properties of the solution under the assumption that the generating model of data is homogeneous. However, the stochastic gradient method could severely mislead the online-learning when the homogeneity is actually violated. We assume that there are two heterogeneous generating models in the observation, and propose the a new stochastic gradient method that mitigate the problem of the heterogeneous models. We introduce a robust mini-batch optimization method using statistical tests and investigate the convergence radius of the solution in the proposed method. Moreover, the theoretical results are confirmed by the numerical simulations.

<인공지능 수학> 교육과정 재구조화 방안에 대한 연구 : 딥러닝의 수학적 구조를 중심으로

한서현 서울대학교 대학원 2022 국내석사

본 연구의 목적은 새로운 인공지능 관련 수학 교과의 개발을 위해 딥러닝의 수학적 구조를 중심으로 <인공지능 수학> 교육과정을 재구조화하는 방안을 제안하는 것이다. 이를 위해 체계적인 문헌 분석과 고찰을 주된 연구 방법으로 삼고, 먼저 인공지능의 역사, 머신러닝과 딥러닝의 의미, 인공신경망의 역사를 중심으로 인공지능 이론의 기본적인 사항들에 대하여 정리하였다. 다음으로 본 연구의 핵심 이론적 배경인 딥러닝의 수학적 구조를 확립하기 위해 ‘McCulloch-Pitts 뉴런’으로부터 ‘다층퍼셉트론’까지 체계적으로 연구하여 인공신경망의 수학적 구조를 정립하였다. 또한 인공신경망 학습의 수학적 원리인 경사하강법과 확률적 경사하강법을 분석하였다. 이러한 이론적 배경을 바탕으로 <인공지능 수학>의 교육과정과 교과서에 대한 분석을 각각 실시하였고, 교육과정 분석 결과와 교과서 분석 결과를 종합하여 다음과 같은 교육과정 재구조화 방안을 본 연구의 결론으로 제시하였다. 첫째, 인공신경망이 수학적으로 갖는 의미를 분명하게 이해할 수 있도록 ‘다변수함수’ 개념을 도입해야 한다. 둘째, ‘선형대수’가 인공신경망을 수학적으로 다루는 중요한 수단임을 이해할 수 있도록 ‘벡터’와 ‘행렬’에 대한 기본적인 학습 요소를 적절히 다루어야 하며, 큰 차원의 데이터를 벡터 또는 행렬로 나타내어보고 내적이나 행렬곱 등과 같은 연산을 해보는 경험을 충분히 제공해야 한다. 셋째, ‘확률적 경사하강법’이 현대 딥러닝을 위한 주요 최적화 알고리즘임을 알 수 있도록 확률적 경사하강법을 도입하고, 이를 이해하기 위해 ‘확률분포’ 위주로 ‘확률과 통계’에 대한 지식을 적절히 제시해야 한다. 본 연구는 인공지능 인재 양성이 화두인 사회적 배경 하에 학교수학에서 딥러닝의 수학적 원리를 가르치기 위한 첫 시도라는 점에서 그 의의가 있다. 특히 현대 인공지능의 핵심 기술 중 하나인 딥러닝은 그 내용이 매우 전문적임에도 불구하고 본 연구는 인공신경망의 기초가 되는 퍼셉트론의 수학적 구조를 체계적으로 정립하였으며, 이를 학교수학에서 다룰 수 있는 가능성을 확인하였다는 점에서 의미 있는 성과를 달성했다고 생각한다. 따라서 향후 수학과 교육과정에서 새로운 인공지능 관련 수학 교과를 개발하는 데에 본 연구가 하나의 참고 자료로서 기능할 수 있을 것으로 기대한다. This study proposes how to restructure the <Artificial Intelligence Mathematics> curriculum focusing on the mathematical structure of deep learning for the development of new artificial intelligence-related math subjects. The research systematically conducted literature review as a main research method and analyzed basic issues of artificial intelligence theory, focusing on the history of artificial intelligence, the meaning of machine learning and deep learning, and the history of artificial neural networks. To establish the mathematical structure of deep learning, a key theoretical background of this study, the research systematically reviewed theories from ‘McCulloch-Pitts neuron’ to ‘multilayer perceptron’ to establish the mathematical structure of artificial neural networks. In addition, the research analyzed the mathematical principle of artificial neural networks learning, the gradient descent method and the stochastic gradient descent method. Based on this theoretical background, the curriculum and textbooks of <Artificial Intelligence Mathematics> were analyzed, and the following curriculum restructuring guideline was proposed as the conclusion through a comprehensive synthesis of the curriculum and textbook analysis results. First, the concept of ‘multivariate function’ should be introduced so that the mathematical meaning of artificial neural networks can be clearly understood. Second, basic learning elements for ‘vector’ and ‘matrix’ should be addressed appropriately to understand that ‘linear algebra’ is an important mathematical means of dealing with artificial neural networks, and the experience of representing high-dimensional data as vectors or matrices and performing operations such as inner product or matrix product should be sufficiently provided. Third, it is necessary to introduce a ‘stochastic gradient descent method’ so that students take it as a main optimization algorithm for modern deep learning, and properly present knowledge of ‘probability and statistics’, based on a ‘probability distribution’. This study is meaningful in that it is an first attempt to teach the mathematical principles of deep learning in school mathematics under the social background where fostering artificial intelligence talent is a heated topic. In particular, although deep learning, one of the core technologies of modern artificial intelligence, is known to be very professional, this study systematically established the mathematical structure of perceptron, which is the basis of artificial neural networks, and explored the possibility of applying it in school mathematics. Therefore, this study can contribute to serving as reference in developing new artificial intelligence-related math subjects in the future mathematics curriculum.

3차원 코딩환경을 통한 이변수 함수 도입 연구 : 이변수 함수의 그래프와 최대·최소 문제를 중심으로

강한별 서울대학교 대학원 2021 국내석사

여러 수학 및 과학 분야에서 관심 있는 특정 주제에 대해 함수와 그 표현을 사용하여 다중 관계로 표현되는 다양한 아이디어들의 보급과 그 중요성을 감안할 때, 학생들이 함수에 대해 어떻게 사고하고 이해하는지, 특별히 둘 이상의 변수에 대한 함수와 그 그래프를 어떻게 해석하고 표현하는지 이해하는 것은 매우 중요하다. 그러나 대부분의 연구들은 일변수에 대한 이해 혹은 어려움에 중점을 두어왔으며, 수학적 개념에 대한 다양한 표현과 이들의 유능한 사용을 위한 수학적 시각화의 중요성, 특히 수학적 이해에서 그래프의 중요성에도 불구하고 대수적 표현과 기하적인 그래픽 표현 간의 연결 및 시각화에 관한 연구는 부족한 실정이다. 또한 대부분의 이변수 관련 연구들은 에서의 시각화 전략 및 표현을 다루고 있었으며 에서의 이변수 함수와 그래프의 도입 및 시각화에 관한 연구는 거의 보고되지 않았다. 이에 본 연구는 주요 선행연구를 개관함으로써 기존의 관련 선행연구들이 이변수 함수의 도입 및 이해를 위해 공통적으로 시각적(graphical/ visual), 분석적(analytical/algebraic), 언어적 표현 간의 매개와 해석의 중요성을 강조하고 있음에 주목하고, 교육부가 제3차 수학교육 종합계획 등에서 정보처리능력과 공학적 도구의 활용을 통한 수학 탐구활동을 명시적으로 강조하고 있는 흐름에 발맞추어, 이변수 함수와 그 그래프를 Papert의 구성주의(Constructionism) 교육철학과 그를 기반으로 한 3차원 좌표계 코딩환경 코딩환경을 통해 도입하고 시각화 및 탐구 전략을 제시한다. 구체적으로 본 연구는 이변수 함수와 그 그래프를 3차원 공간상의 직선 및 곡선들의 집합(sets of lines, rays, or curves)으로 다루는 전략과 학습자의 학습에 유의미한 방향으로 조건을 추가하면서 탐구하거나 global view와 local view를 모두 고려하는 시각화 및 탐구 방법을 제시한다. 3차원 좌표계 기반 코딩환경을 통한 시각화 및 탐구 전략은 기존에 상에서 이변수 함수를 지도함에 있어 발생하는 어려움과 문제점들에 대한 보완책이 될 수 있으며, 대수적 접근 및 표현과 3차원 공간상의 개체(graphical objects) 사이의 유연한 연결에 도움이 될 수 있다. 이변수 함수와 그래프에 대한 탐구와 연계하여 본 연구는 이변수 함수의 최대·최소 문제의 탐구를 위해 진화전략(Evolution Strategy) 기반의 경사하강법(gradient descent)을 수학적 탐구 도구로서 도입한다. 구체적으로 본 연구는 터틀크래프트를 통한 3차원 공간에서의 시각화 전략을 통해 이변수 함수와 그래프를 global view에서 이해하고, 진화전략 기반의 경사하강법을 활용한 탐구를 통해 local view에서 이변수 함수에 대한 사고와 추측에 대해 확인해보며 global view과 local view를 상호보완적으로 고려하고 연계하며 탐구하는 것을 도모한다. 물론 중학교 차원에서는 편미분 등을 통한 탐구는 불가능하였지만 학생들은 global view과 local view를 종합하여 대칭성이나 극대·극소와 같은 이변수 함수의 전체적인 대략적인 구조를 파악할 수 있었고, 최대·최소 문제를 탐구하는 과정에서 실제 인공지능의 주요한 문제들이나 진화전략 및 경사하강법의 작동원리와 한계점 등에 대해 탐구할 수 있었다. 특히 학생들은 최적화 경로를 분석함으로써 다시 이를 통해 이변수 함수의 그래프의 구조나 경사(gradient) 등에 대한 이해를 보완하고 발전시킬 수 있다. 또한 선행연구를 통하여 설계된 최대·최소 탐구환경을 통하여 진화전략 기반의 경사하강법과 미분 기반의 경사하강법을 비교해 볼 수 있으며, 그밖에도 스토리코딩을 통해 표본의 분포나 random, learning rate, 표준편차, 표준화(standardization) 등에 대해 탐구해볼 수 있다. 본 연구는 선행연구에서 다루어진 이변수 함수의 도입 전략들을 컴퓨터와 함께 에서 다루어보고 인공지능 수학 교과목과 관련하여 경사하강법의 탐구와 연계함으로써, 학생들의 다변수 함수를 다루는 역량을 강화하는 데에 도움이 되고 더불어 4차 산업혁명 시대에 필요한 수학적 역량과 컴퓨팅 사고력(Computational Thinking) 역량을 기를 수는 있는 교육과정을 도모하였다. Given the prevalence of ideas in mathematics and science that require representing multiple relationships using functions and their representations simultaneously, it is important to understand how students think about and understand functions, especially how they interpret and represent functions and graphs for more than one variable. However, most studies have focused on understanding or difficulties of one-variable function. Despite various representations of mathematical concepts and the importance of mathematical visualization for using them competently, particularly the importance of graphs in mathematical understanding, studies on connectivity and visualization between algebraic and geometric graphical representations are lacking. In addition, most two-variable studies have addressed strategies for visualization and representations in , and few studies have been reported on the introduction and visualization of two-variable functions and graphs in . By studying a major prior study, this study noted that existing related prior studies emphasize the importance of mediation and interpretation between graphical, analytical, and linguistic expressions in common for the introduction and understanding of two-variable functions. In line with the flow of the Ministry of Education's emphasis(in the third comprehensive plan for mathematics education) on ability to process information and mathematical exploratory activities with using engineering tools, this study introduces two-variable functions and graphs through Papert's Constructionism and the three-dimensional coding environment based on coordinate system and presents strategies for visualization and exploration strategies. Specifically, this study presents strategies to treat two-variable functions and graphs as sets of lines, rays, or curves in three-dimensional space, and visualization and exploration methods that consider both global and local views by adding mathematical conditions in ways that help learner’s learning. Strategies for visualization and exploration through a three-dimensional coordinate system-based coding environment can complement the challenges and problems encountered in guiding two-variable functions on , and help with flexible connections between algebraic approaches and representations and graphical objects. In conjunction with the exploration of two-variable functions and graphs, this study introduces Evolution Strategy-based gradient descent method as a mathematical exploration tool for dealing with the maximum and minimum problems of two-variable functions. Specifically, this study presents strategies to understand two-variable functions and graphs in a global view through visualization-strategies in Turtlecraft and in a local view through exploration using Evolution Strategy-based gradient descent methods. Exploring using Evolution Strategy-based gradient descent methods allows students to check the thinking and speculation of two-variable functions in local views, and to promote complementary consideration and connection on global view and local view both. Of course, it is impossible for middle school students to explore using partial differential, but students were able to understand the overall approximate structure of two-variable functions such as symmetry and local maximum and minimum. Also students were able to study major problems of artificial intelligence or the principles and limitations of Evolution Strategies and gradient descent methods in the process of exploring the maximum and minimum problems. In particular, by analyzing the path of optimization, students can again supplement and develop their understanding of the structure, gradient, etc. of the graphs of two-variable function. In addition, students can compare Evolution Strategy-based gradient descent to differential-based gradient descent through the exploration environment designed through prior research, and can explore concepts of sampling, distribution, random, learning rate, standard deviation, and etc. through story-coding. By dealing with the introduction strategies of two-variable function in with computers based on prior studies and linking them to the exploration of gradient descent, this study aims to enhance students' ability to deal with multi-variable functions and develop computational thinking capabilities in the era of the Fourth Industrial Revolution.

특수일 시간대별 전력부하패턴분석 및 예측모형 구축

남영진 연세대학교 일반대학원 2020 국내석사

본 학위논문은 특수일 시간대별 전력부하패턴분석 및 예측모형 구축을 목적으로 하고 있다. 일반적으로 전력부하예측은 예측기간 또는 예측하고자 하는 전력부하 데이터의 빈도(frequency)에 따라서 단기, 중기, 장기로 구분할 수 있으며 예측일의 특성에 따라서는 평상시와 특수일로 구분할 수 있다. 본 학위논문의 경우 시간대별 전력부하를 예측하기 때문에 단기전력부하예측에 속하는 연구이다. 또한 예측일의 특성 중에서는 특수일 예측을 목적으로 하고 있다. 연구목적을 위와 같이 정한 이유는 다음과 같다. 먼저 데이터의 빈도가 시간대별이며 특수일인 전력부하를 예측하는 것은 어려운 일이다. 평상시 전력부하의 경우 월요일에서 금요일인 평일과 토요일과 일요일인 휴일을 의미한다. 이러한 평상시 전력부하의 경우 관측치(observation)가 매우 많으며 유사한 패턴을 보이기 때문에 비교적 쉽게 예측할 수가 있다. 반면 특수일의 경우 삼일절, 어린이날, 광복절, 성탄절과 같은 단일 특수일과 설날연휴와 추석연휴인 연휴 특수일로 구분되는데 이러한 특수일의 경우 관측치가 매우 적다는 점에서 예측을 위해 사용할 과거값이 매우 제한적이며 이용할 수 있는 특수일의 정보 및 패턴 역시 한정적이라는 문제가 존재한다. 이러한 어려움으로 인해서 특수일 시간대별 전력부하의 예측의 경우 일반적으로 MAPE가 높게 나타나는 것이 특징이다. 여기서 MAPE는 평균절대백분위오차를 의미하며 일반적으로 예측력 평가의 방법으로 많이 사용되는 예측력 평가 기준이다. 따라서 특수일 시간대별 전력부하의 MAPE를 낮추어 예측력을 개선시키는 연구는 국가차원에서는 전력수급계획에도 도움이 될 뿐만 아니라 실무 차원에서도 예측오차를 최소화하여 효율적인 전력운용을 가능하게 한다. 위와 같은 이유로 본 학위논문에서는 특수일 시간대별 전력부하패턴분석을 통해서 평상시 전력부하와 특수일 전력부하의 패턴을 비교하였다. 또한 특수일끼리의 전력부하패턴도 분석하여 전력부하를 예측함에 있어서 날짜효과(Calendar Effect)를 반영 및 조정하는 것이 중요하다는 것을 밝혀냈다. 또한 군집분석(Clustering Analysis)의 방법론 들을 소개하며 그 중 K-means를 활용하여 특수일에 대한 군집분석을 실시하였다. 이를 통해 유사한 특수일끼리 같은 군집으로 분류된 군집분석의 결과를 예측모형에 반영하기 위해 설명변수로 사용하였다. 본 학위논문에서 사용한 예측방법론은 상대계수법, 조정계수법, 인공신경망 모형 그리고 머신러닝 기법이다. 상대계수법은 전력부하에 미치는 요인 중 날짜효과를 예측모형에 반영하는 방법론이다. 즉, 상대계수를 과거 특수일의 기준수요 대비 과거 특수일의 실제수요로 정의하고 이렇게 도출된 상대계수를 전망하고자 하는 특수일의 기준수요에 곱하여 예측치를 생성해내는 방법론이다. 여기서 기준수요란 평상시 전력부하를 의미하는데 평상시 전력부하의 경우 직전 4주의 평균전력부하실제치를 활용하였다. 전망연도 예측을 위해 상대계수를 구성할 때의 기준연도는 과거 동일한 특수일 중 요일이 같은 가장 최근의 특수일을 활용하였다. 이러한 상대계수법의 경우 날짜효과 중 요일효과를 반영했다는 점에서 특수일 전력부하 예측에서 준수한 예측력을 보여주었다. 다만 전력부하에 영향을 미치는 효과는 날짜효과 뿐만 아니라 기상효과와 경제효과 등 다양한 효과가 영향을 미치는 만큼 상대계수법에서 반영하지 못하는 다른 효과를 반영하기 위하여 조정계수법 방법론을 개발 및 활용하였다. 조정계수법은 실제치와 상대계수법 예측치의 예측오차를 기상요인과 경제요인 등의 함수로 정의하고 이를 바탕으로 적합값(fitted value)을 도출한 후 다시 상대계수법 예측치에 더해주면 조정된 예측치인 조정계수법 예측치가 도출 되게 된다. 본 학위논문에서 조정계수법을 활용한 모형은 반영된 요인에 따라서 3가지 모형으로 구축하였다. 먼저 첫 번째 모형인 조정계수법1의 경우 기상요인이 반영되었으며 두 번째 모형인 조정계수법2의 경우 기상요인과 연도별 특성이 반영되었다. 특히 조정계수법2의 경우 조정계수법 모형들의 예측력 수준을 가늠하기 위한 벤치마크모형으로 구축하였다. 왜냐하면 여기서 반영된 연도별 특성의 경우 연도더미를 의미하기 때문에 실제 전망에서 활용하기 위해서 연도더미를 전망치로 생성하지는 않기 때문이다. 마지막 세 번째 모형인 조정계수법3의 경우 기상요인과 경제요인이 반영되었다. 구축된 조정계수법 모형의 경우 상대계수법 모형에 비해서 특수일 별 예측력이 전반적으로 개선되는 모습을 나타내었다. 가장 좋은 예측력을 보여준 조정계수법 모형은 조정계수법2였지만 조정계수법2의 경우 연도별 특성으로 연도더미가 포함되는 만큼 실제 전망에서 활용할 수가 없기 때문에 조정계수법의 벤치마크 모형으로 보아야 한다. 따라서 그 차선으로 좋은 예측력을 보여준 순서를 살펴보면 조정계수법3였으며 그 다음으로는 조정계수법1이었다. 인공신경망의 경우 Artificial Neural Network를 의미하는데 최근 딥러닝이 주목 받으면서 예측에 많이 활용되는 방법론이다. 본 학위논문에서는 인공신경망 방법론 중 다중퍼셉트론이라고 불리는 MLP를 활용하여 모형을 구축하였다. MLP는 이전의 단층퍼셉트론인 SLP가 가지고 있던 한계였던 XOR(eXclusive OR)문제를 해결하여 선형 분류기의 한계에서 벗어나 비선형 문제도 해결 가능하도록 만들어진 방법론이다. MLP는 SLP와 달리 입력층(Input Layer)과 출력층(Output Layer) 사이에 은닉층(Hidden Layer)이 추가로 존재하며 오차역전파(Backpropagation) 방식을 활용하여 은닉층의 가중치까지 업데이트가 가능하도록 하였다. 본 학위논문에서는 MLP를 활용하여 다음과 같이 모형을 구축하였다. 먼저 MLP를 활용하여 모형을 구축할 때 중요한 것이 은닉층의 개수와 각 은닉층 별 은닉노드의 개수를 설정하는 것이다. 본 논문에서는 은닉층을 2개로 설정하여 심층신경망이라고 불리는 DNN(Deep Neural Network)으로 구축하였다. 각 은닉층 별 은닉노드의 수는 다르게 적용하였는데 첫 번째 은닉층의 은닉노드의 수는 입력층의 값의 약 절반인 42로 설정하였다. 두 번째 은닉층의 경우 첫 번째 은닉층의 절반인 21로 설정하였다. 또한 활성화함수는 ELU로 설정하였으며 가중치를 업데이트 하기 위한 최적화 방법으로는 Adam을 활용하였다. 모형의 설명변수로는 선행연구들과 마찬가지로 전력부하의 과거값을 활용하여 학습할 수 있도록 전력시차항을 추가하였다. 전력시차항으로는 3일전(72시간)과 7일전(168시간) 의 전력부하를 사용하였다. 이러한 전력부하의 과거패턴 뿐만 아니라 다양한 요인들이 전력부하에 영향을 주기 때문에 추가적으로 다양한 요인들을 고려하였다. 먼저 전력부하에 영향을 미치는 요인 중 하나인 기상요인을 반영하기 위해 기온뿐만 아니라 습도, 강수량, 풍속, 일사량, 일조량을 반영하여 전력부하에 영향을 미치는 다양한 기상요인을 최대한 반영하고자 하였다. 또한 날짜요인을 반영하기 위해서 기본적으로 월더미, 일더미, 시간더미, 요일더미를 반영하였다. 특징적인 부분은 특수일 더미도 포함시켜서 특수일의 특징을 모형이 학습할 수 있도록 구축하였다는 점이다. 이외의 기타변수로는 빅데이터 중 일반국도의 시간대별 누적교통량을 평균교통량으로 변환하여 사용하였으며 선행연구 중 K-means 방법을 활용하여 특수일 군집분석을 실시하여 군집분석의 결과도 설명변수로 반영했다. 머신러닝 기법으로는 대표적으로 랜덤포레스트(Random Forest)와 서포트벡터리그레션(Support Vector Regression, 이하 SVR) 그리고 확률적 경사하강법(Stochastic Gradient Descent)을 활용한 선형회귀분석(Linear Regression)을 활용하여 모형을 구축하였다. 랜덤포레스트는 Ensemble 기법으로 다수의 weak learner가 단일의 strong learner보다 더 좋은 예측력을 보여줄 수 있다는 개념으로 의사결정나무가 가지고 있던 overfitting 문제를 보완하고 불균형 데이터셋을 조정하는 것에도 좋은 성능을 나타내는 방법론이다. SVR의 경우 SVM에 기반을 둔 방법론으로 SVM에서 임의의 예측치를 도출하기 위해서 ε- 무감도 손실함수를 도입한 방법론이다. 확률적 경사하강법을 활용한 선형회귀분석의 경우 확률적 경사하강법을 통해 비용함수를 최소화시키는 계수값을 찾고 그것을 통해 예측치를 도출하게 된다. 위와 같은 방법론들을 바탕으로 개별모형들을 구축하였으며 2010년에서 2018년까지를 분석기간으로 설정하고 9개의 특수일(신정, 삼일절, 설날연휴, 어린이날, 석가탄신일, 현충일, 광복절, 추석연휴, 성탄절)에 대해서 표본 외 예측(Out of Sample Forecast)을 실시하였다. 그 결과 조정계수법 모형들이 전반적으로 예측력이 뛰어났으며 MLP모형도 일부 특수일에서 좋은 예측력을 나타내었다. 반면 머신러닝 기법들은 연휴 특수일에서 예측력이 많이 떨어지는 것으로 나타났다. 하지만 이러한 개별모형의 예측력만을 살펴보는 것에 그치지 않고 특수일정보조건(연휴일수, 특수일이 속한 계절)과 기상조건 그리고 경제조건을 바탕으로 조건별로 개별모형의 예측력과 예측결합 방법론의 예측력을 추가로 비교하여 특수일 전력부하를 예측하는데 있어서 예측결합이 유용한지도 검증하였다. 그 결과 특수일정보조건 중 연휴일수와 기상조건의 조합 그리고 연휴일수와 경제조건의 조합에서는 예측결합이 개별모형에 비해서 예측력이 매우 뛰어난 것으로 나타났다. 하지만 특수일정보조건 중 특수일이 속한 계절과 기상조건의 조합 그리고 특수일이 속한 계절과 경제조건의 조합에서는 예측결합과 개별모형의 예측력이 유의미한 차이를 보이지 않아 설정한 조건들의 조합에 따라서 개별모형과 예측결합의 예측력이 크게 좌우되는 것으로 나타났다. 따라서 이러한 연구결과에 비추어 볼 때 개별모형의 예측력과 예측결합의 예측력 중 어느 한 방법이 좋다고 말할 수는 없으며 조건에 따라서 예측력이 달라질 수 있는 만큼 특수일 전력부하를 예측함에 있어서 예측하고자 하는 특수일의 여러 가지 조건 등을 고려하여 개별모형과 예측결합 중 적절한 방법을 선택하여 예측치로 활용하는 것이 중요하다는 것을 밝혀냈다. This dissertation is aimed at analyzing the special day’s hourly electric load patterns and establishing a forecasting model. In general, electric load forecasts can be divided into short, medium and long-term depending on the frequency of electric load to be predicted. Also, depending on the characteristics of the forecast date, they can be classified as normal and special days. This dissertation is part of short-term electric load prediction because it predicts hourly electric load. The reasons for this dissertation are as follows. First of all, it is difficult to predict the special day’s hourly electric load. There is a problem that the information and patterns of special days available are limited in that there are very few observations on special days such as Samiljeol, Children's Day, National Liberation Day of Korea, and Christmas. Due to these difficulties, the special day’s MAPE is generally high for forecasting hourly electric loads. Thus, research that improves the predictive performance by lowering the MAPE not only helps the power supply plan at the national level but also minimizes the forecasting error at the practical level, enabling efficient power operation. For these reasons, the pattern of the special day’s electric load in this dissertation was compared with that of a normal day’s electric load. In addition, the electric load pattern of the special day was analyzed and found that it was important to reflect and adjust the Calendar effect in forecasting the electric load. Furthermore, the methodologies of clustering analysis were introduced, and among them, K-means was used to perform cluster analysis on special days. This resulted in the use of explanatory variables to reflect the results of cluster analysis classified into the same cluster of similar special days. The forecasting methodologies used in this dissertation are relative coefficients, adjusted coefficients, artificial neural network and machine learning techniques. The relative coefficient method is a methodology that reflects the Calendar effect on the electric load in the forecasting model, which defines the relative coefficients as the actual demand for the past special day versus the reference demand for the past same special day. In this case, the reference demand refers to the normal day’s electric load, and the average electric load for the previous four weeks was utilized. The base year in which the relative coefficients are constructed for prediction of the forecast year utilized the most recent special days of the same day of the week in the past. For the relative coefficient, the forecasting performance observed in the prediction of the special day’s electric load was demonstrated in that it reflected the day effect. However, in this dissertation, the adjusted coefficients method methodologies were developed and utilized to reflect not only the day effects but also the various effects such as weather and economic effects. The adjusted coefficients method defines forecasting error(actual electric load - relative coefficient’s predictive electric load) as a function such as weather factors and economic factors, and, based on these, the fitted values are derived and then added to the relative coefficients’ predictive electric load, which are adjusted the estimate. In this dissertation, a forecasting model using the adjusted coefficients method was constructed into three models depending on the factors reflected. First, the adjustment factor method 1, reflected the calendar factor and the weather factor. Second, the adjusted coefficient method 2 was constructed as a benchmark model to measure the level of the forecasting performance of the adjustment factor models. This is because the adjusted coefficient method 2 reflected the calendar factor and year-by-year characteristics. Especially, The model reflects year by year characteristics in the form of dummy variables. Therefore, It is inappropriate to generate a dummy variable as a forecast. Third, the adjusted coefficients method 3 reflected the Calendar factor, weather factor and economic factor. The results showed that the adjusted coefficient method has generally more forecasting performance than the relative coefficient. The best forecasting model in the adjusted coefficient was the adjusted coefficient model 2. However, adjusted coefficient model 2 are not actually available for forecasting. When considering practical usability, adjusted coefficient model 3 has the best forecasting performance and adjusted coefficient model 1 has the second-best forecasting performance. Artificial Neural Network(hereinafter referred to as the ANN), which is a method that is widely used for forecasting as deep learning has recently received attention. In this dissertation, ANN model was constructed using MLP, called Multilayer-perceptron among the ANN methodologies. MLP is a methodology designed to solve the problem of eXclusive OR (XOR) which was the limit previously held by the SLP, so that nonlinear problems can be solved beyond the limits of linear classifiers. Unlike SLP, the MLP also allowed additional hidden layers to exist between the input layer and the output layer and to update the weight of the hidden layers by utilizing the backpropagation method. In this dissertation, MLP was used to build models as follows. First of all, when building models using MLP, it is important to set the number of hidden layers and the number of hidden nodes by each hidden layer. In this dissertation, the hidden layers were set to two, which was established as a deep neural network called DNN. The number of hidden nodes by each hidden layer was applied differently, with the number of hidden nodes in the first hidden layer being set at 42 which is about half the value of the input layer. For the second hidden layer, half of the first hidden layer was set to 21. The activation function was also set to ELU and Adam was used as an optimization method for updating weights. As for the description variables of the model, The electric loads as lag terms were used three days ago (72 hours) and seven days ago (168 hours). A variety of additional factors were taken into account because there are various factors, as well as historical patterns of special day’s electric loads, influencing electric loads. Therefore, to reflect weather factors that affect electric loads, various weather factors were to be reflected as much as possible by reflecting humidity, precipitation, wind speed, solar radiation, and sunshine as well as temperature. It also basically reflected dummy variables of months, date, day, and time to reflect the calendar factors. The characteristic part is that the special day’s dummy variable is also included to enable the model to learn the special day’s features. Other variables included average traffic among big data and the results of cluster analysis as an explanatory variable. As a machine learning technique, the model was constructed using linear regression using Stochastic Gradient Descent, random forest and support vector regression. Random Forest is a methodology that complements the overfitting problem that decision-making trees had and also shows good performance for adjusting unbalanced datasets, with the notion that the Ensemble technique allows many weak learners to show better forecasting performance than the strong learner. In the case of Support Vector Regression, The SVR based on the SVM methodology introduces a ε- insensitive loss function to derive forecasts from the SVM. For linear regression using Stochastic Gradient descent method, the Stochastic gradient descent method finds the coefficient value that minimizes the cost function and derives the prediction from it. Based on the above methodology, each model was established from 2010 to 2018 and samples were made for nine kinds of special days (New Year, Samiljeol, Seollal holiday, Children's Day, Sakyamuni's Birthday, Memorial Day, Liberation Day, Chuseok holiday, and Christmas). As a result, the adjusted factor models were generally more forecasting performance, and the MLP model was also good for some special days. Machine learning techniques, on the other hand, show poor forecasting performance during Seollal holiday and Chuseok holiday. However, rather than just looking at the forecasting performance of each model, I have further compared the forecasting performance of each model with that of the forecasting combination methodology for each condition based on the special day information conditions, weather conditions and economic conditions. The results showed that forecasting combination on the combination of the number of the holiday among special day information conditions and weather conditions was highly forecasting performance compared to each model. Also, the forecasting combination on the combination of the number of the holiday among special day information conditions and economic conditions was highly forecasting performance compared to each model. However, the combination of the season including special day to be predicted and weather conditions did not show a significant difference between forecasting combination and each model. Likewise, the combination of season including special day to be predicted and economic conditions did not show a significant difference between forecasting combination and each model. In forecasting special day’s load, it was found that it was important to use the appropriate method between the individual model and the forecast combination, taking into account the various conditions of the special days to be predicted.

밀리미터 웨이브 통신시스템에서의 효율적인 빔 합성 및 관리를 위한 최적화

조동근 성균관대학교 일반대학원 2019 국내석사

본 논문에서는 아날로그 빔포밍을 활용한 밀리미터 웨이브 통신시스템에 적용할 수 있는 빔 합성 및 관리를 위한 최적화 방법을 제안한다. 기존의 아날로그 빔포밍 방식은 단일 빔만을 사용하거나, 일정한 패턴을 지정해서 그 패턴과 오차가 적은 복사패턴을 형성하는 최적화 방법이 연구되었다. 하지만 이러한 최적화방법은 패턴 설정에 대한 어려움이 있다. 특히 밀리미터 웨이브 통신시스템을 위한 원하는 3D 빔포밍 복사패턴을 만들기 위해서는 설정이 매우 힘들다. 이를 해결하기 위해서 안테나의 특정 방향으로의 지향성을 키우고 줄이는 방법의 최적화 방법을 제안했다. 제안된 방법은 빔을 보내고 싶은 위치만 지정하면, 그 방향으로의 빔을 최대화해서 이중 빔, 멀티 빔, 와이드 빔을 이루는 최적의 급전계수를 찾아낼 수 있다. 또한 특정위치를 최소화 할 수도 있어서, 원하지 않는 방향으로의 신호를 줄여 널(NULL)을 만들 수도 있다. 매틀랩을 이용해서 복사패턴 최적화의 시뮬레이션을 진행했으며, 5.8GHz 대역 4x8 배열안테나를 이용해서 방사패턴 측정하고 빔 형성을 확인했다. 다양하게 만들어진 빔은 여러 시나리오에서 유용하게 활용할 수 있다. 그 중 초기액세스(Initial Access) 절차에 있어서, 송신단과 수신단의 빔 정렬을 보다 빠르게 할 수 있는 방법을 추가로 제안한다. In this paper, I propose an optimization method for efficient beam synthesis and management that can be applied to millimeter wave communication systems using analog beamforming. In the conventional analog beamforming method, using only a single beam or optimization by designating a desired certain pattern and synthesizing a beam similar to the pattern. However, the above optimization method has a problem that the desired pattern must be well specified. In order to solve this problem, I proposed a method of optimizing the directivity of the antenna in a specific direction. The proposed method can maximize the beam in that direction by specifying only the position to which the beam is to be sent, and find the optimal feeding coefficient that forms the double beam, the multi beam, and the wide beam. I can also minimize a specific location so I can reduce the signal in the unwanted direction to null. Adjusting the magnitude of the feeding current reduces the total radiated energy, so the optimization is carried out only by adjusting the phase. The optimization was simulated using a matlab and I confirmed that the beam was well formed by beam pattern measurement using an array antenna. Various beams can be useful for beam management. I also proposed a method that can speed up the beam alignment between the transmitter and the receiver in the initial access procedure of 5G NR.

다수의 범주형 설명변수를 갖는 데이터에 대한 서포트 벡터 머신 연구

정태일 성균관대학교 일반대학원 2020 국내석사

서포트 벡터 머신은 연속형 설명변수를 갖는 관찰값의 이진분류에 대해 다양한 분야에서 좋은 효과를 보이고 있다. 그러나 혼합형(연속형과 범주형) 설명변수의 경우, 특히 범주형 설명변수가 많은 경우에는 기존 방법들이 좋은 결과를 보여주지 못한다. 이 경우에 가장 많이 사용되는 방법인 원-핫 인코딩은 수많은 더미변수들을 만들어 차원을 높인다는 점과 0과 1이라는 극단적인 값은 연속형 설명변수를 갖는 관찰값의 비교열위를 갖게 한다는 점 때문에 모델의 성능을 악화시킨다. 따라서 이를 해결하기 위해 본 논문은 경사하강법에 기초하여 유클리디안 공간에서의 입력값을 범주형 설명변수들의 영향만큼 이동함으로써 최종거리를 계산하는 새로운 알고리즘을 제안한다. 이 방법은 분류 예측에 중요한 범주형 설명변수들을 제공할 수 있으며 범주형 설명변수가 많은 고차원 데이터에 대해 기존 방법들보다 더 나은 성능을 보여준다. 본 논문의 실험에서 제안한 방법의 성능을 입증하기 위해 범주형 설명변수만 있는 경우, 혼합형 설명변수의 경우, 범주형 설명변수가 많은 경우와 같은 다양한 상황에서 기존의 방법들과 비교하였다. 그 결과, 본 논문에서 제안한 방법이 기존방법들보다 더 높은 예측 정확도를 보여주었으며 일부 선택된 범주형 설명변수들만을 이용함으로써 컴퓨팅 자원과 시간을 줄일 수 있다. Support Vector Machine (SVM) demonstrates a good effect in a variety of areas on binary grouping of continuous type data. However, for mixed (continuous and categorical) type data, the existing methods do not show good results, especially if there are many categorical variables. One-hot encoding, the most commonly used method, exacerbates performance by creating numerous many dummy variables and by creating extreme values of 0 and 1 that does not give them a comparative degree of continuous type data. Thus, in order to solve this problem, this paper proposes a new algorithm based on gradient descent algorithm to calculate the final distance by moving the values of continuous variables according to the influence of categorical variables. In addition, the proposed method can provide important categorical variables for classification and shows better performance than existing methods for high-dimensional data with many categorical variables. In this experiment, to verify the performance of the proposal the existing methods are compared in a variety of situations, such as only categorical data or mixed type data, or data with many categorical variables. As a result, the proposed method showed higher accuracy than existing methods and could reduce computing resources and time by modeling only with selected categorical variables.

삼축압축실험 결과에 대한 해석적 접근을 활용한 입상재료의 기계적 물성 최적화 방법 연구 : modified Drucker-Prager/Cap model 매개변수 최적화 방법에 대하여

장규호 서울대학교 대학원 2022 국내석사

입상재료는 야금학, 약학, 지반공학등의 분야에서 활발하게 사용되는 재료이다. 각 분야의 공정 상에서 입상재료의 거동을 예측하면 최종 결과를 가늠할 수 있기 때문에 입상재료의 거동을 예측하는 것은 매우 중요하다. 입상재료의 구성거동은 주로 유한요소해석(finite element simulation, FEM) 시뮬레이션을 통해 예측되며, 유한요소해석 상에서 입상재료의 거동은 주로 modified Drucker-Prager/Cap(DPC) 모델을 통해 묘사된다. DPC 모델의 매개변수는 주로 삼축압축실험과 등방압축실험을 통해 특정되는데, 불포화 입상재료의 경우에는 등방압축실험에서의 부피변화 측정이 어려워 이 방법으로 매개변수를 특정할 수 없다는 문제점이 있다. 본 연구에서는 DPC 모델의 매개변수를 특정하는 새로운 방법을 제시하였다. 이 방법은 삼축압축실험 결과, 삼축압축실험 결과에 대한 해석적 해, 그리고 경사하강법을 사용하여 DPC 모델의 매개변수를 최적화한다. 이때 삼축압축실험 결과에서 파단응력만을 사용하던 기존의 방식과는 달리 삼축압축실험 결과 전체를 분석함으로써 등방압축실험 없이 DPC 모델 매개변수 전체를 특정할 수 있었다. 이는 포화, 불포화 상관없이 모든 입상재료의 DPC 모델 매개변수를 특정할 수 있도록 도와주었다. 또한, 이 방법은 최적화 과정에서 많이 사용하던 유한요소해석 시뮬레이션을 본 연구에서 개발한 삼축압축실험 결과에 대한 해석적 해로 대체하여 전체 최적화 시간을 획기적으로 줄일 수 있었다. 삼축압축실험 결과에 대한 해석적 해는 매개변수에 대한 실험과 계산 간 차이의 편미분 계산을 가능케 하여 매개변수 갱신 방법으로 경사하강법을 사용할 수 있게 하였다. 경사하강법은 기울기 벡터를 사용하지 않는 다른 방법들에 비해 더 빠른 수렴속도를 보여 최적화 시간을 더욱 단축시킨다. 이 명제는 본 연구에서 직접 매개변수 갱신 방법을 비교함으로써 증명할 수 있었다. 본 연구에서는 불포화 입상재료인 모래-벤토나이트 혼합물의 DPC 모델 매개변수를 특정하는 실험을 통해 제시한 방법의 성능을 증명하였다. 실험 결과, 선행연구에서 최적화하는데 걸렸을 것으로 예상되는 시간보다 훨씬 적은 시간 내에 삼축압축실험 결과를 실험 결과와 거의 동일하게 묘사해내는 DPC 모델 매개변수를 특정할 수 있었다. 최적화된 DPC 모델 매개변수는 삼축압축실험과 압밀실험을 통해 측정된 매개변수와의 비교를 통해 유효성이 증명되었다. 또한 최적화된 DPC 모델 매개변수로 압입 실험(indentation test) 결과를 유한요소해석 시뮬레이션을 통해 예상한 후 실제 실험 결과와 비교하는 과정을 통해 매개변수가 일반적인 상황에서 적용가능하다는 것도 증명할 수 있었다. Granular materials are widely used in various fields such as sintering, tablet manufacturing, and geotechnical engineering. To predict their constitutive behavior in the finite element method (FEM), the modified Drucker–Prager Cap model (DPC model) is commonly adopted. However, the conventional method requires multiple triaxial compression experiments and isotropic compression experiments to determine a great number of parameters in the DPC model. In this study, we propose an alternative method for the DPC model that utilizes the entire stress–strain curves from triaxial compression testing and the gradient descent algorithm to extract the parameters. Also, the method significantly reduced the total optimization time by replacing FEM simulation with analytical calculations during the optimization process. The method was applied to acquire the constitutive relation of FEM simulation for unsaturated sand-bentonite mixtures, and it successfully predicted experimental depth-sensing indentation results. Since our method dramatically reduces the number of experiments and optimization time, we believe that it will facilitate efficient exploration of the mechanical behavior of granular materials.

FCM과 경사하강법에 기초한 퍼지-뉴로 모델링

윤기찬 원광대학교 대학원 2000 국내석사

딥러닝 코딩 실습을 통한 특성화 고등학교 학생의 수학적 이해도 향상에 관한 연구

최혜진 국민대학교 교육대학원 2021 국내석사

본 연구에서는 인공지능 (Artificial intelligence) 딥러닝 (Deep learning)기법에서 사용되는 수학적인 기초 지식을 학생들에게 학습시키고 이에 대한 파이썬 코딩 실습을 실시하였다. 수학적인 설명과 결합한 딥러닝 코딩 실습이 학생들의 수학적인 이해도 향상과 흥미도 향상에 미치는 영향을 분석하였다. 이를 위하여 딥러닝 코딩 실습 동안 관련된 수학 설명을 들은 학생들과 그렇지 않은 학생들 집단 간의 학습 성취도 평가를 수행하고 이를 비교 분석하였다. 딥러닝 코딩 실습에서는 Google Colab을 활용하여 Python으로 코딩하였다. 실습 내용으로는 경사하강법을 이용한 단항 선형회귀식, 다중 선형회귀식에 관한 딥러닝 코딩을 진행하였으며 이와 관련된 수학적 이론들 (산점도, 선형회귀, 미분, 행렬, 함수의 극한)을 실험 집단 학생들에게 설명하였다. 최종적으로 딥러닝 코딩 실습 및 평가를 진행하고 학습 성취도를 분석하였으며 수학에 관한 정의역 사전 사후 검사를 실시하였다. 본 연구에서 시도된 인공지능 기초 수학 교육 및 실습을 통하여 특성화 고교 학생들의 딥러닝에 대한 수학적 이해도 및 흥미도가 수학 교육과 결합한 코딩 실습을 통하여 크게 증진될 수 있음을 확인하였다. In this research, basic mathematics concepts used in artificial intelligence deep learning were instructed to high school students and corresponding Python coding practice were conducted. Effect of deep learning coding practice combined with mathematical description to the students for the mathematical learning achievement and interesting improvement were analysed. For this purpose, learning evaluation and questionnaire survey analysis were conducted for two different groups (‘Group 1’ took the short mathematic lecture and ‘Group 2’ did not) and the results were analyzed. For deep learning coding practice, the students coded Python by utilized google colab. The coding practice contains single and multiple variable linear regression using a gradient decent algorithm on the other hand, the related mathematical theories (scatter plot, linear regression, differentiation, matrix, gradient decent algorithm) were introduced only to the Group 1. Finally, learning evaluation about python coding and questionnaire survey analysis about mathematics were conducted between two groups. Through the teaching of basic concepts of mathematics combined with the python deep learning coding practice attempted in this paper, we examined that the degree of motivation to learn and the sense of value about mathematics of high school students could be improved greatly.

<인공지능 수학> 敎科에서 最適化 問題解決을 위한 D²APS 模型 適用 敎授·學習 資料 開發 :

심효정 인제대학교 일반대학원 2022 국내박사

본 논문은 <인공지능 수학> 교육에서 수학적 문제해결력을 강조하며 프로그래밍 활동을 접목하는 교수 · 학습 지도 방안으로, 수학적 사고가 더욱 강조되는 4차 산업 시대에 인공지능과 수학을 연결함으로써 수학의 유용성과 가치에 대한 체감의 기회를 제공하는 교수학적 의미를 목적으로 한다. 연구의 결과, 수학은 프로그래밍의 문제 배경으로 활용되고, 프로그래밍은 수학적 사고 및 표현 도구로 활용될 수 있도록 학생들에게 실생활에서 탐구문제를 선정하고 수학과 프로그래밍을 접목하여 문제를 해결하는 교수 · 학습 모형인 D²APS을 개발하였고, 그 절차에 따라 교수 · 학습 자료를 제시하였다. 결론적으로 새로운 교수 · 학습 모형 D²APS는 수학적 탐구를 통한 프로그래밍 활용으로 최적화 문제해결을 위한 수업의 지도방안으로 제안될 수 있으며, <인공지능 수학>의 최적화 단원에서 경사하강법을 통한 문제해결 지도의 교수 · 학습 자료 사례이다.