Mixture Model을 사용한 시니어관광객의 추구편익에 따른 시장세분화연구 : K-means Clustering과 Mixture Model 비교를 중심으로

조아람 경희대학교 대학원 2017 국내석사

본 연구에서는 시니어관광객의 편익추구에 따른 시장세분화 연구에 들어가기 앞서 일반 세분화연구에 많이 쓰이는 K-means Clustering과 Mixture Model의 방식을 비교하여 세분화연구에 좀 더 합리적인 방법을 제시했다. 각각의 분석방법은 적중률을 통해 비교하였으며, 모집단의 비율검정을 통해 통계적으로 유의한 차이가 있는지 살펴보았다. 그 결과 통계적으로 유의한 차이가 나타났고, 따라서 Mixture Model을 사용한 세분화연구가 더 합리적이라는 결론을 제시하였다. 따라서 Mixture Model을 사용하여 시니어관광객의 편익추구에 따른 시장세분화연구를 하였다. 본 연구에서는 총 18개의 변수로 이루어진 편익추구를 사용하였으며, 요인분석 결과 총 4개의 요인으로 묶이는 것을 확인하였으며, 도출된 요인은 ‘경험 추구형’,‘휴양·휴식 추구형’,‘자연감상 추구형’, ‘오락 추구형’이라고 명명하였다. BIC값을 통해 최적세분시장 수를 도출하였으며, 그 결과 총 4개의 최적세분시장이 도출되었다. 도출된 각각의 세분집단의 특성을 프로파일링 한 결과, 각 세분시장 특성에 따라 ‘다편익 추구형 집단’,‘자연감상 추구형 집단’,‘휴양·휴식 추구형 집단’,‘경험 추구형 집단’ 이라고 명명하였다. 본 연구에서는 이러한 결과를 바탕으로 학문적, 실무적인 시사점과 향후 연구방향에 대하여 언급하였다.

Mixture Model-based Density Estimation for Multi-Object Detection

유재영 서울대학교 대학원 2021 국내박사

Multi-object detection is a task finding multiple-objects on an input image. In multi-object detection, an object is represented as a bounding box with its class information. The bounding boxes consist of 4-coordinates (left, top, right, and bottom). Since convolutional neural networks have been developed, multi-object detection algorithms have achieved a substantial improvement. Unlike the other computer vision tasks such as image classification, each input image has an inconsistent number of target bounding boxes and class labels in multi-object detection. This makes the training of multiple object detectors difficult. Thus, the fundamental problem in training a multi-object detection network is, “How can the network learn varying number of bounding boxes in different input images?”. To learn varying number of bounding boxes, the previous multi-object detectors generally use the training procedure that discretizes the bounding box space and directly assigns the ground truth bounding boxes to the network’s output. Since this training method does not directly model a variable number of bounding boxes, it requires some hand-crafted components and procedures additionally to the training, which makes the training too complicated and heuristic. In this dissertation, we aim to directly model the varying number of bounding boxes and simplify the complex processing and heuristics of training multi-object detector. To this end, we reformulate the multi-object detection task as a problem of density estimation of bounding boxes. Instead of assigning each ground truth to specific locations of the network's output, we train a network by estimating the probability density of bounding boxes in an input image using a mixture model. For this purpose, we propose a novel network for multi-object detection called mixture density object detector (MDOD), and the corresponding objective function for the density-estimation-based training. We apply MDOD to the public multi-object detection dataset. Our proposed method not only deals with multi-object detection problems in a new approach, but also improves detection performances. In addition, we introduce some applications of MDOD in other research topics. First, we use MDOD to replace non-maximum suppression-based post-processing in multi-object detection. Second, we apply MDOD for multi-person pose estimation. Through these examples, we show that MDOD is applicable to other research topics as well as multi-object detection. 다중 객체 검출은 입력 이미지 위에 존재하는 여러개의 객체를 찾는 문제를 의미한다. 이 다중 객체 검출에서 객체는 경계 박스와 객체의 클래스 정보로 표현된다. 이 때 경계 박스는 4개의 좌표 (왼쪽, 위, 오른쪽, 아래)로 구성된다. 심층 인공 신경망이 컴퓨터 비전 분야에 적용된 이 후로 다중 객체 검출 알고리즘은 상당한 발전을 이루었다. 이미지 분류 같은 컴퓨터 비전의 다른 문제들과 다르게 하나의 입력 이미지에 대한 다중 객체 검출 문제의 타겟의 수는 가변적이다. 이는 다중 객체 검출기의 학습을 어렵게 한다. 따라서, 다중 객체 검출 네트워크의 학습의 근본적인 문제는 ``어떠한 방법으로 서로 다른 이미지에 대해 가변적인 수의 경계 박스를 네트워크를 통해 학습 할 것인가''이다. 다양한 수의 타겟을 학습하기 위해서 이전의 다중 객체 감지기는 일반적으로 경계 상자 공간을 이산화하고 정답 경계 상자를 네트워크의 출력에 직접 할당하는 훈련 절차를 사용한다. 이 훈련 방법은 다양한 수의 경계 상자를 직접 모델링하지 않기 때문에 학습을 위해 일부 수작업이 요구되는 구성 요소와 절차를 필요로 한다. 하지만 이는 다중 물체 감지 훈련을 복잡하고 경험적으로 만든다. 이 논문에서 우리는 다양한 수의 타겟을 직접 모델링하고 다중 객체 탐지기 훈련의 복잡한 처리 및 휴리스틱을 줄이는 것을 목표로한다. 이를 위해 경계 상자의 밀도 추정 문제로 다중 객체 감지 작업을 재정의한다. 타겟를 네트워크 출력의 특정 위치에 직접 할당하는 대신 혼합 모델을 사용하여 입력 이미지에서 경계 상자의 확률 밀도를 추정하도록 네트워크를 훈련시킨다. 이를 위해 MDOD (mixture density object detector)라는 다중 물체 감지를 위한 새로운 네트워크와 밀도 추정 기반 학습을 위한 해당 목적 함수를 제안한다. 우리는 공개된 다중 객체 감지 데이터 세트에 MDOD를 적용하였다. 우리가 제안한 방법은 새로운 접근 방식으로 다중 물체 감지 문제를 처리 할뿐만 아니라 감지 성능 또한 향상시켰다. 또한, 이 논문에서 우리는 MDOD의 활용 사례들을 소개한다. 첫 번째로, 다중 물체 감지에서 기존의 non-maximum suppression 기반의 후 처리를 대체하기 위해 MDOD를 사용한다. 두 번째로, 다중 사람 포즈 추정 문제에 MDOD를 적용한다. 우리는 이러한 사례들을 통해 MDOD가 다중 물체 감지뿐만 아니라 다른 연구 주제에도 응용 가능함을 보였다.

Adaptive robust regression modeling with mixture distributions

Oh, Sangkon Sungkyunkwan University 2023 국내박사

선형 회귀 모형은 변수간의 관계를 탐구하는데 유용하게 쓰인다. 하지만, 이 모형은 오차 분포의 정규성 및 모집단의 동질성과 같은 특정 가정에 의존하기 때문에, 이 가정이 위배될 경우 해당 모형을 이용한 결과는 편향되거나 비효율적일 수 있다. 또한, 중도 절단된 관측치가 존재하는 경우에 선형 회귀 모형을 바로 적용하는 것은 적절하지 않은 결과를 초래한다. 따라서, 본 논문에서는 이에 대한 대안으로 선형 회귀 모형을 확장한 가속 실패 시간 모형, 유한 혼합 회귀 모형 및 군집 가중 모형에 대해 알아본다. 특히, 분포 가정과 실제 분포가 다를 가능성을 줄이기 위하여 각 모형에 유한 가우시안 혼합 분포, 비모수적 가우시안 척도 혼합 분포 또는 준모수적 왜정규 척도 혼합 분포를 가정할 것을 제안한다. 이는 결과적으로 회귀 계수 및 군집 수에 대하여 강건한 결과를 얻을 수 있게 해준다. 추가적으로, 본 논문에서 제안한 모형들에 대하여 식별 가능성 및 추정 알고리즘을 제시하였으며, 모의 실험과 실증 자료 분석을 통해 제안하는 모형들의 성능을 입증하였다. A linear regression model is a commonly used tool to examine relationships between variables. However, this model relies on specific assumptions, such as the normality of the error distribution and homogeneity of the population. Deviating from these assumptions can result in estimates that are biased or inefficient. Furthermore, when there are censored observations, the linear regression model cannot be applied directly. To address these challenges, we investigate extensions of the linear regression model, including accelerated failure time models, finite mixture of regressions models and cluster-weighted models. In this thesis, we propose addressing the issue of misspecification risk by considering one of the following distributions for each model: a finite Gaussian mixture distribution, a nonparametric Gaussian scale mixture distribution or a semiparametric skew-normal scale mixture distribution. By this means, we can obtain robust results in terms of either regression coefficients or the number of clusters. We also study the identifiability of the proposed models and develop feasible estimation algorithms. To demonstrate the performance, we conduct simulation studies and real data analyses.

A study on contagion effects using normal mixture garch models

Abdullaeva Vasila Shukhratovna 인제대학교 일반대학원 2024 국내박사

Many of the financial and currency crises that have occurred over the last two decades have had regional or even global consequences. The early 21st century experienced a serious global economic catastrophe known as the Global Financial crisis of 2007–2008. It was the world's most significant financial crisis that originated in the US and quickly expanded to other countries. Because of their substantial public deficits and weak financial institutions, developing countries are particularly vulnerable to shocks and are affected by the majority of these crises. These events had one thing in common: a shock that is peculiar to one country moves immediately to other markets with varying sizes and structures all across the world. Justifying a country's response to a crisis that affects another country that is unrelated to it economically is still quite a challenge. This situation has been referred to as a contagion phenomenon by numerous authors who have discussed about the matter of shocks spreading internationally. The basic process of shock transmission across the countries is recognized as the broad concept of contagion. The second type is intended to function during both times of calm as well as crisis, and contagion is linked to both positive and negative spillover effects. Several investigations of contagion that have been developed and presented in the literature center on one of three factors: correlation, coskewness, cokurtosis, or covolatility. The current study integrates Normal Mixture GARCH models to examine association in returns and volatilities of cross-border stock markets and VAR models to examine association in equity markets, since contagion can take many different forms. It defines the two types of the normal mixture GARCH models that take into consideration for the skewness and kurtosis found in the conditional and unconditional return distributions. First one is a bivariate normal mixture time-varying GARCH model, an expansion of Engle's (2002) dynamic conditional correlation GARCH model. A bivariate normal mixture constant correlation GARCH model that is Bollerslev's (1990) constant conditional correlation GARCH model is an additional second one. The two economies, Russia, and Kazakhstan are significantly impacted by their relationship. Regarding the transparent character of the Russian economy, it is probable that relations between the Russian and other international stock markets were impacted by this disruptive occurrence. Two different types of normal mixture GARCH models are used in the current research to characterize the skewness and kurtosis exhibited in the conditional and unconditional return distributions of the stock exchanges in Kazakhstan and Russia. Additionally, a contagion analysis among the equity markets of the United States, Europe, and Asia covering the time frame of April 2002 to August 2023 provides an illustration of the VAR-ECM model. The data set covers the dates 1 June 2006 into 1 March 2021 and includes daily observations of the world crude oil price as well as the stock prices in Kazakhstan and Russia. According to the empirical findings, taking into consideration the long memory effect on returns helps to improve our understanding of return dynamics and offers better explanations of the dynamic behaviors of stock market prices. Furthermore, normal mixture models for time-varying volatility have the significant advantage that the conditional higher moments are time-varying, and they also fit the conditional densities better than the standard GARCH specifications. It also suggests that the direction of information flow is regime dependent and that the volatility skews predicted by normal mixture models are more likely to indicate risk features. The research’s conclusion provides specific information that cross-border stock market participants can utilize for a variety of objectives, including risk management, allocation of assets, portfolio management, and market rules. According to the outcomes of the stock market analysis our conclusions are listed below. First, the traditional error correction models show that there is a bidirectional causal relationship between the KASE and MOEX for all models. This suggests that stock prices from both KASE and MOEX can be significant information sources, and that KASE prices tend to reflect new information more rapidly than MOEX prices. Second, in both the MOEX equation with the FI-CCC and FI-NM-CCC models and the KASE equation with traditional error correction models, the coefficients for the error correction term are all statistically significant. The estimates for the error correction term are particularly interesting considering that they are all positive for the MOEX return and all negative for the KASE return equation. This suggests that in order to reach the long-run equilibrium, the current MOEX stock prices will be adjusted upward, and the current KASE stock prices will be adjusted downward. The speed of adjustment is stronger the stock market in Kazakhstan than the stock market in Russia. Third, by responding favorably to the lagged WTI prices, the KASE and MOEX stock prices indicates mean reversion. Additionally, the coefficients in the MOEX equations tend to be larger than those in the KASE equations, indicating that WTI prices are an important indicator in the Russian stock markets' incorporating them of new information. Fourth, there are bidirectional volatility spillovers between the two markets in the case of the traditional CCC and DCC GARCH models, and the information flow tends to be stronger from MOEX to KASE. The coefficients of the volatility spillovers between the KASE and MOEX stock markets are both significant at the 5% level in the second component only for the normal mixture models, of which the FI-NM-CCC model is the best model in this study. The estimations of the parameters of the KASE spillover into the MOEX are significant at the 5% level in the first and second components, while the coefficients of the volatility spillovers from the MOEX to the KASE are not statistically significant in the second components for the asymmetric normal mixture models. Fifth, the leverage parameters for the FI-NM-CCC model are regime-dependent. They are, for instance, significantly present and positive in the first component of the KASE and MOEX markets, suggesting a very strong negative association between current returns and volatility in the future. According to the result of the equity market analysis, the short-term interest rate of Japan has much bigger influence on the short-term interest rate of USA, South Korea, China, and Singapore than the effect of the short-term interest rate of USA to those countries’ interest rates. Furthermore, the interest rate of UK has much bigger influence on the interest rate of France, Italy, and Germany than the effect of the interest rate of USA on their interest rates. In case of North and South Amerika, the interest rate of Canada has much bigger influence on the interest rate of Brazil, Mexico and especially USA than the effect of the US interest rate to those countries’ interest rates. But the interest rate of Mexico is affected from the USA more than Canada. The long-term interest rate of the USA is affected from Japan, China, and Singapore. Conversely, any of those countries’ interest rates influence on long-term interest rate of Japan. In Europe, the long-term interest rate of the USA has influence on the interest rate of Italy, UK, and France, by the way it is affected from the interest rate of UK and France as well. In North and South Amerika, the US interest rate has much bigger influence on the interest rate of Brazil, Canada and especially Mexico than the effect of the interest rate of Canada to those countries’ interest rates. By the way, the interest rate of Mexico is much bigger affected from them. 지난 20 년 동안 일련의 금융 및 통화 위기를 경험했으며, 그 중 다수는 지역적 또는 심지어 글로벌한 결과를 초래했다. 2007~2008 년 글로벌 금융위기는 21 세기 초에 발생한 심각한 전 세계적인 경제위기였다. 그것은 미국에서 시작되어 전 세계로 퍼진 가장 심각한 금융 위기였다. 이러한 위기의 대부분은 미개발된 금융 시장과 대규모 공공 적자로 인해 충격에 더 민감한 신흥 시장을 강타했다. 이러한 사건이 공유하는 공통적인 특징은 국가별 충격이 전 세계 다양한 규모와 구조의 다른 시장으로 빠르게 확산된다는 것이다. 경제 펀더멘털과 전혀 관련이 없는 다른 국가에 영향을 미치는 위기에 한 국가가 반응하는 이유를 정당화하는 것은 여전히 매우 혼란스럽다. 충격의 국제적 전파라는 주제를 다루는 많은 저자들은 이러한 상황을 전염 현상으로 언급했다. 전염의 넓은 정의는 국가 간 충격 전달의 일반적인 과정으로 식별된다. 후자는 평온한 시기와 위기 시기 모두에 작용하며, 전염은 부정적인 충격뿐만 아니라 긍정적인 파급 효과와도 연관되어 있다. 문헌에 제안된 기존의 전염 테스트 중 다수는 상관관계, 공왜도 또는 공첨도및 공변동성에 중점을 둔다. 전염은 다양한 형태를 취할 수 있지만 본 논문에서는 정규 혼합 GARCH 모델을 사용하는 국경 간 주식 시장과 VAR 모델을 사용하는 주식 시장의 수익률과 변동성의 상관 관계에 중점을 둔다. 평균에 부분 통합 오류 수정 항이 있는 정규 혼합 GARCH 모델의 두 가지 버전을 고려한다. 하나는 Engle(2002)이 제안한 동적 조건부 상관(DCC) GARCH 를 일반화한 이변량 정규 혼합 시변 GARCH 모델이다. 이변량 정규 혼합 상수 상관 GARCH 모델의 또 다른 버전은 Bollerslev(1990)가 제안한 상수 조건부 상관 GARCH 의 확장이다. 러시아와 카자흐스탄의 관계는 양국 경제에 깊은 영향을 미친다. 러시아 경제의 개방성을 고려할 때, 이 파괴적인 사건이 러시아와 다른 글로벌 주식 시장 간의 연계에 영향을 미쳤을 수도 있다. 본 연구에서는 카자흐스탄과 러시아 주식시장의 조건부 수익률 분포와 무조건 수익률 분포 모두에서 발견된 왜도와 첨도를 포착하기 위해 두 가지 버전의 정규 혼합 GARCH 모델을 사용했다. 그리고 VAR-ECM 모델은 2002 년 4 월부터 2023 년 8 월까지 미국, 유럽, 아시아 주식시장 간의 전염에 적용하여 설명된다. 데이터 세트는 2006 년 6 월 1 일부터 2020 년 3 월 1 일까지의 기간을 포괄하는 카자흐스탄 및 러시아 주가와 세계 원유 가격에 대한 일일 관측치로 구성된다. 실증적 결과에서 장기 기억 효과를 수익률에 통합하면 더 나은 결과를 얻을 수 있을 뿐만 아니라 주식 시장 가격의 역동적인 행동에 대한 설명뿐만 아니라 수익 역학에 대한 더 나은 이해를 향상시키는 데 중요한 역할을 한다. 또한 시간 변화 변동성에 대한 일반 혼합 모델은 일반적인 GARCH 사양보다 조건부 밀도에 더 잘 맞으며 조건부 더 높은 적률이 시간에 따라 변한다는 중요한 이점을 갖다. 이는 정상적인 혼합 모델에 의해 암시된 변동성 왜곡이 위험 특성을 나타낼 가능성이 더 높으며 정보 흐름의 방향은 체제에 따라 다르다는 것을 의미한다. 본 연구 결과에는 자산 배분, 포트폴리오 관리, 위험 관리, 시장 규제 등 국경 간 주식 시장 참가자의 다양한 목적에 유용한 정보가 포함되어 있다. 주식시장 분석 결과에 따른 결론은 다음과 같다. 첫째, 전통적인 오류 수정 모델은 모든 모델에 대해 KASE 와 MOEX 사이에 양방향 인과 관계가 있음을 보여준다. 이는 KASE 와 MOEX 의 주가가 중요한 정보 소스가 될 수 있으며 KASE 가격이 MOEX 가격보다 더 빠르게 새로운 정보를 반영하는 경향이 있음을 시사한다. 둘째, 오류 수정 항에 대한 계수는 기존 오류 수정 모델을 사용하는 KASE 방정식과 FI-CCC 및 FI-NM-CCC 모델을 사용하는 MOEX 방정식에서 모두 통계적으로 유의한다. 특히 흥미로운 점은 KASE 수익률 방정식에 대해 모두 음수이고 MOEX 수익률에 대해 모두 양수인 오류 수정 항에 대한 추정치의 부호이다. 이는 현재 KASE 주가가 하향 조정되고 현재 MOEX 주가가 하향 조정될 것임을 나타낸다. 장기적 균형을 맞추기 위해 상향조정될 것이다. 조정 속도는 러시아 주식시장보다 카자흐스탄 주식시장에서 더 크다. 셋째, KASE 와 MOEX 주가는 후행 WTI 가격에 긍정적으로 반응하여 평균 회귀를 나타내며 MOEX 방정식의 계수는 일반적으로 KASE 방정식의 계수보다 크기가 더 크다. 이는 WTI 가격이 WTI 가격을 통합하는 데 주도적인 역할을 한다는 것을 의미한다.넷째, 전통적인 CCC 및 DCC GARCH 모델의 경우 두 시장 간에 양방향 변동성 파급효과가 있으며 정보 흐름의 방향은 MOEX 에서 KASE 로 더 강한 것으로 보인다. 정규 혼합 모형, 즉 FI-NM-CCC 모형이 본 연구에서 가장 좋은 모형이며, KASE와 MOEX 주식 시장 간의 변동성 파급 계수는 두 번째 성분에서만 5% 수준에서 유의미한다. 비대칭 정규 혼합 모형의 경우 MOEX에서 KASE로의 변동성 유출 계수는 첫 번째 구성 요소의 5% 수준에서 통계적으로 유의하지만 두 번째 구성 요소에서는 그렇지 않다. 반면 MOEX로의 KASE 유출에 대한 모수 추정치는 다음에서 유의한다. 첫 번째 성분과 두 번째 성분 모두 5% 수준이다. FI-NM-CCC 모델의 경우 레버리지 매개변수는 체제에 따라 다르며, 예를 들어 KASE 및 MOEX 시장의 첫 번째 구성요소에 상당히 존재하고 긍정적이다. 이는 현재 수익률과 MOEX 시장 사이에 매우 강한 음의 관계가 있음을 의미한다. 주식시장 분석 결과에 따르면 미국, 한국, 중국, 싱가포르 등의 단기금리에 미치는 영향은 미국의 단기금리보다 일본의 단기금리가 훨씬 더 큰 것으로 나타났다. 미국은 해당 국가의 금리에 적용된다. 더욱이 영국의 단기금리는 미국의 단기금리가 금리에 미치는 영향보다 프랑스, 이탈리아, 독일의 단기금리에 훨씬 더 큰 영향을 미친다. 북미와 남미의 경우 미국의 단기금리가 이들 국가에 미치는 영향보다 캐나다의 단기금리가 브라질, 멕시코, 특히 미국의 단기금리에 훨씬 더 큰 영향을 미치는 것으로 나타났다. 그러나 멕시코의 단기 금리는 캐나다보다 미국의 영향을 더 많이 받는 것을 볼 수 있다. 미국의 장기금리는 일본, 중국, 싱가포르의 영향을 받다. 반대로 이들 국가의 금리는 일본의 장기 금리에 영향을 미친다. 유럽에서는 미국의 장기금리가 이탈리아, 영국, 프랑스의 장기금리에 영향을 미치고, 영국과 프랑스의 장기금리에도 영향을 미친 것을 볼 수 있다. 북미와 남미에서는 캐나다의 장기금리가 이들 국가의 금리에 미치는 영향보다 미국의 장기금리가 브라질, 캐나다, 특히 멕시코의 장기금리에 훨씬 더 큰 영향을 미치는 것으로 나타났. 그런데 멕시코의 장기 이자율은 이들로부터 훨씬 더 큰 영향을 받는 것을 볼 수 있다.

다중 클러스터 및 혼합 시계열 모델을 사용하는 전력 부하 데이터에 대한 결측값 대치 및 예측 알고리즘

정동연 포항공과대학교 일반대학원 2021 국내박사

본 학위 논문은 건물 전력 효율성을 높이기 위한 전력 예측 모델과 전력 데이터 품질을 높이기 위한 데이터의 결측치를 대치하는 모델을 제안하고, 각각의 모델을 실제 전력 데이터에 사용하여 성능을 검증했다. 그리고, 결측치 대치 모델을 제안하는 것에 그치지 않고 실제 데이터에 결측값을 대치하여 예측 성능이 개선되는지 검증했다. 건물 전력 데이터의 특징을 모델에 반영할 수 있도록 실제 데이터(대학 도서관, 식료품) 분석을 선행하여 유용한 데이터 특징들을 도출했다. 건물 전력 데이터의 특징은 일별 전력 곡선들이 몇 가지의 뚜렷한 패턴으로 구분되고, 일별 전력들은 한 패턴으로부터 생성되다가 다른 패턴으로 전이되는 현상을 보인다. 또한, 동일 패턴 내에서 주말엔 상대적으로 전력이 낮고 주중엔 큰 주기성을 보인다. 하루 전력 곡선들 내에서의 분산은 각 시간마다 다름을 보인다. 이러한 특징들을 이용해서 데이터 전력 예측 및 결측값 대치 모델을 제안했다. 첫 번째 주제에서 데이터 분석에서 도출된 하루 전력들이 몇 가지의 패턴을 띄는 특징과 일별 전력 곡선들은 시계열적 상관관계가 있을 것이란 가정을 이용해서 Logistic mixture vector autoregressive (LMVAR) 모델을 제안했다. 일별 데이터의 곡선으로 시계열 모델 추정을 하면 파라미터가 많아져 적절한 모델을 얻기 어려울 수 있으므로, 우리는 일별 전력 곡선을 PCA로 차원을 줄였다. 우리는 차원 축소된 데이터 PC score가 각 패턴마다 Vector autoregressive를 따른다고 가정하고, 패턴의 혼합 비율을 나타내는 변수를 logistic 함수로 나타낼 수 있는 LMVAR을 제안했다. LMVAR에서 logistic 함수가 패턴을 구분하는 것이 중요하므로, 이 부분을 향상 시킬 수 있는 Curve registration을 추가한 LMVAR-CR을 제안했다. 두 모델을 실제 데이터인 대학 도서관과 식료품점 데이터로 검증을 했고, 기존 모델들 보다 정확한 예측 성능을 보여줬다. 두 번째 주제는 건물 전력 데이터 수집 중 발생한 결측값을 대치할 수 있는 모델을 제안했다. 일별 전력 데이터가 몇 가지 패턴을 띄고 시간대별 분산이 다르다는 것을 활용해서 Mixture factor analysis (MFA)를 이용해서 결측값 대치 알고리즘을 제안했다. 제안된 모델은 기존 전력 데이터를 일정 간격으로 분할하고, 분할된 데이터를 MFA를 추정한다. 결측값은 관측된 데이터와 추정된 MFA를 이용하여 대치된다. 적절한 데이터 분할법은 데이터의 연속된 결측 구간의 길이와 데이터 분석에서 도출된 패턴내의 주말/주중 주기성에 따라 결정된다. 결측 구간이 하루 이내로 짧을 때 데이터는 하루 단위로 분할되고, 결측 구간이 하루보다 길 때 데이터는 패턴내의 주기인 7일로 분할된다. 시뮬레이션 스터디를 통해서 데이터 분할법에 대한 검증을 했고, 실제 데이터를 이용해서 제안한 모델의 성능이 기존 모델보다 정확성이 높은 것을 검증했다. 4장에서는 제안한 결측값 대치 모델이 실제 예측 모델 성능 향상에 기여하는지 검증을 했다. 대학 도서관 데이터는 기존 결측값이 존재하여 그 값을 제안한 모델로 대치하여 예측 모델 성능을 검증했다. 첫 번째 주제에서 제안한 LMVAR 모델도 성능이 향상했지만, 기존 모델도 성능이 향상되는 것을 보였다. 특히, multi-output support vector machine (M-SVM) 모델이 상당히 개선되어 가장 좋은 정확성을 보였다. 추가로 식료품점 데이터에 임의로 결측값을 생성하여 동일한 실험을 진행했다. 식료품점에 대한 실험에서도 제안한 결측값 대치 모델은 예측 모델의 성능을 향상시키는 것을 볼 수 있었다. 하지만, 결측값이 50\%일 때, 모델 변수 초기화시 사용한 Bayesian Gaussian Mixture Cluster model (BGMC)이 전력 패턴을 나누지 못하여 LMVAR과 LMVAR-CR의 모델이 추정이 안되는 현상이 발생된다. 이러한 현상은 BGMC대신 Agglomarative clustering으로 대체하여 해결했고, 식료품점에 대하여 성능도 조금 상승하였다. 향후 작업으로는 LMVAR과 LMVAR-CR에서 고려하지 않는 사항들을 고려하여 모델을 확장할 수 있다. 확장된 모델에서 고려해야할 첫 번째는 데이터가 결측값을 가지고 있을 때 LMVAR 모델 추정이 어려우므로 데이터가 결측이 있어도 모델 추정이 가능하도록 하는 것이다. 이는 결측값 대치와 전력 예측을 동시에 할 수 있는 모델일 수 있다. 두 번째는 LMVAR의 타임래그(time lag)클 때 타임래그 내에서 패턴의 변화가 있었다면 큰 오차를 야기할 수 있으므로, 패턴 변화를 고려하는 것이다. 세 번째로 LMVAR에서 고려했던 특징들을 그대로 유지할 수 있게 패턴과 시계열성을 고려하는 것이다. 향후 우리는 세 가지를 고려하기 위해서 Markov-switching vector autoregressive 모델을 확장시킬 수 있다. As the world economy's size grows, the global electric demand has also steadily been increased. The smart grid becomes important as it can balance the electric demand and supply from renewable energy to increase the efficiency of the power system. Balancing the demand and supply requires various technologies such as missing data imputation, electric demand and supply forecast, optimal strategies of the smart grid, etc. These operation technologies depend on the scale of the smart grids, from buildings to cities, and sectors such as an industrial, vehicle, or construction. Especially, the building sector occupies a large proportion of the global energy consumption. Therefore, the operation technologies for building energy are essential. In this dissertation, we focus on the day-ahead electric load forecast and missing data imputation approaches for the building electric load. First, we investigate two data sets and find out a few characteristics. We believe that incorporating those characteristics can be used to improve forecast and imputation quality. Second, we develop two models for day-ahead electric load forecasting when the daily electric load has a few distinctive patterns: logistic mixture vector autoregressive (LMVAR) and LMVAR with the curve registration. We test two models (the models with/without curve registration) with electric load data sets collected from a library and a grocery store. We then compare them with existing forecasting methods such as persistence, sequence-to-sequence long short-term memory (S2S LSTM), seasonal autoregressive (SAR), multiple-output support vector machine (M-SVM), multilayer perceptron (MLP), and a cluster-based model. The result shows that the proposed models outperform the benchmark methods. Third, we propose to adapt the mixture factor analysis (MFA) to the missing imputation framework for the building electric load data to analyze that data or utilize that in many fields such as day-ahead electric load forecast. We estimate the MFA through the expectation-maximization type algorithm. Missing data is then inferred with the estimated MFA model. We present the numerical performance of the proposed approach using building electric load data with comparisons to some existing approaches. Fourth, we compare the forecast accuracy for the electric load before and after the proposed missing value imputation. Through the comparison, we can draw the importance of the imputation for the electric load forecast. Fifth, we introduce the model concept incorporating the imputation and forecast for the building electric load.

(The) impact of imposing equality constraints on residual variances across classes in regression mixture models

최정원 Graduate School, Korea Universtiy 2020 국내석사

최근 교육학, 심리학 분야에서 개인별 효과의 차이를 분석하기 위해 회귀혼합모형(Regression Mixture Model, RMM)의 활용에 대한 관심이 높아졌으나, 모형의 복잡성과 민감성으로 인해 안정적인 추정이 어렵다는 문제가 있어 활발하게 사용되지 못하고 있다. 이에 대한 대안으로 일부 문헌에서 제안하고 있는 잠재집단별 잔차분산의 동일화 제약의 영향을 살펴보고자 본 연구는 잔차분산 자유추정 모형과 제약 모형의 모수 추정의 정확성을 살펴보고 비교하였다. 이를 위해 몬테카를로 시뮬레이션 연구를 진행하였으며, 예측변수의 개수, 잠재집단별 절편, 표본 크기, 잠재집단별 기울기 크기, 잠재집단별 비율에 대한 연구 조건을 다양하게 설정하여 각 조건별 자유추정 모형과 제약 모형의 모수 추정의 정확성을 모수 추정치의 편향, MSE, Coverage를 중심으로 평가하였다. 연구 결과, 전반적으로 자유추정 모형이 제약모형보다 보다 정확한 추정을 보였으나, 작은 표본 크기에서는 자유추정 결과 또한 정확하지 않았다. 자유추정 모형의 모수 추정 정확성은 예측 변수 개수, 표본 크기, 잠재집단별 계수와 절편 차이, 집단 비율에 영향을 받았다. 잠재집단별 잔차분산 크기가 동일하지 않은데 동일화 제약을 한 경우 거의 모든 조건에서 추정 결과가 정확하지 않았다. 특히, 더 낮은 회귀계수를 가지는 집단 2의 모수들이 심각하게 편향되고 기울기를 포함한 모든 모수가 정확하게 추정되지 않았다. 잔차분산의 크기가 동일할 시, 표본의 크기가 500 이상이며 예측변수가 1개, 잠재집단별 절편이 모두 0인 경우 제약 모형이 자유추정 모형보다 더욱 정확한 추정을 보였다. 본 연구는 보다 현실적인 조건 아래에서 모수 추정의 정확성을 체계적이고 포괄적으로 분석하여 잠재집단별 잔차분산 동일화 제약의 영향을 살펴보았으며, 회귀혼합모형을 활용하는 연구자들이 추정 문제를 경험할 때 참조할 수 있는 가이드라인을 제시하였다는 점에서 의의가 있다. Regression mixture modeling (RMM), a mixture model that detects latent classes within a population based on the difference in the relationship between a predictor and an outcome, is increasingly used in educational and behavioral research field to explore heterogeneous effects among individuals. However, an application of RMM is hampered by sensitivity and complexity of the model, in which applied researchers may confront problems in estimation. For alternative, it is suggested to constrain the residual variances equally across the classes, but the impact of this has not been thoroughly examined, especially with smaller sample sizes. The purpose of this study is to explore the impact of constraining class-specific residual variances to be equal, by examining and comparing the parameter estimation of free model and constrained model under various conditions. Monte Carlo simulation study was conducted under realistic and diversified conditions; the number of predictors, class-specific intercepts, sample size, class-specific regression weights, and class proportion were considered for manipulation. Under the manipulated conditions, free model and restricted model for residual variances are estimated, and the results for parameter estimation were evaluated with parameter bias, MSE, and coverage of 95% confidence interval. The findings of this study are as follow. A free model yielded a more accurate estimation than a restricted model for most of the conditions, but with less accuracy with a small sample size. The accuracy of free model estimation was impacted by the number of predictors, sample size, the disparity in the magnitude of class-specific slopes and intercepts, and class proportion. When the equality constraints were imposed in residual variance discrepant conditions, the parameter estimates showed substantial inaccuracy for slopes, intercepts, and residual variances, especially for those in Class 2 (with a lower class-specific slope). When the residual variances were equal between the classes, the restricted model showed better performance under some conditions. This study is meaningful in that diverse and realistic conditions were included in systematically examining the parameter estimation of free and restricted models, and the impact of residual variances in RMMs was examined which had not been thoroughly examined in finite mixture models.

Direction-of-Arrival estimation of multiple sound sources in noisy and reverberant environments using Laplacian Mixture Model : 반향이있는잡음환경에서라플라스혼합모델을사용한다중음원의방향추정

누엔황안 배재대학교 일반대학원 2011 국내석사

Direction-of-Arrival (DOA) estimation of multiple sound sources or sound source localization is a basic but important technique to many applications such as robots, speech enhancement, and surveillance. Many efficient methods for DOA estimation have been studied so far, which include Generalized Cross Correlation (GCC) based method, time-frequency histogram, Degenerate Unmixing Estimation Technique (DUET), Kernel Density Estimation (KDE) and so on. In this thesis, we investigate a probabilistic method to estimate the DOA of each source in speech mixtures in noisy reverberant environments. Laplacian mixture model(LMM) is used to model the speech mixture and log-likelihood function is formulatedto find the DOA of each source in a mixture. Since the log-likelihoodfunction is a function of hidden variables, we cannot obtain the solution directly. Instead, an Expectation-Maximization (EM) algorithm is implemented to find thesolution iteratively. In the simulation section, our method was implemented in both batch and online processing modes. We used a two-microphone array with inter-microphone distance of 15㎝. To mimic noisy reverberant environments, speech samples from TIMIT data base were convolved with impulse responses generated by RoomSim MATLAB toolbox and noise were added to get 10㏈ signal-to-noise ratio. Each mixture consists of 2~4 sources that are heavily overlapped. In online processing mode, both fixedand moving sound sources were tested. We compared the performance of LMM and Gaussian mixture model (GMM). We found that the LMM is more accurate in DOA estimation of multiple sources than the GMM in all cases simulated. 다중음원의 방향 추정(DOA) 혹은 음원 위치 확인은 로봇, 음질 개선, 환경 감시 등의 응용에 기본적인 중요한 요소이다. 현재까지 Generalized Cross Correlation (GCC), 시간-주파수 히스토그램, Degenerate Unmixing Estimation Technique (DUET), Kernel Density Estimation (KDE)등 같은 여러 방식이 연구 제안되었다. 그러나 이들의 성능은 잡음과 반향의 정도에 따라 성능이 저하되는 단점이 있다. 이 논문에서는 잡음이 많고 반향이 많은 환경에서 효과적인 다중 음원의 DOA 추정 방법을 연구한다.마이크로폰에 수집된 음성 혼합물는라플라스혼합모델로 모델되고 이로부터 각 음원의 DOA를 추정하기 위해 로그-우도함수를 수식화한다.로그-우도함수는 알려지지 않은 변수의 함수이므로 직접적으로 해를 구할 수 없다. 대신, Expectation-Maximization (EM) 알고리즘을 이용하여 반복적인 방법으로 해를 구한다. 방법의 효율성을 검증하기 위해 배치 온라인 처리 과정이 모두 구현되었다. 마이크로폰 사이의 거리가 15㎝인 두 개의 마이크로폰으로 구성된 어레이를 사용하였다. 반향이 있는 잡음환경을 만들기 위해RoomSim MATLAB toolbox로부터 임펄스 응답을 만들었으며, 이를 TIMIT 데이터베이스의 음성 신호 샘플들과 콘볼루션한 다음 SNR이 10 ㏈가 되도록 잡음을 추가하여 마이크로폰 신호를 만들어 냈다. 각각의 혼합물은 2~4개의 중첩도가 매우 높은 음성으로 구성되어 있다. 온라인 모드에서는 음원이 고정된 경우와 움직이는 경우를 모두 고려하였다. 실험을 통해 라플라스 모델과 가우시안 모델의 성능을 비교하였으며, 거의 모든 경우에서 라플라스 모델이 더 정확하고 계산이 간단함을 확인할 수 있었다.

Sample size of mixture cure survival models using convolution of exponential distributions in multi-state models

한미라 Graduate School, Yonsei University 2022 국내박사

Mixture Distribution Fitting and Modeling for Regional Frequency Analysis of Maximum Wind Speed over Korea and Iran

니마가지자하니 경상대학교 대학원 2015 국내석사

본 연구에는, L-moments 와 harmony search 파라미터 추정법을 사용하여 한국 68개소의 설계풍속을 도출하는 연구를 실시하였다. L-moments방법을 바탕으로 그룹의 균질성을 구분해 내었다. 또한, 기존에 일반적으로 풍속 산정에 적용된 Generalized Logistic (GLOG), General Extreme Value (GEV), Generalized Pareto (GPAR), Weibull의 분포형에 적용하여 설계 풍속값을 산정하였을 뿐만 아니라 Gamma와 Gumbel의 분포를 조합시킨 혼합분포형을 이용하여서도 설계값을 산정하였다. 산정결과, 한국에서는 Weibull분포가 가장 적절한 분포모형임을 알 수 있었고, 이란에서는 GamGum 의 혼합분포형이 가장 좋은 분포형임을 입증하였다. 본 연구의 결과는 기존의 단일 분포형보다 특정지역에서는 혼합분포형을 사용하였을 때 더 낳은 결과를 얻을 수 있다는 새로운 사실을 알게 하였으며 이는 향후 기후변화로 인한 영향까지를 고려하였을 때 혼합분포형이 가지는 물리적 의미와 결합하여 설계풍속값 산정에 중요한 의미를 내포하게된다. In this study, it has been tried to determine and investigate meteorologically homogeneous regions and to derive regional estimates of maximum wind speed for 68 gauged sites in South Korea and 19 stations in Iran, using an index wind method with L-moments and harmony search parameter estimation. Screening of the data of the gauged site is carried out based on a discordancy measure in terms of the L-moments. Homogeneity of the group is tested using simulation with a four-parameter Kappa distribution and the L-moments based on heterogeneity measure. Comparative regional wind frequency estimates are made for a region using various conventional distributions, namely the Generalized Logistic (GLOG), General Extreme Value (GEV), Generalized Pareto (GPAR), Weibull. Furthermore, three types of two-component mixture distributions, built by combination of Gumbel and Gamma distributions with five-parameters were also tested such as Gumbel-Gumbel (GumGum) ,Gamma-Gamma (GamGam), and Gamma-Gumbel (GamGum) distribution models while their parameters are estimated by harmony search method (HS). The results of the current study showed that the Weibull distribution is identified as the best-fit distribution in Korea, and the GamGum mixture distribution in Iran to be the best regional distribution model for 3-h maximum the mean annual wind speeds (AM3W) within a homogeneous region based on ix goodness-of-fit test measurement. In other words, Weibull as a suitable distribution with three parameters and GamGum as a reliable mixture distribution with five parameters are suggested as an appropriate for other Korean and Iranian stations, respectively, although caution needs to be taken to generalize the statement. The current study concludes that the design wind speed for constructing wind farms and facilities can further accurately be estimated through combining the regionalization technique and appropriate mixture distributions. Keywords: GamGum mixture distribution model, Harmony search, Iran, Korea, L-moments, Maximum wind speed, Mixture distribution models, Regional frequency analysis, Weibul distribution model.

혼합치유모형(Mixture Cure Model)에서의 비모수적 추론

김범환 韓國外國語大學校 大學院 2019 국내석사

Mixture Cure Model의 비모수적 추정법이 제안되었다. Incidence의 비모수적 추정량은 광범위하게 연구 되었고 치유되지 않은 환자의 조건부 생존함수, 즉 latency의 비모수적 추정량 또한 제안되었다. 조건부 생존함수의 Beran 추정량에 기초한 이 추정량들은 local maximum likelihood estimators에 의해 증명된다. 비모수적 Incidence 추정량은 i.i.d. 성격을 나타낸다. 결과적으로 점근 적 최적의 대역폭이 나타난다. 또한 비모수적 Incidence의 추정량을 위한 부트스트랩 대역폭 선택 방법이 제안되었다. 본 논문에서는 비모수적 접근법 López-Cheda(2017), 모수적 접근법, 준모수적 접근법 Peng and Dear (2000)을 실제 데이터에 적용하여 치유율과 생존확률을 비교하였다.