A Comparison of MCMC and MMLE/EM Algorithms for Fixed Item Parameter Calibration

김소희(Kim, Sohee),강태훈(Kang, Taehoon) 한국교육평가학회 2012 교육평가연구 Vol.25 No.2

본 연구의 주된 목적은 고정문항모수추정 방법으로 두 개의 검사 문항들의 모수 추정치를 연결하고자 할 때 MCMC와 MMLE/EM 알고리즘의 수행 결과를 비교하는 것이다. 다양한 조건을 포함하는 시뮬레이션 연구를 통하여, 표본 크기, 공통 문항 수, 능력 분포에 따른 두 방법의 문항모수 연계 결과를 비교하고, 두 방법의 RMSE 평균값 차이가 유의미한지를 확인하였다. 표본크기가 증가함에 따라서 MCMC와 MMLE/EM 알고리즘 모두 더 좋은 수행력을 보였다. 또한 공통문항의 수가 증가함에 따라서 MCMC와 MMLE/EM 알고리즘 모두 더 좋은 문항모수 연계 결과를 산출하였으며, 두 방법의 결과 또한 유사했다. 주어진 세 가지 능력분포 조건 모두에서 두 방법이 유사한 결과를 산출했으므로 능력분포에 따른 차이는 미미했다고 볼 수 있다. 마지막으로 각 조건별로 RMSE 값의 차이가 유의미한지 검증하기 위한 t 검증의 결과, 일부 조건에서 변별도 모수나 곤란도 모수 등에 유의미한 차이를 보였다. 두 추정 방법의 고정문항모수 추정 결과에서 전반적으로 큰 차이가 없음을 발견함으로써, MMLE/EM 알고리즘이 적용되기 어려운 상황에서 MCMC를 사용하여 두 검사 문항 추정치의 연계를 보다 쉽게 수행할 수 있을 것으로 기대된다. Under item response theory, there are several procedures commonly used for item parameter linking such as separate calibration with linking, concurrent calibration, and fixed item parameter calibration. Recently, the FIPC method has been identified to provide as accurate linking results as the other procedures. The main goal of this study is to compare the performances of MCMC and MMLE/EM algorithms when they are used for the purpose of conducting the FIPC. In a simulation study, comparisons among the two algorithms suggested that the results of FIPC were dependent to some extent on the particular conditions simulated. Overall, however, they appeared to provide very similar results of item-parameter linking. Considering there is an increasing use of MCMC algorithm in IRT, it will be meaningful and valuable to investigate the usefulness of MCMC algorithm for FIPC because the same application can be easily extended to much more complicated situations where the MMLE/EM algorithm is very difficult to apply.

마코프체인 몬테카를로 방법을 이용한 에너지 저장 장치용 배터리의 잔존 수명 추정

김동진(Dongjin Kim),김석구(Seok Goo Kim),최주호(Jooho Choi),송화섭(Hwa Seob Song),박상희(Sang Hui Park),이재욱(Jaewook Lee) 대한기계학회 2016 大韓機械學會論文集A Vol.40 No.10

리튬 이온 배터리의 잔존수명 추정은 품질보증, 운전계획, 교체주기 파악 등을 위해 활용된다는 점에서 그 필요성이 점점 커지고 있다. 본 논문에서는 에너지 저장 장치용 배터리의 잔존 수명을 단일지수 용량열화 모델과 마코프체인 몬테카를로(MCMC) 방법을 이용하여 추정한 결과를 제시한다. MCMC 방법은 사전 정보가 제대로 주어지지 않았을 때, 추정결과가 모델 초기값과 입력 설정값에 따라 크게 변하게 되는 단점이 있어, 실제 현장에서 배터리 모델과 추정법에 익숙하지 않은 사용자가 활용하는데 어려움이 있다. 이러한 어려움을 극복하기 위해, 본 논문에서는 베이지안 추론법의 이론식을 전역 탐색하여 구한 이론값과 MCMC 추정값을 비교해서, 초기값과 설정값을 결정하는 과정을 제안한다. Remaining useful life (RUL) estimation of the Li-ion battery has gained great interest because it is necessary for quality assurance, operation planning, and determination of the exchange period. This paper presents the RUL estimation of an Li-ion battery for an energy storage system using exponential function for the degradation model and Markov Chain Monte Carlo (MCMC) approach for parameter estimation. The MCMC approach is dependent upon information such as model initial parameters and input setting parameters which highly affect the estimation result. To overcome this difficulty, this paper offers a guideline for model initial parameters based on the regression result, and MCMC input parameters derived by comparisons with a thorough search of theoretical results.

DINA 모형을 통한 피험자 능력 추정의 정확성 연구 : MCMC와 MMLE/EM 알고리듬의 비교를 중심으로

심혜진,강태훈 한국교육방법학회 2015 교육방법연구 Vol.27 No.3

본 연구에서는 DINA 모형 추정이 가능한 알고리듬인 MCMC와 MMLE/EM을 사용하여 피험자 능력 추정의 정확성 측면에서 그 결과를 비교하고자 하였다. 모의실험 연구를 통하여 각 피험자의 진(true) 숙달여부를 알고 있는 상황 하에서 자료를 생성하고, 이에 대한 분석을 통하여 숙달여부 추정의 정확성 즉 분류정확성을 확인할 수 있었다. 모의실험 요인으로는 검사길이 및 인지요소들 간 상관계수의 크기 등을 고려하였다. MCMC를 사용하여 DINA 모형을 추정할 수 있는 WinBUGS 프로그램의 경우, 연구자에 의한 자유로운 프로그램 작성 및 도출 결과의 선택이 가능하기 때문에, 개별 피험자의 각 인지요소별 숙달확률 및 숙달여부에 관한 추정치를 모두 구할 수 있었다. 하지만 MMLE/EM을 통하여 모수를 추정하는 Ox 프로그램은 DINA 모형을 다룸에 있어서 추정 결과로서 각 인지요소의 숙달여부만 제공하는 것으로 나타났다. 연구 결과, 피험자의 인지 능력을 평가하기 위하여 능력 관련 추정치를 제공하고자 할 때, 숙달확률보다는 숙달여부를 사용하는 것이 보다 타당한 선택임을 확인할 수 있었다. 또한 숙달여부 복원과 관련하여, MCMC에 의한 능력모수 추정 결과보다 MMLE/EM이 보다 안정적이고 정확한 결과를 산출하는 것으로 나타났다. 또한 많은 모의실험 조건에서 검사길이가 증가하면 분류정확성이 높아지는 경향이 있었다. 마지막으로, 모든 인지요소의 숙달여부 즉 전체 숙달 패턴이 정확하게 복원되는지를 살펴보는 경우 인지요소 간의 상관이 높을수록 분류정확성이 높아짐을 확인할 수 있었지만, 인지요소 간 상관 정도와 개별 인지요소 숙달여부의 분류정확성 간에는 뚜렷한 연관성이 없는 것으로 나타났다 This study is to investigate the accuracy of ability parameter estimates based on the DINA model using MCMC and MMLE/EM algorithms through several simulation conditions, focusing on the two kinds of results such as mastery probability and mastery state. The former can be performed by the WinBUGS program, and the latter can be utilized using the Ox program which provides information only on mastery state of each attribute. In a simulation study to evaluate the accuracy of ability recovery, two factors such as the test lengths and the correlations among cognitive attributes were considered together. The results show that if one has to choose between mastery state and mastery probability to evaluate examinee’s cognitive ability, presenting mastery state rather than mastery probability can be safer choice. Comparing the performances of MCMC and MMLE/EM algorithms in terms of classification accuracy, the latter appears to provide consistently better estimates than the former. Moreover, the result suggests not only that the longer test length is given, the larger classification accuracy tends to be obtained, but also that accuracy classification results at the whole-pattern level increases when the correlations between attribute are higher. Such relationship between the correlations and classification accuracy, however, was not found when the recovery is evaluated in terms of the mastery on each individual attribute

확률코퓰러모형에 대한 베이지언 추론

김태형,박정민 한국계량경제학회 2018 계량경제학보 Vol.29 No.2

We proposes a new Bayesian MCMC algorithm for dynamic stochastic copula models with dependence parameters as unobserved state variables and presents the performance of the proposed MCMC algorithm through simulations. Our MCMC algorithm draws the state variables with an acceptancerejection Metropolis-Hastings algorithm using the candidate generating probability density function obtained by approximating the probability density function of the observed variables to the normal distribution of the dependence parameter.As an empirical example,weanalyzedthe stochasticcopulamodels for the KOSPI index and the HSCE index (Hang Seng China enterprise index) returnsfromJanuary3,2003toDecember30,2014usingtheproposedalgorithm. The Bayesian inference and model comparison results of the stochastic copula models of Gaussian copula, Student t-copula, Clayton copula, Frank copula, rotated Gumbel copula, and Plackett copula showed that Student t-copula model couldbeselectedasthebestmodel.Thesemodelcomparisonsresultsimplythat even though Gaussian stochastic copula model can capture ’near asymptotic dependence’, there may exist extreme tail dependence that can not be captured by the Gaussian stochastic copula model. 본 연구는 연관성 파라미터를 미관측 상태변수로 가지는 확률코 퓰러모형에 대한 베이지언 MCMC알고리듬을 제안하고, 시뮬레이션을 통해 본 연구에서 제안한 MCMC알고리듬의 성과를 제시한다. 본 연구의 MCMC 알고리듬은 관측치의 확률밀도함수를 연관성 파라미터의 정규분포로 근사하 여 얻어지는 후보생성확률밀도함수를 이용하는 ARMH알고리듬(acceptancerejection Metropolis-Hastings algorithm)으로 상태변수를 사후표본추출 한다. 또한 본 연구에서 제안한 알고리듬을 이용하여 2003년 1월 3일 ˜ 2014년 12 월 30일 기간의 KOSPI지수와 HSCE지수(Hang Seng China enterprise index) 수익률 일간자료에 대한 확률코퓰러모형을 실증분석 하였다. 가우시언코퓰 러, 코퓰러, Clayton코퓰러, Frank코퓰러, 회전Gumbel코퓰러, Plackett코퓰러 의 확률코퓰러모형에 대한 베이지언 추정과 모형 비교 결과, 코퓰러모형이 가 장 좋은 모형으로 선택되는 실증분석 결과를 얻었다. 이러한 모형 비교 결과는 가우시언확률코퓰러모형이 ‘near asymptotic dependence’를 포착할 수 있음에 도 가우시언확률코퓰러모형이 포착할 수 없는 극단적인 꼬리 연관성이 남아 있을 수 있음을 의미한다.

확률코퓰러모형에 대한 베이지언 추론

김태형(TaeHyung Kim),박정민(Jeongmin Park) 한국계량경제학회 2018 JOURNAL OF ECONOMIC THEORY AND ECONOMETRICS Vol.29 No.2

본 연구는 연관성 파라미터를 미관측 상태변수로 가지는 확률코 퓰러모형에 대한 베이지언 MCMC알고리듬을 제안하고, 시뮬레이션을 통해 본 연구에서 제안한 MCMC알고리듬의 성과를 제시한다. 본 연구의 MCMC 알고리듬은 관측치의 확률밀도함수를 연관성 파라미터의 정규분포로 근사하여 얻어지는 후보생성확률밀도함수를 이용하는 ARMH알고리듬(acceptancerejection Metropolis-Hastings algorithm)으로 상태변수를 사후표본추출 한다. 또한 본 연구에서 제안한 알고리듬을 이용하여 2003년 1월 3일 ˜ 2014년 12 월 30일 기간의 KOSPI지수와 HSCE지수(Hang Seng China enterprise index) 수익률 일간자료에 대한 확률코퓰러모형을 실증분석 하였다. 가우시언코퓰 러, 코퓰러, Clayton코퓰러, Frank코퓰러, 회전Gumbel코퓰러, Plackett코퓰러 의 확률코퓰러모형에 대한 베이지언 추정과 모형 비교 결과, 코퓰러모형이 가장 좋은 모형으로 선택되는 실증분석 결과를 얻었다. 이러한 모형 비교 결과는 가우시언확률코퓰러모형이 ‘near asymptotic dependence’를 포착할 수 있음에 도 가우시언확률코퓰러모형이 포착할 수 없는 극단적인 꼬리 연관성이 남아 있을 수 있음을 의미한다. We proposes a new Bayesian MCMC algorithm for dynamic stochastic copula models with dependence parameters as unobserved state variables and presents the performance of the proposed MCMC algorithm through simulations. Our MCMC algorithm draws the state variables with an acceptancerejection Metropolis-Hastings algorithm using the candidate generating probability density function obtained by approximating the probability density function of the observed variables to the normal distribution of the dependence parameter. As an empirical example, we analyzed the stochastic copula models for the KOSPI index and the HSCE index (Hang Seng China enterprise index) returns from January 3, 2003 to December 30, 2014 using the proposed algorithm. The Bayesian inference and model comparison results of the stochastic copula models of Gaussian copula, Student t-copula, Clayton copula, Frank copula, rotated Gumbel copula, and Plackett copula showed that Student t-copula model could be selected as the best model. These model comparisons results imply that even though Gaussian stochastic copula model can capture ’near asymptotic dependence’, there may exist extreme tail dependence that can not be captured by the Gaussian stochastic copula model.

입력변수의 불확실성 보정을 위한 인공신경망 대리모델 기반의 민감도 분석 및 베이지안 MCMC

박성철(Park, Seong-Cheol),하주완(Ha, Ju-Wan),박경순(Park, Kyung-Soon),송영학(Song, Young-Hak) 한국건축친환경설비학회 2021 한국건축친환경설비학회 논문집 Vol.15 No.4

To have a precise simulation of building and quantitative performance evaluation, it is necessary to have high accuracy of input variables to implement a simulation. Inherent uncertainties (unknown fault or rapid error generation, etc.) in input variables can have a significant impact on energy performance evaluation. To solve this, this study conducted Artificial Neural Network (ANN) surrogate model-based Sobol sensitivity analysis using data of water-cooled variable refrigerant flow air conditioning system and Bayesian Markov chain Monte Carlo (MCMC) using no-U-turn sampler (NUTS) algorithm was performed. The main results showed that the Coefficient of the Variation of the Root Mean Square Error of the ANN surrogate model was 23.4%, and the top 6 variables that affected the energy usage through the sensitivity analysis results were selected. Then, the prior and posterior probability distributions were plotted through Bayesian MCMC. The convergence verification result of MCMC verified that the mean R-hat value was 1.0, which ensured the accuracy of MCMC. For future study, a virtual sensor will be developed to detect and diagnose faults in building heating, ventilation, and air conditioning based on the study results.

손해보험 위험조정 MCMC 추정기법

조재훈 ( Jae Hoon Jho ) 한국보험학회 2016 保險學會誌 Vol.105 No.-

국제회계기준의 원칙에 부합하는 부채의 시가평가와 관련하여 보험업 분야에서 요구되는 최선추정, 할인율, 위험조정, 서비스 마진의 산출방법이 최근 중요한 이슈로 간주되고 있다. 본 연구는 손해보험회사의 지급준비금 변동성을 의미하는 위험조정을 산출하는 다양한 모형을 비교하고, 진전연도와 발생연도를 함께 고려하는 베이지언 모형이 갖는 장점에 대하여 논하였다. 본 연구의 베이지언 구조는 추가지급보험금이 로그정규분포를 따르는 모형을 이용하였으며, MCMC기법의 대표적인 기법인 깁스샘플링 알고리듬을 이용하였다. 성공적인 IFRS 2단계의 도입을 위하여 보험회사의 지급준비금 변동성을 수리적으로 추정하는 일련의 과정을 제시하고 국내 보험업계의 최근 10년 간의 자동차보험 손해진전자료를 바탕으로 실증분석결과를 제시하였다. IFRS phase II is expected to be effective as of 2021 according to the recent press release by IASB. Insurance companies are to be required to estimate the market value liability based on the principles proposed by IFRS final draft. This paper considers the method of risk adjustment estimation in non-life insurance, beginning with Bayesian structure incorporated with log-linear model of incremental paid loss. The advantages of Bayesian structure which includes the accident year effect as well as development year effect are discussed rigorously, and numerical analyses of the recent data in Korea auto insurance are provided. Technically, Gibbs sampling algorithm is adopted to estimate the parameters of Bayesian structure.

Bayesian MCMC를 이용한 저수량 점 빈도분석 2 : 적용과 비교분석

김상욱,이길성 한국수자원학회 2008 한국수자원학회논문집 Vol.41 No.1

본 연구에서는 Bayesian MCMC 방법과 2차 근사식을 이용한 최우추정(Maximum Likelihood Estimation, MLE)방법 방법을 이용하여 낙동강 유역의 본류지점인 낙동, 왜관, 고령교, 진동지점에 대한 점 빈도분석을 수행하고 그 결과로써 불확실성을 포함한 빈도곡선을 작성하였다. 통계적 실험을 통한 두 가지 추정방법의 분석을 위하여 먼저 자료의 길이가 100인 8개의 합성 유량자료 셋을 생성하여 비교 연구를 수행하였으며, 이를 자료 The Bayesian MCMC(Bayesian Markov Chain Monte Carlo) and the MLE(Maximum Likelihood Estimation) methods using a quadratic approximation are applied to perform the at-site low flow frequency analysis at the 4 stage stations (Nakdong, Waegwan, Goryeonggyo

혼합형태의 공통+행렬표집 가교문항설계의 베이지안 IRT 동등화 방안

남현우 한국교육과정평가원 2012 교육과정평가연구 Vol.15 No.3

This study was intended to find out the appropriate priors for the Bayesian IRT equating in the common plus matrix-sampled anchor items design. For the study, the 10th grade students' Korean Test in the National Assessment of Educational Achievement was used. The item responses sampled by non- equivalent group anchor test design were revised to the common plus matrix-sampled anchor items design with 6 blocks at most. Traditional IRT equating methods, CCT and FPIP in the context of MLE, were included to the Bayesian IRT equating as those of flat priors and point priors methods. In addition to those of completely uninformative priors and completely informative priors, intermediate informative priors in the context of MCMC were introduced to this study. The traditional IRT equating method(CCT) showed its equating result a little bit different from those of Bayesian IRT equating with intermediate priors (point prior, just prior, high prior) in the context of MCMC. This study also revealed high possibilities of Bayesian IRT equating with appropriate priors in the non-optimal testing designs such as matrix-sampled anchor items design. 가교 문항의 노출 위험을 적게 하면서 피험자의 수험 부담을 줄일 수 있도록 하는 공통+행렬 표집 가교 문항 설계(Common plus Matrix-sampled Anchor Items Design)에서 사용 가능한 문항반응이론(IRT)의 동등화 방안을 확장하려는 목적으로 본 연구가 수행되었다. 기존의 최대우도추정(MLE) 방식에 의한 동등화 방안들을 베이지안 사전 정보(Bayesian Informative Priors)를 활용하는 새로운 IRT 동등화의 부분 집합으로 보면서, 행렬 표집 설계에서 가장 안정적인 결과를 나타내는 베이지안 IRT 동등화 방안을 찾아보려 했다. 고전적인 가교 문항 설계로 수집된 국가수준 학업성취도 평가의 고1 국어 시험 자료를 최대 6개의 구획으로 행렬 표집되는 자료로 변형하였다. 구획 수가 많아지고 또 구획 당 피험자 수가 적어지면서 모수 추정 및 동등화에 어느 정도의 오차가 발생하는지를 알아보았다. 또한 사전 정보를 제시하는 방식에 따라 모수 추정 및 동등화에 어떤 영향이 있는지를 알아보았다. MLE 방식의 문항모수고정(FPIP) 방법은 점-사전 정보(Point Prior)를 활용한 베이지안 IRT 동등화로, 그리고 특성곡선전환(CCT) 방법은 사전 정보가 없는(Flat Prior) 베이지안 IRT 동등화와 같은 것으로 보고, 이에 덧붙여 사전 정보의 정도를 달리하는 MCMC 방식의 두 가지 베이지안 IRT 동등화 방법들(즉, Informative Prior, High Informative Prior)을 적용해보았다. 사전 정보의 활용 정도가 지나치게 높거나(Point Prior) 낮은 경우(Flat Prior)보다는 어느 일정 수준의 사전 정보(Informative Priors)를 활용할 때 안정적인 동등화 결과를 나타낼 것이라는 가정을 지지할만한 명확한 증거를 찾을 수 없었다. 가장 안정적인 결과를 보인 점-사전 정보 방법의 한계와, 최적의 사전 정보 수준을 찾는 후속 연구의 필요성 등을 논의했다.

Bayesian Inference for continuous time GARCH diffusion limit stochastic volatility models

김태형(TaeHyung Kim),박정민(JeongMin Park) 한국계량경제학회 2022 JOURNAL OF ECONOMIC THEORY AND ECONOMETRICS Vol.33 No.3

본 연구는 연속시간 GARCH 극한 확률변동성모형에 대한 베이지언 MCMC알고리듬과 알고리듬의 성과에 대한 모의실험 결과, 그리고 실증분석 결과를 제시한다. 본 연구의 알고리듬은 1단계-NR알고리듬(one-step Newton-Raphson algorithm)을 이용한 조건부분산 사후확률밀도함수에 대한정규분포근사를 이용한다. 본 연구의 알고리듬은 GARCH 극한 확률변동성모형 뿐만 아니라 조건부분산의 주변확률밀도함수 또는 주변확률밀도함수의확률커널(probability kernel)을 알 수 있는 연속시간 확률변동성모형 추정에적용될 수 있다. 본 연구의 MCMC알고리듬의 일반성에 대한 예시로 GARCH 극한 확률변동성모형과 함께 Feller제곱근 확률변동성모형에 대한 실증분석결과를 제시한다. We propose a new Bayesian Markov chain Monte Carlo algorithm for continuous time GARCH diffusion limit stochastic volatility models and demonstrate the performance of our algorithm through simulation experiments and empirical analyses. Our algorithm exploits the normal distribution approximation of the posterior density of conditional variance using the one-step Newton- Raphson algorithm. Our algorithm can be applied not only to the continuous time GARCH diffusion limit stochastic volatility model but also to the continuous time stochastic volatility models of which the marginal probability density functions or the probability kernels of them are known. We present an empirical analysis results of the Feller square-root stochastic volatility model as well as the continuous time GARCH diffusion limit stochastic volatility model as an exhibition of the generality of our MCMC algorithm.