주성분회귀와 고유값회귀에 대한 감도분석의 성질에 대한 연구

신재경,장덕준,Shin, Jae-Kyoung,Chang, Duk-Joon 한국데이터정보과학회 2009 한국데이터정보과학회지 Vol.20 No.2

회귀분석에서 설명변수들 사이에 상관이 높으면 최소제곱추정법에서 구한 회귀계수들의 정도가 떨어진다. 다중공선성이라 불리는 이 현상은 실제 자료분석에서 심각한 문제를 야기시킨다. 이 다중공선성의 문제를 극복하기 위한 여러 가지 방법이 제안되었다. 능형회귀, 축소추정량 그리고 주성분분석에 기초한 주성분회귀와 고유값회귀등이 있다. 지난 수십 년간 많은 통계학자들은 일반적인 중 회귀에서 감도분석에 관해 연구하였으며, 주성분회귀, 고유값회귀와 로지스틱 주성분회귀에 대해서도 같은 주제로 연구하였다. 이 모든 방법에서 주성분분석은 중요한 역할을 하였다. 또한, 많은 통계학자들이 주성분분석과 관련된 다변량 방법에서 감도분석에 대해 연구를 하였다. 본 연구논문에서는 주성분회귀와 고유값회귀를 소개하고, 또한 주성분회귀와 고유값회귀에서 감도분석의 방법을 소개하고, 마지막으로 이들두방법에 대한 감도분석의 성질에 대해 논의하였다. In regression analysis, the ordinary least squares estimates of regression coefficients become poor, when the correlations among predictor variables are high. This phenomenon, which is called multicollinearity, causes serious problems in actual data analysis. To overcome this multicollinearity, many methods have been proposed. Ridge regression, shrinkage estimators and methods based on principal component analysis (PCA) such as principal component regression (PCR) and latent root regression (LRR). In the last decade, many statisticians discussed sensitivity analysis (SA) in ordinary multiple regression and same topic in PCR, LRR and logistic principal component regression (LPCR). In those methods PCA plays important role. Many statisticians discussed SA in PCA and related multivariate methods. We introduce the method of PCR and LRR. We also introduce the methods of SA in PCR and LRR, and discuss the properties of SA in PCR and LRR.

주성분회귀분석을 활용한 다항회귀분석 성능개선

양원석(Won Seok Yang),박현민(Hyun-Min Park) 한국콘텐츠학회 2015 한국콘텐츠학회논문지 Vol.15 No.1

종속변수와 설명변수 사이의 관계가 선형이 아닌 경우에는 비선형 관계를 반영할 수 있는 다항회귀분석을 이용하여 회귀분석을 수행한다. 한편, 다항회귀분석에는 설명변수의 거듭제곱항들이 설명변수에 추가되므로 설명변수들 사이에 상관관계가 발생하여 다항회귀모형의 성능 저하 문제가 발생할 수 있다. 본 논문에서는 PGF 수치역변환 문제를 사례로 하여 주성분회귀분석을 통해 다항회귀분석의 성능을 극적으로 향상시킬 수 있음을 보인다. 본 논문에서는 PGF의 정의를 이용하여 PGF를 다항회귀분석으로 모형화한다. 다항회귀분석을 이용하여 PGF 전개식의 회귀계수를 추정하면 회귀계수의 추정 자체가 불가능하거나 계수 추정의 정확성이 저하되는 문제가 발생한다. 이 경우 다항회귀분석에 주성분회귀분석을 적용하면 계수 추정의 정확도가 극적으로 향상되어 다항회귀분석의 계수 추정 시 발생하는 문제를 해결할 수 있음을 밝힌다. We use polynomial regression instead of linear regression if there is a nonlinear relation between a dependent variable and independent variables in a regression analysis. The performance of polynomial regression, however, may deteriorate because of the correlation caused by the power terms of independent variables. We present a polynomial regression model for the numerical inversion of PGF and show that polynomial regression results in the deterioration of the estimation of the coefficients. We apply principal components regression to the polynomial regression model and show that principal components regression dramatically improves the performance of the parameter estimation.

임상의를 위한 다변량 분석의 실제

오주한(Joo Han Oh),정석원(Seok Won Chung) 대한견주관절의학회 2013 대한견주관절의학회지 Vol.16 No.1

임상 의학의 연구에 사용되는 대표적 다변량 분석 방법은 다중 회귀 분석 방법인데, 이는 인과 관계를 토대로 여러 개의 변수에 의한 한꺼번에의 영향력을 분석하기 위한 방법이다. 다중 회귀 분석은 기본적으로 회귀분석의 기본 가정을 만족해야 함은 물론, 여러 개의 독립 변수들이 포함되기 때문에 변수들을 모형에 포함시키는 방법 및 다중 공선성 문제에 대한 고려가 필요하다. 다중 회귀 분석 모형의 설명력은 결정 계수 R2으로 표현되어 1에 가까울수록 설명력이 크며, 각 독립 변수들의 결과에의 영향력은 회귀 계수인 β값으로 표현된다. 다중 회귀 분석은 종속 변수의 형태에 따라 다중 선형 회귀 분석, 다중 로지스틱 회귀 분석, 콕스 회귀 분석으로 나눌 수 있다. 종속 변수가 연속 변수인 경우 다중 선형 회귀 분석, 범주형 변수인 경우 다중 로지스틱 회귀 분석, 시간의 영향을 고려한 상태 변수인 경우는 콕스 회귀 분석을 시행해야 하며, 각각 결과에의 영향력은 회귀 계수 β, 교차비, 위험비로 평가한다. 이러한 다변량 분석에 대한 이해는 연구를 계획하고 결과를 분석하고자 하는 임상 의사에게 있어 보다 효율적인 연구를 위해 필수적인 소양이라고 할 수 있다. In medical research, multivariate analysis, especially multiple regression analysis, is used to analyze the influence of multiple variables on the result. Multiple regression analysis should include variables in the model and the problem of multi-collinearity as there are many variables as well as the basic assumption of regression analysis. The multiple regression model is expressed as the coefficient of determination, R2 and the influence of independent variables on result as a regression coefficient, β. Multiple regression analysis can be divided into multiple linear regression analysis, multiple logistic regression analysis, and Cox regression analysis according to the type of dependent variables (continuous variable, categorical variable (binary logit), and state variable, respectively), and the influence of variables on the result is evaluated by regression coefficient β, odds ratio, and hazard ratio, respectively. The knowledge of multivariate analysis enables clinicians to analyze the result accurately and to design the further research efficiently.

체육학에서의 통계적 연구: 회귀분석을 중심으로

정연택,최연재 인문사회 21 2022 인문사회 21 Vol.13 No.3

체육학에서의 통계적 연구: 회귀분석을 중심으로정 연 택*ㆍ최 연 재** 요약: 통계적 연구 방법이 발전하면서 회귀분석을 체육학에서 사용하는 빈도가 높아지고 있다. 회귀분석은 상관분석에 비해 세밀한 연구 문제를 탐색할 수 있는 장점이 있다. 그리고 타당한 결론을 얻기 위해 회귀분석은 변수 선정이 무엇보다 중요하다. 회귀분석의 오류와 주의할 점을 고려하여 1장에서는 회귀분석의 역사와 개념에 관해서 서술하였으며, 2장은 회귀분석의 기본 가정 중, 상관관계와 다중공선성에 관한 기술이 이루어졌다. 3장에서는 다중회귀분석의 추정 방식을 분석하였으며, 4장에서는 최소자승법, 표준화 회귀계수, 비표준화 회귀계수의 중요도를 설명하였다. 5장에서는 단순회귀모형과 중다회귀모형에 대하여 서술하였으며, 6장은 앞서 기술한 회귀분석을 바탕으로 논의가 이루어졌다. 그리고 7장에서는 회귀분석의 활성화를 위한 방안을 제시하였다. 핵심어: 체육학, 통계적 연구, 회귀분석, 다중공선성, 상관분석 □ 접수일: 2022년 5월 11일, 수정일: 2022년 6월 6일, 게재확정일: 2022년 6월 20일* 주저자, 영남대학교 사범대학 특수체육교육과 교수. (First Author, Professor, Yeungnam Univ., Email: jyt7872@yu.ac.kr)** 교신저자, 영남대학교 사범대학 특수체육교육과 강사. (Corresponding Author, Lecturer, Yeungnam Univ., Email: 20802191@yu.ac.kr) Statistical Research Methods in Physical Education:Focusing on Regression AnalysisYeontaek Jeong & Yeonjae Choi Abstract: Development of statistical research methods, the frequency of using regression analysis in physical education is increasing. Regression analysis has the advantage of being able to explore detailed research problems compared to correlation analysis. And to obtain valid conclusions, the selection of variables in regression analysis is of paramount importance. In consideration of errors and cautions in regression analysis, Chapter 1 describes the history and concept of regression analysis, and Chapter 2 describes correlation and multicollinearity among the basic assumptions of regression analysis. Chapter 3 analyzed the estimation method of multiple regression analysis, and Chapter 4 explained the importance of least squares method, standardized beta coefficient, and non-standardized regression coefficient. Chapter 5 described the simple regression model and multiple regression model, and Chapter 5 discussed the regression analysis described above. And in Chapter 6 presented a way to activate regression analysis. Key Words: Physical Education, Statistical Research Methods, Regression Analysis, Multicollinearity, Correlation Analysis

풍속 예측을 위한 선형회귀분석과 비선형회귀분석 기법의 비교 및 인자분석

김동연(Dongyeon Kim),서기성(Kisung Seo) 한국지능시스템학회 2015 한국지능시스템학회논문지 Vol.25 No.5

단기풍속 예측을 위한 진화적 선형 및 비선형 회귀분석 기반의 보정 기법을 비교한다. 모델의 체계적 오류를 교정하기 위한 효율적인 MOS(Model Output Statistics)의 개발이 필요하나, 기존의 선형회귀분석 기반의 보정기법은 다양한 기상요소의 복잡한 비선형 특성을 반영하기 힘들다. 이를 개선하기 위해서 유전 프로그래밍을 사용하여 풍속 예측에 대한 비선형 보정 수식을 생성하는 기법을 제안하고 기본 다중선형회귀분석법 및 Ridge, Lasso 회귀분석법과 비교한다. 더불어, 선형회귀분석법과 진화적 비선형회귀분석 기법의 인자 선택의 차이와 유사성을 비교하고 분석한다. 2007년~2013년의 KLAPS(Korea Local Analysis and Prediction System) 재분석자료를 사용하여 제주도와 부산지역의 격자점에 대한 실험을 수행한다. Linear regressions and evolutionary nonlinear regression based compensation techniques for the short-range prediction of wind speed are investigated. Development of an efficient MOS(Model Output Statistics) is necessary to correct systematic errors of the model, but a linear regression based MOS is hard to manage an irregular nature of weather prediction. In order to solve the problem, a nonlinear and symbolic regression method using GP(Genetic Programming) is suggested for a development of MOS for wind speed prediction. The proposed method is compared to various linear regression methods for prediction of wind speed. Also, statistical analysis of distribution for UM elements for each method is executed. experiments are performed for KLAPS(Korea Local Analysis and Prediction System) re-analysis data from 2007 to 2013 year for Jeju Island and Busan area in South Korea.

단층핵 구성물질의 함량과 전단강도 사이의 상관성 분석

윤현석,문성우,서용석 대한자원환경지질학회 2019 자원환경지질 Vol.52 No.1

본 연구에서는 안산암질암, 화강암 및 퇴적암에서의 단층핵 시료에 대한 직접전단시험과 입도시험 결과를 이용하여단순회귀분석과 다중회귀분석을 실시하고, 각력 및 점토 함량과 전단강도 사이의 상관성을 분석하였다. 수직응력(σn=54, 108, 162 kPa) 및 암종별로 단순회귀분석을 수행한 결과, 전단강도는 각력의 함량과 비례 관계를 보이며, 점토의 함량과 반비례 관계를 보인다. 또한, 대부분의 암종에서 전단강도는 각력보다 점토와 높은 상관성을 보이며, 수직응력이증가할수록 각력과 점토 함량의 변화에 큰 영향을 받는 것으로 분석되었다. 각력과 점토의 함량을 동시에 고려한 다중회귀분석에서 전단강도는 점토보다 각력 함량의 변화에 더 민감하게 반응하는 것으로 나타났다. 결과적으로, 단순회귀분석과 다중회귀분석으로부터 산정된 회귀모형들의 결정계수(R²)를 비교·분석함으로써 암종별로 가장 적합한 회귀모형을 제안하였고, 제안된 모형들은 0.624~0.830의 높은 결정계수를 보인다.

건설협력업체 핵심역량의 퍼지회귀분석

김성일(Seong-Il Kim),황승국(Seung-Gook Hwang) 한국지능시스템학회 2015 한국지능시스템학회논문지 Vol.25 No.3

본 논문은 건설협력업체의 핵심역량 대하여 일반회귀분석과 퍼지회귀분석을 실시하였다. 이것은 핵심역량이 건설협력업체의 등급에 어느 정도 영향을 주는 지에 대하여 두 종류의 회귀분석으로 확인하기 위한 것이다. 건설협력업체 평가등급에 대한 일반회귀분석 결과에서 건설협력업체의 등급결정에 영향을 주는 핵심역량은 경영과 업체기여도 임을 알 수 있다. 건설협력업체 평가등급에 대한 퍼지회귀분석은 Min, Max, Conjunction 중에서 Min, Conjunction 문제는 100%의 신뢰성이 있어 활용이 가능함을 알 수 있었다. 이상으로부터 일반회귀분석은 종속변수인 건설협력업체의 평가등급에 영향을 주는 핵심역량의 파악이 가능하며, 퍼지회귀분석은 주어진 퍼지출력데이터를 완전히 포함하던지 걸쳐지던지 한 점에 일치하는 건설협력업체 평가등급의 추정치를 보여주고 있다는 것을 알 수 있다. In this paper, we conducted a conventional regression and fuzzy regression analysis of the core competencies of construction subcontractors. The study was undertaken to check whether these two types of regression core capabilities affect the rating of construction subcontractor. Conventional regression result showed some effect on the rating of construction subcontractors on which core competencies to management and firm contribution were conducted. With fuzzy regression analysis, on the other hand, the rating of construction subcontractors could see the Min and Conjunction problem which utilize 100% reliability of Min. Max and Conjunction. From the above, the dependent variable of conventional regression could determine the evaluation grade of construction subcontractor. The fuzzy regression analysis show the estimator of evaluation grade of the construction subcontractor including or corresponding to the fuzzy output data.

주성분회귀분석을 이용한 한국프로야구 순위

배재영,이진목,이제영,Bae, Jae-Young,Lee, Jin-Mok,Lee, Jea-Young 한국통계학회 2012 Communications for statistical applications and me Vol.19 No.3

야구경기에서 순위를 예측하는 것은 야구팬들에게 관심의 대상이 된다. 이러한 순위를 예측하기 위해서 2011년 한국프로야구 기록 자료를 바탕으로 산술평균방법, 가중평균방법, 주성분분석방법, 주성분회귀분석 방법을 제시한다. 표준화를 통한 산술평균, 상관계수를 이용한 가중평균과 주성분 분석을 이용해서 순위를 예측하고, 최종모형으로 주성분회귀분석 모형이 선택되었다. 주성분 분석으로 축약된 변수를 이용해서 회귀분석을 실시하여, 투수부분, 타자부분, 투수와 타자부분의 순위예측 모형을 제안한다. 예측된 회귀모형을 통해서 2012년도 순위 예측이 가능하다. In baseball rankings, prediction has been a subject of interest for baseball fans. To predict these rankings, (based on 2011 data from Korea Professional Baseball records) the arithmetic mean method, the weighted average method, principal component analysis, and principal component regression analysis is presented. By standardizing the arithmetic average, the correlation coefficient using the weighted average method, using principal components analysis to predict rankings, the final model was selected as a principal component regression model. By practicing regression analysis with a reduced variable by principal component analysis, we propose a rank predictability model of a pitcher part, a batter part and a pitcher batter part. We can estimate a 2011 rank of pro-baseball by a predicted regression model. By principal component regression analysis, the pitcher part, the other part, the pitcher and the batter part of the ranking prediction model is proposed. The regression model predicts the rankings for 2012.

인공신경망기법을 활용한 아스팔트포장의 공용수명예측

최승현,도명식 한국도로학회 2016 한국도로학회 학술발표회 논문집 Vol.2016 No.06

포장의 공용수명은 교통량, 기후, 포장강도, 차량하중 등 다양한 인자들의 영향을 받고 있으며 특히 교 통하중 특성과 기후, 포장의 상・하부구조 등은 포장의 수명에 큰 영향을 주는 것으로 알려져 있다. 하지 만 측정에 따른 오차, 조사구간의 불일치등에 따른 다양한 잠재오차들로 인해 다양한 인자들을 고려한 공 용수명의 예측에 관한 연구가 어려운 실정이다. 따라서 본 연구에서는 다중회귀분석기법을 활용하여 포장 의 수명에 영향을 미치는 주요인자를 선정하고 인공지능 분석기법 중의 하나인 신경망 분석기법(Neural Network Analysis)을 활용하여 아스팔트포장의 공용수명을 예측하고 이를 다중회귀분석의 분석결과 비 교・분석하였다. 먼저, 최근 3년간의 일반국도를 대상으로 조사가 이루어진 아스팔트포장의 수명 데이터를 기준으로 해 당 구간의 누적 교통량(AADT: Average Annual Daily Traffic), 누적 환산축하중(ESAL: Equivalent Single Axle Loads), 포장상부구조(보수층, 표층, 기층), 포장하부구조(보조기층, 동상방지층), 포장강도, 유지보수 지역(관리청)등의 다양한 요인들을 고려한 다중회귀분석 결과 누적교통량, 포장상부구조, 포장하 부구조, 유지보수 지역(관리청)이 유효한 변수로 선정되었다. 본 연구에서 인공신경망분석을 위해 활용한 다층 퍼셉트론(Multi layer Perceptron)기법은 입력층과 출력층 사이에 하나 이상의 은닉층(Hidden Layer)이 존재하게 되며 분석 알고리즘으로는 역전파 알고리 즘(Backpropagation algorithm)을 활용하였다. 분석을 위해 입력층에는 독립변수에 해당되는 누적교통 량, 포장상·하부구조, 유지보수지역의 4가지 변수를 입력하였으며 출력층에는 포장의 공용수명을 입력 하였다. 분석데이터는 70%를 학습, 15%를 검정, 15%를 테스트를 위해 활용하였으며 나아가 은닉층 신경 망(hidden neuron) 개수의 변화를 고려한 시나리오 분석을 수행하였다. 분석결과, 다중회귀분석에 비해 인공신경망 분석기법의 예측력이 뛰어난 것으로 나타났으며 은닉층 신경망(hidden neuron)의 개수가 과 대해지는 경우에는 인공신경망 자체의 예측력이 감소하는 것으로 나타났다.

의사결정나무분석과 로지스틱 회귀분석을 이용한 우울 예측요인 비교연구

윤지선 ( Youn Ji Sun ) 한국사회복지경영학회 2020 사회복지경영연구 Vol.7 No.2

본 연구는 노년기 삶의 질을 저해하는 우울증에 대한 관심으로부터 수행되었다. 의사결정나무(decision tree) 분석을 활용하여 노인의 우울 요인을 분류 및 예측하고, 이를 로지스틱 회귀분석 결과와 비교하여 예측 정확성을 정의하는 서술적 조사연구이다. 연구대상자는 국민연금연구원의 국민노후보장패널(KReIS) data 중, 7차 개인조사에 참가한 65세 이상 노인 총 2,096명이다. 자료분석은 SPSS 23.0 프로그램을 이용하여 기술통계, 교차분석, Roc Curve, 의사결정나무 분석, 로지스틱 회귀분석을 하였다. 연구결과, 의사결정나무 분석에서 우울 예측요인은 일상 및 사회생활 제한과 주관적 경제 불만족으로 나타났다. 로지스틱 회귀분석에서는 일상 및 사회생활 제한과 주관적 경제 불만족, 대인관계 불만족으로 나타났다. 노인의 우울에 영향을 미치는 예측력을 로지스틱 회귀분석과 의사결정나무 분석을 통해 비교한 결과, 우울을 예측하는 민감도는 로지스틱 회귀분석(44.4%)이 의사결정나무 분석(33.6%) 보다 높게 나타났다. 또한 실제 우울을 예측하는 특이도는 의사결정나무 분석(91.9%)이 로지스틱 회귀분석(86.3%) 보다 높은 것으로 나타났다. 분류정확도는 로지스틱 회귀분석(71.6%)이 의사결정나무 분석(71.4%)보다 조금 높게 나타났다. 연구결과를 기초로 두 기법의 예측 및 분류도 구로서의 유용성 판단은 민감도와 분류 정확도가 더 높게 나타난 로지스틱 회귀분석방법이 노인의 우울 예측모형을 구축하는데 더 유용한 자료로 사용될 수 있을 것으로 사료된다. 반면, 의사결정나무 분석은 분석의 정확도보다는 분석과정의 특정 경로설명이 필요한 경우에 유용하게 사용될 수 있을 것으로 보인다. This study was carried out from the interest in depression, which undermines the quality of life in old age, which has been extended by life expectancy. It is a descriptive investigation study that utilizes decision tree analysis with data mining technique to classify and predict depression factors of the elderly, and compare them with logistic regression results to define prediction accuracy. Among the data of the National Pension Research Institute's Korea National Age Security Panel(KReIS), a total of 2,096 senior citizens aged 65 or older participated in the seventh personal survey conducted in 2017. The data analysis was performed using the SPSS 23.0 program, including technical statistics, cross-analysis, logistic regression, Loc Curve, and decision tree analysis. The results of the study showed that the factors of depression prediction in decision tree analysis were daily and social life restriction and subjective economic dissatisfaction. Logistic regression showed limitations in daily and social life, subjective economic dissatisfaction and interpersonal dissatisfaction. Comparing the predictive power that affects the depression of the elderly through logistic regression and decision tree analysis, the sensitivity of predicting depression was higher than that of the decision tree(33.6%). In addition, the specificity of predicting actual depression was higher than that of logistic regression(86.3%) with decision tree analysis(91.9%). Classification accuracy was slightly higher than logistic regression(71.6%) in decision tree analysis(71.4%). Based on the results of the study, it is estimated that the logistic regression method, which shows higher sensitivity and accuracy of classification, can be used as more useful data to build a depression prediction model for the elderly. On the other hand, decision tree analysis may be useful when specific path descriptions of the analysis process are needed rather than the accuracy of the analysis.