퍼지선형 회귀에서의 이상점과 영향력이 큰 관측점 검출

손방용 한국자료분석학회 2011 Journal of the Korean Data Analysis Society Vol.13 No.1

In general, when we have fitted the least squares regression line to obtained from usual linear regression model, the estimated results of least squares regression are misunderstood by irregular data, outliers and influential observations. On the other hand, there are two ways to inference of the fuzzy linear regression. One ways to obtain fuzzy estimate of regression parameters in regression model for imprecise input-out data. The other way to estimate least squares regression in fuzzy regression for fuzzy input-out data. Also, when irregular data exist in set of fuzzy data, fuzzy least square regression can be incorrectly interpreted. In this paper, we propose the method of detection of outliers and influential observations in fuzzy regression for fuzzy input-out data by using fuzzy residuals and fuzzy residuals deleted irregular points and fuzzy interval. Numerical example provided shows that fitted fuzzy least square regression fuzzy residuals and fuzzy intervals can be detected irregular fuzzy data. 선형회귀모형에서 최소제곱 회귀식을 적합시킬 때 자료에 포함된 이상점 또는 영향력이 큰 관측점 등 비정상적인 자료에 의해 회귀 추정량은 심하게 왜곡된다. 한편 퍼지자료의 선형함수관계를 추론하는 방법은 일반적으로 크게 두 가지이다. 하나는 비퍼지 입-출력 자료에서 퍼지 회귀계수를 추론하는 것이고, 또 하나는 퍼지 입-출력자료에서 퍼지 최소제곱회귀를 추론하는 것이다. 불행하게도 이들 퍼지 선형회귀의결과는 비정상적인 퍼지자료에 의해 매우 민감하며 나아가 왜곡된 퍼지 회귀식을 추론하게 한다. 본 논문에서는 퍼지 입-출력자료가 주어진 경우 퍼지 최소제곱회귀에서 이상점과 영향력이 큰 관측점을 검출하고 이들을 제거한 퍼지 최소제곱 회귀계수를 추론하여 이들 비전상적인 퍼지자료에 저항력을 지닌 안정된 퍼지 최소제곱회귀를 제안한다.

임상의를 위한 다변량 분석의 실제

오주한(Joo Han Oh),정석원(Seok Won Chung) 대한견주관절의학회 2013 대한견주관절의학회지 Vol.16 No.1

임상 의학의 연구에 사용되는 대표적 다변량 분석 방법은 다중 회귀 분석 방법인데, 이는 인과 관계를 토대로 여러 개의 변수에 의한 한꺼번에의 영향력을 분석하기 위한 방법이다. 다중 회귀 분석은 기본적으로 회귀분석의 기본 가정을 만족해야 함은 물론, 여러 개의 독립 변수들이 포함되기 때문에 변수들을 모형에 포함시키는 방법 및 다중 공선성 문제에 대한 고려가 필요하다. 다중 회귀 분석 모형의 설명력은 결정 계수 R2으로 표현되어 1에 가까울수록 설명력이 크며, 각 독립 변수들의 결과에의 영향력은 회귀 계수인 β값으로 표현된다. 다중 회귀 분석은 종속 변수의 형태에 따라 다중 선형 회귀 분석, 다중 로지스틱 회귀 분석, 콕스 회귀 분석으로 나눌 수 있다. 종속 변수가 연속 변수인 경우 다중 선형 회귀 분석, 범주형 변수인 경우 다중 로지스틱 회귀 분석, 시간의 영향을 고려한 상태 변수인 경우는 콕스 회귀 분석을 시행해야 하며, 각각 결과에의 영향력은 회귀 계수 β, 교차비, 위험비로 평가한다. 이러한 다변량 분석에 대한 이해는 연구를 계획하고 결과를 분석하고자 하는 임상 의사에게 있어 보다 효율적인 연구를 위해 필수적인 소양이라고 할 수 있다. In medical research, multivariate analysis, especially multiple regression analysis, is used to analyze the influence of multiple variables on the result. Multiple regression analysis should include variables in the model and the problem of multi-collinearity as there are many variables as well as the basic assumption of regression analysis. The multiple regression model is expressed as the coefficient of determination, R2 and the influence of independent variables on result as a regression coefficient, β. Multiple regression analysis can be divided into multiple linear regression analysis, multiple logistic regression analysis, and Cox regression analysis according to the type of dependent variables (continuous variable, categorical variable (binary logit), and state variable, respectively), and the influence of variables on the result is evaluated by regression coefficient β, odds ratio, and hazard ratio, respectively. The knowledge of multivariate analysis enables clinicians to analyze the result accurately and to design the further research efficiently.

체육학에서의 통계적 연구: 회귀분석을 중심으로

정연택,최연재 인문사회 21 2022 인문사회 21 Vol.13 No.3

체육학에서의 통계적 연구: 회귀분석을 중심으로정 연 택*ㆍ최 연 재** 요약: 통계적 연구 방법이 발전하면서 회귀분석을 체육학에서 사용하는 빈도가 높아지고 있다. 회귀분석은 상관분석에 비해 세밀한 연구 문제를 탐색할 수 있는 장점이 있다. 그리고 타당한 결론을 얻기 위해 회귀분석은 변수 선정이 무엇보다 중요하다. 회귀분석의 오류와 주의할 점을 고려하여 1장에서는 회귀분석의 역사와 개념에 관해서 서술하였으며, 2장은 회귀분석의 기본 가정 중, 상관관계와 다중공선성에 관한 기술이 이루어졌다. 3장에서는 다중회귀분석의 추정 방식을 분석하였으며, 4장에서는 최소자승법, 표준화 회귀계수, 비표준화 회귀계수의 중요도를 설명하였다. 5장에서는 단순회귀모형과 중다회귀모형에 대하여 서술하였으며, 6장은 앞서 기술한 회귀분석을 바탕으로 논의가 이루어졌다. 그리고 7장에서는 회귀분석의 활성화를 위한 방안을 제시하였다. 핵심어: 체육학, 통계적 연구, 회귀분석, 다중공선성, 상관분석 □ 접수일: 2022년 5월 11일, 수정일: 2022년 6월 6일, 게재확정일: 2022년 6월 20일* 주저자, 영남대학교 사범대학 특수체육교육과 교수. (First Author, Professor, Yeungnam Univ., Email: jyt7872@yu.ac.kr)** 교신저자, 영남대학교 사범대학 특수체육교육과 강사. (Corresponding Author, Lecturer, Yeungnam Univ., Email: 20802191@yu.ac.kr) Statistical Research Methods in Physical Education:Focusing on Regression AnalysisYeontaek Jeong & Yeonjae Choi Abstract: Development of statistical research methods, the frequency of using regression analysis in physical education is increasing. Regression analysis has the advantage of being able to explore detailed research problems compared to correlation analysis. And to obtain valid conclusions, the selection of variables in regression analysis is of paramount importance. In consideration of errors and cautions in regression analysis, Chapter 1 describes the history and concept of regression analysis, and Chapter 2 describes correlation and multicollinearity among the basic assumptions of regression analysis. Chapter 3 analyzed the estimation method of multiple regression analysis, and Chapter 4 explained the importance of least squares method, standardized beta coefficient, and non-standardized regression coefficient. Chapter 5 described the simple regression model and multiple regression model, and Chapter 5 discussed the regression analysis described above. And in Chapter 6 presented a way to activate regression analysis. Key Words: Physical Education, Statistical Research Methods, Regression Analysis, Multicollinearity, Correlation Analysis

체육학 연구에서 선형회귀분석의 이해와 적용

홍성봉,강성기,신진이 한국체육학회 2024 한국체육학회지 Vol.63 No.1

본 연구는 체육 및 스포츠과학 연구 분야에서 빈번히 사용되고 있는 선형회귀분석의 이해와 올바른 적용을 위해 전반적인특성을 정리하여 제시하고자 하였다. 이를 위해 연구자들이 회귀분석을 사용할 때 반드시 표기되어야 할 부분과 해석의순서 그리고 분석방법 등을 고찰형식으로 제시하였다. 먼저 선형회귀분석의 이해를 돕기 위하여 단순회귀분석의 기본모형과 최소제곱법에 의해 회귀모수를 추정하는 방법, 다중회귀분석의 이해, 부분상관과 준부분상관의 활용 및 다중회귀분석의 변인투입방법 등을 설명하였다. 그리고 체지방과 체력의 실제 측정 자료들을 활용하여 enter, stepwise 그리고hierarchical 방법의 결과와 해석과정을 설명하였다. 마지막으로 변량분석과 공분산분석에 대한 통계적 모형을 설명하고, 회귀분석 방법과 위계적 회귀분석방법의 공통점과 차이점을 제시해 주면서 연구자들이 다양한 연구설계와 연구목적에 맞게 사용할 것을 제안하였다. This study aims to present a comprehensive overview of the characteristics of linear regression analysis, which is frequently used in the fields of physical education and sports science, to facilitate its understanding and proper application. The study presents in a review format the essential elements, the sequence of interpretation, and the analysis methods that must be noted by researchers when using regression analysis. Specifically, to facilitate an understanding of linear regression analysis, the study explains the basic model of simple regression analysis, the method for estimating regression parameters using the least squares method, the comprehension of multiple regression analysis, and the use of partial and semi-partial correlations, as well as the methods for introducing variables in multiple regression analysis. Additionally, it utilizes actual measurement data of body fat and physical fitness to explain the results and interpretation processes of the enter, stepwise, and hierarchical methods. Further, it describes the statistical models for variance and covariance analysis, and presents the similarities and differences between standard regression analysis methods and hierarchical regression analysis methods. The aim is to suggest that researchers select and apply the appropriate regression analysis methods according to their research design and objectives.

주성분회귀분석을 활용한 다항회귀분석 성능개선

양원석(Won Seok Yang),박현민(Hyun-Min Park) 한국콘텐츠학회 2015 한국콘텐츠학회논문지 Vol.15 No.1

종속변수와 설명변수 사이의 관계가 선형이 아닌 경우에는 비선형 관계를 반영할 수 있는 다항회귀분석을 이용하여 회귀분석을 수행한다. 한편, 다항회귀분석에는 설명변수의 거듭제곱항들이 설명변수에 추가되므로 설명변수들 사이에 상관관계가 발생하여 다항회귀모형의 성능 저하 문제가 발생할 수 있다. 본 논문에서는 PGF 수치역변환 문제를 사례로 하여 주성분회귀분석을 통해 다항회귀분석의 성능을 극적으로 향상시킬 수 있음을 보인다. 본 논문에서는 PGF의 정의를 이용하여 PGF를 다항회귀분석으로 모형화한다. 다항회귀분석을 이용하여 PGF 전개식의 회귀계수를 추정하면 회귀계수의 추정 자체가 불가능하거나 계수 추정의 정확성이 저하되는 문제가 발생한다. 이 경우 다항회귀분석에 주성분회귀분석을 적용하면 계수 추정의 정확도가 극적으로 향상되어 다항회귀분석의 계수 추정 시 발생하는 문제를 해결할 수 있음을 밝힌다. We use polynomial regression instead of linear regression if there is a nonlinear relation between a dependent variable and independent variables in a regression analysis. The performance of polynomial regression, however, may deteriorate because of the correlation caused by the power terms of independent variables. We present a polynomial regression model for the numerical inversion of PGF and show that polynomial regression results in the deterioration of the estimation of the coefficients. We apply principal components regression to the polynomial regression model and show that principal components regression dramatically improves the performance of the parameter estimation.

분광자료 분석에서 회귀방법의 예측력에 대한 몬테칼로 연구

김종덕 한국자료분석학회 2009 Journal of the Korean Data Analysis Society Vol.11 No.2

Biased regression methods are used extensively for collinear data. Chemometricians have used partial least squares regression(PLS) and principal component regression(PCR) successfully for analytical chemistry, especially for spectroscopic data analysis, but they seldom use ridge regression(RR). Statisticians prefer using RR for collinear data. Frank and Friedman(1993) demonstrated in their simulation study that RR could outperform PLS and PCR for a wide range of cases that they considered. However, Wold(1993) argued that Frank and Friedman's study failed to account for several important factors in their conclusions. In this paper we performed a Monte Carlo study to compare the prediction performance of five biased regression methods along with ordinary least squares regression (OLS) and tried to resolve the above argument. 편향회귀 방법은 다중공선성의 자료에 광범위하게 사용되고 있다. 분석화학자들은 부분최소제곱회귀(PLS)와 주성분회귀(PCR)를 분석화학, 특히 분광자료 분석에 성공적으로 적용하여 왔으나 능형회귀(RR)는 거의 사용하지 않는다. 통계학자들은 공선성의 자료에 능형회귀를 선호한다. Frank와 Friedman(1993)은 시뮬레이션 연구에서 그들이 고려한 여러 경우에서 전체적으로 RR이 PLS와 PCR 보다 예측력이 더 좋다고 하였다. 그러나 Wold(1993)는 Frank와 Friedman의 연구는 몇 가지 중요한 요인들을 고려하지 못하였으며 실제로 PLS와 PCR이 RR보다 더 나은 예측력을 주는 광범위한 경우가 있다는 사실을 지적하였다. 본 논문에서는 몬테칼로 시뮬레이션 연구를 통해 최소제곱회귀(OLS)와 더불어 다섯 가지 편향회귀의 예측력을 비교하고 앞의 논쟁에 대해 부분적인 해답을 제공한다.

가산자료 회귀모형을 이용한 중소기업의 경영활동이 국내 특허등록건수에 미치는 영향 연구 - 신용보증기금 기술평가 기업을 중심으로 -

장홍진,홍승열,신지은 신용보증기금 2023 중소기업금융연구=Journal of SME finance Vol.43 No.2

The objective of this study is to analyze the effect of company's activities for technology development and financial management performance on patent registration for SMEs that received technology asset evaluation from the Korea Credit Guarantee Fund from January 1 to December 31, 2019. This study used poisson regression, negative binomial regression and generalized poisson regression considering the number of patents, which are response variable is count data. In our case, the patent count data are highly overdispersed, Generalized Poisson Regression model was the most appropriate in AIC. There was no significant difference in the performance of the Negative Binomial Regression Model and the Generalized Poisson Regression Model, but the Generalized Poisson Regression Model was superior with a slight difference. As a result of generalized Poisson regression analysis, it was found that the specialization of the technology development organization, the higher the ratio of high-quality personnel in technology development, and the higher the R&D cost, have a significant effect on patent registration. On the other hand, operating cash flow(EBITDA) showed a negative relationship with patent registration. 본 연구는 2019년 1월 1일부터 12월 31일까지 신용보증기금에서 기술자산평가를 받은 중소기업을 대상으로 기업의 경영활동이 특허등록에 미치는 영향을 분석하였다. 분석에는 반응변수인 특허건수가 가산자료라는 특성을 고려하여 포아송 회귀모형, 음이항 회귀모형 그리고 일반화포아송 회귀모형을 활용하였다. 본 연구에 사용된 특허건수는 자료의 분산이 평균보다 큰 과대산포가 존재하였고, 모형의 적합도를 AIC로 평가한 결과 음이항 회귀모형과 일반화포아송 회귀모형이 포아송 회귀모형에 비해 우수한 것으로 나타났다. 음이항 회귀모형과 일반화포아송 회귀모형의 성능은 큰 차이가 나지 않았으나, 일반화포아송 회귀모형이 근소한 차이로 보다 우수했다. . 일반화포아송 회귀분석결과 기술개발 조직이 전문화 되어 있으며, 기술개발 고급인력 비율이 높을수록 그리고, 연구개발비용이 많을수록 특허등록에 유의한 영향을 미치는 것으로 나타났다. 한편, 영업현금흐름(EBITDA)은 특허등록과 음의 관계를 보였다.

국내 화강암의 점하중강도와 일축압축강도간의 상관분석

우익 ( Ik Woo ) 대한지질공학회 2014 지질공학 Vol.24 No.1

이 연구에서는 국내에 분포하는 화강암에 대한 점하중강도(Is(50)) 와 일축압축강도(UCS) 사이의 상관관계를 선형회귀분석을 통하여 구하였다. 이를 위하여 암석시료의 물리적 물성에 근거하여 화강암 시료를 재분류하여 세 경우에 대한 회귀분석을 수행하였다. 첫째로, 풍화등급에 따른 원점회귀분석을 수행하여 풍화에 따른 상관관계를 구하였으나 풍화등급별 시료의 개수가 부족하여 만족할만한 신뢰수준의 회귀분석결과를 얻지 못하였지만, 풍화가 진행될수록 회귀직선의 기울기가 급해지는 경향을 파악할 수 있었다. 두 번째, 전체 화강암에 대한 회귀분석을 수행하기 위하여 단순선형회귀분석과 신뢰도 및 정확도를 향상시키기 위하여 부트스트랩 리샘플링법을 이용한 단순선형회귀분석을 통하여 두 강도간의 상관관계를 구하였다. 세 번째로는 유사한 물리적 물성을 지닌 화강암 시료들의 평균강도에 대한 선형회귀분석을 수행하여 상관관계를 구하였다. 이 방법들을 사용하여 구한 회귀직선방정식의 기울기는 14 내외의 값을 보이고 작은 편차를 지니고 있으며 국내 화강암에 대하여 수행한 기존 연구와 유사한 값을 보이고 있었다. 그러나 16에서 43의 범위를 지닌 y-축 절편은 큰 편차를 보이기 있었기 때문에, 점 하중강도로 일축압축강도를 추정할 때에는 이러한 회귀방정식의 오차범위를 고려하여야 할 것으로 판단된다. This study presents the results of a regression analysis of the point-load strength (Is(50)) and the uniaxial compressive strength (UCS) of granites in Korea. The regression was carried out for three cases using the least-squares method, reclassifying the granite samples based on their physical properties. The first regression analysis through the origin according to the weathering grade did not give a result with a sufficient degree of confidence, due to the small number of samples. However, the general trend of the correlation between UCS and Is(50) according to weathering grade shows that the slope of the linear regression for weathered granite is steeper than that for fresh granite. The second analysis was a simple linear regression for all the granite samples using the least-squares method as well as a linear regression using the bootstrap resampling method in order to increase the confidence level and the accuracy of the regression results. The third regression considered the average strength of granite groups reclassified according to physical properties. These linear regression analyses yielded linear regression equations with slopes of 14 and small standard deviations being similar to values reported in previous studies on Korean granites, but whose intercept values range from 16 to 43 and have a larger standard deviation than those of the present study. In conclusion, it would be advisable to estimate UCS from Is(50), considering the error range derived from the deviation of the regression equations.

Estimation of LOADEST coefficients according to watershed characteristics

Kim, Kyeung,Kang, Moon Seong,Song, Jung Hun,Park, Jihoon 한국수자원학회 2018 한국수자원학회논문집 Vol.51 No.2

본 연구에서는 미계측 유역에서 오염부하량 모의를 위해 LOADEST (LOAD Estimator) 기반 회귀모형의 최적 매개변수를 추정하고, 다중회귀분석 기법을 이용하여 유역특성에 따른 회귀 모의 모형의 매개변수 추정 방법을 개발하였으며, 개발된 모형의 적용성을 평가하였다. 오염부하량 모의 모형으로, T-N (Total-Nitrogen)은 LOADEST의 5번 회귀모형을, T-P (Total-Phosphorous)는 3번 회귀모형을 선택하였다. 모의결과, T-N, T-P 모두 선택된 회귀모형이 실측치를 잘 반영하였으나, 두 물질 모두 오염부하량이 과소 모의되어 실측치와 편의가 발생하는 것으로 나타나, 분위사상법을 이용하여 모의치의 편의보정을 실시하였다. 보정결과, 모형의 정확도는 크게 변하지 않았으나, 오염부하량이 과소 모의 되는 경향이 감소하는 것으로 나타났다. 다중회귀분석을 이용하여 회귀모형 매개변수와 유역특성간의 회귀식을 개발하였으며, 개발된 식을 평가한 결과, 실측치를 잘 반영하여 모의할 수 있는 것으로 나타났으며, 기존 매개변수에 의한 모의치와 유사한 모의능력을 갖는 것으로 나타났다. 본 연구에서 개발된 매개변수 추정방법은 실측자료가 확보되지 않은 소유역에 대한 오염부하량 모의와 정책결정을 위한 스크린 모델로서 활용할 수 있을 것으로 사료된다. The objective of this study was to estimate LOADEST (LOAD Estimator) coefficients for simulating pollutant loads in ungauged watersheds. Regression models of LOADEST were used to simulate pollutant loads, and the multiple linear regression (MLR) was used for coefficients estimation on watershed characteristics. The fifth and third model of LOADEST were selected to simulate T-N (Total-Nitrogen) and T-P (Total-Phosphorous) loads, respectively. The results and statistics indicated that regression models based on LOADEST simulated pollutant loads reasonably and model coefficients were reliable. However, the results also indicated that LOADEST underestimated pollutant loads and had a bias. For this reason, simulated loads were corrected the bias by a quantile mapping method in this study. Corrected loads indicated that the bias correction was effective. Using multiple regression analysis, a coefficient estimation methods according to the watershed characteristic were developed. Coefficients which calculated by MLR were used in models. The simulated result and statistics indicated that MLR estimated the model coefficients reasonably. Regression models developed in this study would help simulate pollutant loads for ungauged watersheds and be a screen model for policy decision.

유역특성에 따른 LOADEST 회귀모형 매개변수 추정

김계웅,강문성,송정헌,박지훈 한국수자원학회 2018 한국수자원학회논문집 Vol.51 No.2

The objective of this study was to estimate LOADEST (LOAD Estimator) coefficients for simulating pollutant loads in ungauged watersheds. Regression models of LOADEST were used to simulate pollutant loads, and the multiple linear regression (MLR) was used for coefficients estimation on watershed characteristics. The fifth and third model of LOADEST were selected to simulate T-N (Total-Nitrogen) and T-P (Total-Phosphorous) loads, respectively. The results and statistics indicated that regression models based on LOADEST simulated pollutant loads reasonably and model coefficients were reliable. However, the results also indicated that LOADEST underestimated pollutant loads and had a bias. For this reason, simulated loads were corrected the bias by a quantile mapping method in this study. Corrected loads indicated that the bias correction was effective. Using multiple regression analysis, a coefficient estimation methods according to the watershed characteristic were developed. Coefficients which calculated by MLR were used in models. The simulated result and statistics indicated that MLR estimated the model coefficients reasonably. Regression models developed in this study would help simulate pollutant loads for ungauged watersheds and be a screen model for policy decision. 본 연구에서는 미계측 유역에서 오염부하량 모의를 위해 LOADEST (LOAD Estimator) 기반 회귀모형의 최적 매개변수를 추정하고, 다중회귀분석 기법을 이용하여 유역특성에 따른 회귀 모의 모형의 매개변수 추정 방법을 개발하였으며, 개발된 모형의 적용성을 평가하였다. 오염부하량 모의모형으로, T-N (Total-Nitrogen)은 LOADEST의 5번 회귀모형을, T-P (Total-Phosphorous)는 3번 회귀모형을 선택하였다. 모의결과, T-N, T-P 모두 선택된 회귀모형이 실측치를 잘 반영하였으나, 두 물질 모두 오염부하량이 과소 모의되어 실측치와 편의가 발생하는 것으로 나타나, 분위사상법을 이용하여 모의치의 편의보정을 실시하였다. 보정결과, 모형의 정확도는 크게 변하지 않았으나, 오염부하량이 과소 모의 되는 경향이 감소하는 것으로 나타났다. 다중회귀분석을 이용하여 회귀모형 매개변수와 유역특성간의 회귀식을 개발하였으며, 개발된 식을 평가한 결과, 실측치를 잘 반영하여 모의할 수 있는 것으로 나타났으며, 기존 매개변수에 의한 모의치와 유사한 모의능력을 갖는 것으로 나타났다. 본 연구에서 개발된 매개변수 추정방법은 실측자료가 확보되지 않은 소유역에 대한 오염부하량 모의와 정책결정을 위한 스크린 모델로서 활용할 수 있을 것으로 사료된다.