불균형 자료의 분류분석에서 샘플링 기법을 이용한 로지스틱 회귀분석

박재신,방성완 한국자료분석학회 2015 Journal of the Korean Data Analysis Society Vol.17 No.4

The logisitic regression is widely used in binary data classification areas with its flexibility and a high level of classification accuracy. However, when analyzing imbalanced data with different class sizes, the classification accuracy in minority class (sensitivity) may drop significantly because logistic regression classifiers is biased toward the majority class so that it classifies almost all observations to majority class. Therefore, we study logistic regression with various sampling technique to increase classification accuracy in minority class. Furthermore, we study lasso logistic regression in analyzing an imbalanced data not only to increase classification accuracy, but also to select important explanatory variables. In this study, we demonstrate the effectiveness of the proposed methods through simulation studies and a real data analysis in terms of classification accuracy and model selection. 로지스틱 회귀분석(logistic regression)은 이항 범주형 자료의 분류분석에서 높은 분류정확도와 유연성을 바탕으로 다양한 분야에서 널리 활용되고 있다. 그러나 소수집단과 다수집단의 개체수가 현저하게 차이나는 불균형 자료(imbalanced data)의 분류분석에서 로지스틱 회귀분석은 다수집단에 편향된 분류함수를 추정하여 대부분의 자료를 다수집단으로 분류함으로써 소수집단의 분류 정확도가 현저히 감소하게 되는 제한사항이 있다. 따라서 로지스틱 회귀분석을 이용한 불균형 자료의 분류분석에서 소수집단의 분류 정확도를 높이기 위하여 본 논문에서는 다양한 샘플링 기법을 이용한 로지스틱 회귀분석 방법론에 대하여 연구하였다. 또한 설명변수(explanatory variable)가 고차원인 불균형 자료의 분류분석에서 잡음변수(noise variables)를 제거하고 중요한 설명변수들을 모형에 선택하기 위하여 라소 로지스틱 회귀분석(lasso logistic regression)에 샘플링 기법을 적용한 방법론에 대해서도 연구하였다. 본 논문에서는 모의실험과 실제자료의 분석을 통하여 분류정확도와 모형의 간결성 측면에서 제안한 방법론의 우수한 성능과 유용성을 확인하였다.

로지스틱 회귀분석과 의사결정나무 분석을 이용한 일 대도시 주민의 우울 예측요인 비교 연구

김수진(Soo-Jin Kim),김보영(Bo-Young Kim) 한국콘텐츠학회 2013 한국콘텐츠학회논문지 Vol.13 No.12

본 연구는 로지스틱 회귀분석과 의사결정나무 분석을 활용하여 일 대도시 주민의 우울에 영향을 주는 요인을 예측하고 비교하고자 시도된 서술적 조사연구이다. 연구대상은 20세에서 65세 미만의 일 대도시 주민462명이었다. 자료 수집은 2011년 10월 7일부터 10월 21일까지이었으며, 자료 분석은 SPSS 18.0 프로그램을 이용하여 빈도, 백분율, 평균과 표준편차 및 X²-test, t-test, 로지스틱 회귀분석, roc curve, 의사결정나무 분석으로 분석하였다. 본 연구 결과, 로지스틱 회귀분석과 의사결정나무 분석에서 공통적으로 나타난 우울 예측요인은 사회부적응, 주관적 신체증상 및 가족 지지이었다. 로지스틱 회귀분석에서 특이도 93.8%, 민감도 42.5%이었고, 본 연구의 모형 적합도를 roc curve 검증 한 결과 AUC=.84으로 본 연구 모형은 적합(p=<.001)하다고 할 수 있다. 우울예측에 대한 의사결정나무 분석은 분류에 대한 예측 정확도에서 특이도 98.3%, 민감도 20.8%이었고, 전체 분류 정확도는 로지스틱 회귀분석은 82.0%, 의사결정나무 분석은 80.5%이었다. 본 연구 결과 민감성과 분류 정확도와 더 높게 나타난 로지스틱 회귀분석 방법이 지역 주민의 우울예측 모형을 구축하는데 더 유용한 자료로 사용될 수 있으리라 사료된다. This study is a descriptive research study with the purpose of predicting and comparing factors of depression affecting residents in a metropolitan city by using logistic regression analysis and decision-making tree analysis. The subjects for the study were 462 residents (20≤aged∠65) in a metropolitan city. This study collected data between October 7, 2011 and October 21, 2011 and analyzed them with frequency analysis, percentage, the mean and standard deviation, X²-test, t-test, logistic regression analysis, roc curve, and a decision-making tree by using SPSS 18.0 program. The common predicting variables of depression in community residents were social dysfunction, perceived physical symptom, and family support. The specialty and sensitivity of logistic regression explained 93.8% and 42.5%. The receiver operating characteristic (roc) curve was used to determine an optimal model. The AUC (area under the curve) was .84. Roc curve was found to be statistically significant (p= <.oo1). The specialty and sensitivity of decision-making tree analysis were 98.3% and 20.8% respectively. As for the whole classification accuracy, the logistic regression explained 82.0% and the decision making tree analysis explained 80.5%. From the results of this study, it is believed that the sensitivity, the classification accuracy, and the logistics regression analysis as shown in a higher degree may be useful materials to establish a depression prediction model for the community residents.

임상의를 위한 다변량 분석의 실제

오주한(Joo Han Oh),정석원(Seok Won Chung) 대한견주관절의학회 2013 대한견주관절의학회지 Vol.16 No.1

임상 의학의 연구에 사용되는 대표적 다변량 분석 방법은 다중 회귀 분석 방법인데, 이는 인과 관계를 토대로 여러 개의 변수에 의한 한꺼번에의 영향력을 분석하기 위한 방법이다. 다중 회귀 분석은 기본적으로 회귀분석의 기본 가정을 만족해야 함은 물론, 여러 개의 독립 변수들이 포함되기 때문에 변수들을 모형에 포함시키는 방법 및 다중 공선성 문제에 대한 고려가 필요하다. 다중 회귀 분석 모형의 설명력은 결정 계수 R2으로 표현되어 1에 가까울수록 설명력이 크며, 각 독립 변수들의 결과에의 영향력은 회귀 계수인 β값으로 표현된다. 다중 회귀 분석은 종속 변수의 형태에 따라 다중 선형 회귀 분석, 다중 로지스틱 회귀 분석, 콕스 회귀 분석으로 나눌 수 있다. 종속 변수가 연속 변수인 경우 다중 선형 회귀 분석, 범주형 변수인 경우 다중 로지스틱 회귀 분석, 시간의 영향을 고려한 상태 변수인 경우는 콕스 회귀 분석을 시행해야 하며, 각각 결과에의 영향력은 회귀 계수 β, 교차비, 위험비로 평가한다. 이러한 다변량 분석에 대한 이해는 연구를 계획하고 결과를 분석하고자 하는 임상 의사에게 있어 보다 효율적인 연구를 위해 필수적인 소양이라고 할 수 있다. In medical research, multivariate analysis, especially multiple regression analysis, is used to analyze the influence of multiple variables on the result. Multiple regression analysis should include variables in the model and the problem of multi-collinearity as there are many variables as well as the basic assumption of regression analysis. The multiple regression model is expressed as the coefficient of determination, R2 and the influence of independent variables on result as a regression coefficient, β. Multiple regression analysis can be divided into multiple linear regression analysis, multiple logistic regression analysis, and Cox regression analysis according to the type of dependent variables (continuous variable, categorical variable (binary logit), and state variable, respectively), and the influence of variables on the result is evaluated by regression coefficient β, odds ratio, and hazard ratio, respectively. The knowledge of multivariate analysis enables clinicians to analyze the result accurately and to design the further research efficiently.

로지스틱 회귀분석과 인공신경망을 이용한 유방암 분류 모델 비교연구

김낙일,이철기,이우기 한국정보과학회 2019 데이타베이스 연구 Vol.35 No.2

Artificial neural networks are used as a useful machine-learning method, but they also have limitations compared to conventional statistical analysis. This is because it is difficult to interpret the results. In particular, this disadvantage is apparent in healthcare information studies where identifying relationships among variables is important. The purpose of this study is to compare conventional statistical analysis and machine-learning method to investigate significant factors and determine which analyzing method is more appropriate. Previously the identified risk factors for breast cancer include fat-centered nutrition, obesity, drinking, radiation, and age. Moreover, logistic regression was used in related studies. Applying to logistic regression model, it is easy to interpret the results, but sometimes its predictive power is not enough high. In order to overcome this problem, Artificial neural network was additionally used. As a result, we concluded that Age, BMI, Glucose, Insulin, and Resistin are variables related to breast cancer. In addition, we compared the performance of the model using k-fold Cross Validation and there was no significant difference. so we found that logistic regression with ease of interpretation may be a more suitable analyzing method. 인공신경망은 유용한 머신러닝 기법으로 활용되고 있지만, 기존 통계분석기법과 비교했을 때 한계점도 있다. 분석결과를 해석하기가 어렵기 때문이다. 특히, 변수 간의 관계 파악이 중요한 보건의료정보 연구에서는 이러한 단점이 두드러진다. 본 연구의 목적은 전통적인 통계기법과 머신러닝기법을 비교하여 관련 있는 인자를 조사하고 어떤 분석기법이 더 적절한지 판단하는 데 있다. 기존 유방암의 발병 요인은 식습관, 비만, 음주, 방사선 등으로 알려져 있으며, 데이터 분석기법으로는 로지스틱 회귀분석이 자주 사용되었다. 로지스틱 회귀분석은 결과를 해석하기가 용이한 것이 장점이지만, 설정한 모델의 예측력이 높지 않을 때도 있다. 이를 보완하고자 본 연구에서는 인공신경망으로 추가분석을 진행했다. 그 결과, 유방암의 생체지표로서 Age, BMI, Glucose, Insulin, Resistin이 관련 있다는 결론을 도출했다. 또한, k-fold Cross Validation을 이용해 모델의 성능을 비교했을 때 로지스틱 회귀분석과 인공신경망 모델의 성능에 큰 차이는 없었으며, 결과해석이 용이한 로지스틱 회귀분석이 더 적합한 분석기법일 수 있다는 것을 확인했다.

로지스틱 회귀분석을 이용한 뇌물수수 집행유예 기준 평가 : 뇌물수수금액의 영향력과 과소처벌의 우려

박미랑(Park Mirang) 대검찰청 2013 형사법의 신동향 Vol.0 No.40

본 연구는 뇌물수수 집행유예기준에 대한 경험적 연구들의 부재를 인식하고, 현행 뇌물수수 집행유예 기준에서 정상참작 요인으로 고려된 집행유예 인자들을 기술통계를 통해 알아보고 실질적으로 집행유예 결정에 유의미한 영향력을 행사하고 있는 인자들의 상대적 영향력을 비교분석하는 것을 주요 목적으로 하였다. 이를 위하여 대검찰청 검찰사건처리정보시스템(PGS)에 입력되어있는 뇌물사건 중 2009년 7월 1일부터 2012년 7월 4일까지 1심판결이 선고된 뇌물수수 사건 총 764건을 로지스틱 회귀분석을 통해 분석하였다. 또한 로지스틱 회귀분석에서 인자들의 상대적 영향력을 파악하기 위하여 BIC 지수를 통한 비교분석도 이루어졌다. 로지스틱 회귀분석은 전체사건뿐만 아니라 징역형 3년 이하에 해당하는 사건들을 각 1년씩 선별하여 추가 분석하였다. 총 4번의 로지스틱 회귀분석 결과 실형량에 따라 집행유예 선고에 영향을 미치는 인자들이 약간씩 상이하였으나, 공통적으로 “뇌물액이 1000만원 미만인 경우”에 해당하는 인자가 지속적인 영향력을 발휘함을 발견하였다. 뇌물수수 범죄의 경우 이미 양형기준에서 “금액”을 기준으로 유형이 정해짐을 고려하면 집행유예 기준에서 뇌물액과 관련한 인자의 가중된 영향력은 중복인정의 문제점을 고민하게 만든다. 통계분석 결과와 관련된 함의들은 본문에서 구체적으로 논의하도록 한다. The purpose of this paper is to describe and examine the significant factors on in-out decision for bribetaking cases as recognizing the lack of empirical researches on in-out decision for bribetaking. The data were obtained from the Prosecutorial guideline System (PGS) of the Supreme Prosecutors’ Office in Korea. Based on the PGS data archive, a total of 764 available cases of bribetaking crime which were sentenced from July 1st, 2009 to July 4th, 2010 was collected. Due to a dependent variable (in-out decision) which is a dichotomous variable, logistic regression was mainly employed. Also the BIC value was reported to compare the relative coefficient value in the logistic regression. The results contain the frequency of in-out decision factors in the sentencing guidelines and likelihood to be sentenced out. The finding indicates that a factor of “less than $10000 (10,000,000won)” is the most influential and significant factor for out-decision. Also, other factors failed to show the significant effect on in-out decision consistently. That is, offenders who received less than $10000 (10,000,000 won) are less likely to be imprisoned than others. The detailed policy implications will be discussed in the context.

천연염색제품에 대한 소비자의 구매의사와 지불의사금액(WTP)에 관한 연구

서경화 고려대학교 대학원 통계학과 2007 통계상담 Vol.사례 20 No.1

로지스틱 회귀분석과 인공신경망을 적용한 내부회계관리제도 평가모형의 성과비교

김명종(Kim, Myoung Jong) 한국국제회계학회 2012 국제회계연구 Vol.0 No.46

본 연구에서는 로지스틱 회귀분석 및 인공신경망을 적용한 내부회계관리제도 평가모형을 개발하고 각 모형의 성과를 설명력, 검정력 및 예측력 등의 다양한 적합도 관점에서 비교함으로써 내부회계관리제도 평가모형의 효과적인 구축 방안을 제안하고자 한다. 이를 위하여 2006년부터 2009년까지 중요한 취약점을 보고한 111개 취약 기업과 취약점이 발견되지 않은 333개 정상 기업을 표본기업으로 선정하였다. 모형개발에 사용된 변수는 기존 선행연구에서 사용된 23개 변수 중 요인분석과 ROC분석을 이용하여 6개의 재무변수(총자산, 자기자본순이익률, 총자본회전률, 유동비율, 유보비율, 영업현금흐름비율)를 선정하였다. 설명모형 비교분석에서 로지스틱 회귀분석은 자기자본순이익률, 유보비율, 영업현금흐름비율이 내부통제 취약점의 발생가능성과 유의적인 음(-)의 관계성을 가지고 있음을 보여주었다. 인공신경망의 경우 유보비율, 유동비율, 자기자본순이익률, 총자본회전률, 영업현금흐름비율, 총자산 순으로 내부통제 취약점의 발생가능성에 영향을 미칠 수 있음을 분석하였다. 또한 ROC분석을 통한 모형의 적합성 검증에서는 인공신경망이 로지스틱 회귀분석보다 우수한 검정력을 보유하고 있음을 확인하였다. 예측모형의 비교분석을 위하여 총 30회의 교차타당성 분석을 수행하였다. 예측력 검증 결과 로지스틱 회귀분석 및 인공신경망의 평균 예측력은 각각 75.9% 및 77.9%로 인공신경망의 정확도가 우수한 것으로 나타났으며 모형의 예측력 차이에 대한 t-test 결과에서도 1% 유의수준에서 인공신경망의 성과가 우수함을 확인하였다. 또한 ROC분석 결과는 예측모형에 있어서도 인공신경망이 보다 우수한 검정력을 보유하고 있음을 보여주었다. 본 연구는 내부통제 평가모형에 주로 활용되어 왔던 로지스틱 회귀분석과 인공신경망의 성과를 적합도 관점에서 비교분석하였다. 분석 결과 인공신경망 기법을 이용하여 우수한 설명력, 검정력 및 예측력을 보유한 내부통제 평가모형을 구성할 수 있음을 보여주었고 결과적으로 효과적인 내부관리회계제도 평가모형의 구축 가능성을 제시하였다. The objectives of this study are to develop internal accounting control assessment models by applying logistic regression(LR) and neural networks(NN), and to compare the performances of both models in the perspective of various goodness-of-fit tests including explanatory capacity, power and prediction accuracy. We collect 444 firms, a quarter of which announced ICW problem on their internal accounting control review report and the rest of which did not. The 6 independent variables are selected from factor analysis and ROC analysis. In the comparison of explanatory model, LR shows that three variables(net income/equity, retained earning/asset and OCF/asset) have negative relation with likelihood of ICW, meanwhile NN shows that 6 firm-specific variables have the effect on likelihood of ICW in the order of retained earnings/total asset, current assets/current liabilities, ROE, total assets/sales, OCF/total assets, and total assets. ROC analysis also shows that NN has higher power than LR. In the comparison of prediction model, the prediction accuracy of LR and NN is 75.9% and 77.9%, respectively. The results of t-test show that the prediction accuracy of each model is significantly different at 1% significance level. The results of ROC analysis show that NN also has higher power than LR in prediction model. This study analyzes the performances of LR and NN in terms of the goodness of fit, thus the results demonstrate an effective implementation method of internal accounting control assessment models.

로지스틱 회귀분석 방법과 랜덤포레스트 방법을 활용한 대학생의 소속 학과 만족도에 대한 영향 요인 분석

하충원,이승희 한국미래교육학회 2022 미래교육연구 Vol.12 No.2

The purpose of this study is to provide basic research data for college students' career guidance and policy and system establishment related to dropout prevention by analyzing major factors affecting college students' satisfaction with their departments by using machine learning analysis methods. For this purpose, 1,298 four-year college students from the ‘Korean Education & Employment Panel Ⅰ (KEEP Ⅰ)' data were analyzed through logistic regression analysis and random forest analysis method, which are machine learning analysis methods. The main analysis results are as follows. First, in the year of college admission, explanatory variables related to high school enrollment period and career plan after high school graduation, in addition to variables related to college life, accounted for a significant proportion of the top 10 items of importance. In the period excluding the year of admission and the year immediately before graduation, variables related to major learning and career activities were important variables. In the year immediately before graduation, activity variables such as job preparation and education and training experience recorded high importance in both logistic regression analysis and random forest analysis results. Second, according to the two analysis methods, the agreement of the top 10 variables by grade level was 63.3%. Third, unlike logistic regression analysis, in random forest analysis, the explanatory variables answered by the survey respondents using multiple scales were included in the top 10 explanatory variables of importance in relatively many cases. This study is significant in that it attempted to compare the results by deriving common factors using two machine learning methods rather than a single analysis method for the educational panel data. 이 연구의 목적은 머신러닝 분석방법을 활용하여 대학생의 소속 학과 만족도에 영향을 미치는 주요 요인을 분석하여 대학생의 진로지도와 중도탈락 예방 관련 정책 및 제도 수립을 위한 기초 연구 자료를 제공하기 위함이다. 이를 위해 한국교육고용패널 Ⅰ(KEEP Ⅰ)자료의 4년제 대학 진학생 1,298명을 연구대상으로 머신러닝 분석방법인 로지스틱 회귀분석과 랜덤포레스트 방법을 통하여 분석을 진행하였다. 주요 분석 결과는 다음과 같다. 첫째, 대학 입학년도에는 대학 생활 관련 변수 이외에도 고등학교 재학 시기 및 고등학교 졸업 후 진로계획과 관련한 설명변수들이 중요도 상위 10개 항목 중 상당수를 차지하였으며, 입학년도와 졸업년도를 제외한 기간에는 전공 학습과 진로활동에 대한 변수들이, 졸업년도에는 취업준비 및 교육훈련 경험 등이 로지스틱 회귀분석과 랜덤포레스트 분석 결과에서 공통적으로 높은 중요도를 기록하였다. 둘째, 두 분석방법에 따른 학년별 중요도 상위 10개 변수의 일치도는 63.3%로 나타났다. 셋째, 로지스틱 회귀분석과 달리 랜덤포레스트 분석에서는 설문의 응답자가 다수의 척도를 사용하여 응답한 설명변수들이 중요도 상위 10개 설명변수에 포함된 경우가 상대적으로 많았다. 이 연구는 교육패널 자료를 단일 분석방법이 아닌 두 가지 머신러닝 방법을 사용하여 공통 요소를 도출하고, 결과의 비교를 시도했다는 점에 의의가 있다.

로지스틱 회귀분석 및 AHP 기법을 이용한 산사태 위험지역 분석

이용준(Lee Yong-jun),박근애(Park Geun-Ae),김성준(Kim Seong-Joon) 대한토목학회 2006 대한토목학회논문집 D Vol.26 No.5D

본 연구에서는 안성시(520 ㎞2)를 대상으로 Logistic 회귀분석 방법과 AHP 기법을 이용하여, GIS와 RS 자료를 활용한 산사태 위험지를 분석하였다. Logistic 회귀분석과 AHP 기법에는 6개의 인자(경사, 경사향, 고도, 토양배수, 토심 , 토지이용)를 사용하여, 7등급으로 산사태 위험도를 분류하였다. Logistic 회귀분석 방법과 AHP 기법을 이용한 산사태 위험지도를 표본 자료와 비교하면 산사태가 발생한 표본에서 산사태 위험성이 높은(1-2등급)지역이 Logistic 회귀분석에서는 46.1% AHP 기법은 48.7%로 분류되어 AHP 기법이 분류도가 높다고 분석되었다. Logistic 회귀분석과 AHP 기법은 서로 분석 과정의 차이를 가지고 있기 때문에 Logistic 회귀분석과 AHP기법을 적용한 결과에 동일 가중치를 부여한 후 7개 등급으로 재분류 (reclass)하여 산사태 위험지역을 추출할 수 있는 방법론을 본 연구에서 제시하였다. 그 결과 산사태가 발생한 표본에서 1-2 등급지역이 58.9%로 분석되어 분류정확도를 높일 수 있었다. The objective of this study is to analyze the landslide hazard areas by combining LRA (Lgistic Regression Analysis) and AHP (Analytic Hierarchy Program) methods with Remote Sensing and GIS data in Anseong-si, In order to classify landslide hazard areas of seven levels, six topographic factors (slope, aspect, elevation, soil drain, soil depth, and land use) were used as input factors of LRA and AHP methods. As results, high-risk areas for landslide (1 and 2 levels) by LRA and AHP of its own were classified as 46.1 % and 48.7%, respectively. A new method by applying weighting factors to the results of LRA and AHP was suggested. High-risk areas for landslide (1 and 2 levels) form the new method was classified as 58.9%.

문화상품 소비자의 자원, 심리적 요인 및 구매횟수 연구

이정원,김선영 고려대학교 대학원 통계학과 2006 통계상담 Vol.19 No.2