의사결정나무분석과 로지스틱 회귀분석을 이용한 우울 예측요인 비교연구

윤지선 ( Youn Ji Sun ) 한국사회복지경영학회 2020 사회복지경영연구 Vol.7 No.2

본 연구는 노년기 삶의 질을 저해하는 우울증에 대한 관심으로부터 수행되었다. 의사결정나무(decision tree) 분석을 활용하여 노인의 우울 요인을 분류 및 예측하고, 이를 로지스틱 회귀분석 결과와 비교하여 예측 정확성을 정의하는 서술적 조사연구이다. 연구대상자는 국민연금연구원의 국민노후보장패널(KReIS) data 중, 7차 개인조사에 참가한 65세 이상 노인 총 2,096명이다. 자료분석은 SPSS 23.0 프로그램을 이용하여 기술통계, 교차분석, Roc Curve, 의사결정나무 분석, 로지스틱 회귀분석을 하였다. 연구결과, 의사결정나무 분석에서 우울 예측요인은 일상 및 사회생활 제한과 주관적 경제 불만족으로 나타났다. 로지스틱 회귀분석에서는 일상 및 사회생활 제한과 주관적 경제 불만족, 대인관계 불만족으로 나타났다. 노인의 우울에 영향을 미치는 예측력을 로지스틱 회귀분석과 의사결정나무 분석을 통해 비교한 결과, 우울을 예측하는 민감도는 로지스틱 회귀분석(44.4%)이 의사결정나무 분석(33.6%) 보다 높게 나타났다. 또한 실제 우울을 예측하는 특이도는 의사결정나무 분석(91.9%)이 로지스틱 회귀분석(86.3%) 보다 높은 것으로 나타났다. 분류정확도는 로지스틱 회귀분석(71.6%)이 의사결정나무 분석(71.4%)보다 조금 높게 나타났다. 연구결과를 기초로 두 기법의 예측 및 분류도 구로서의 유용성 판단은 민감도와 분류 정확도가 더 높게 나타난 로지스틱 회귀분석방법이 노인의 우울 예측모형을 구축하는데 더 유용한 자료로 사용될 수 있을 것으로 사료된다. 반면, 의사결정나무 분석은 분석의 정확도보다는 분석과정의 특정 경로설명이 필요한 경우에 유용하게 사용될 수 있을 것으로 보인다. This study was carried out from the interest in depression, which undermines the quality of life in old age, which has been extended by life expectancy. It is a descriptive investigation study that utilizes decision tree analysis with data mining technique to classify and predict depression factors of the elderly, and compare them with logistic regression results to define prediction accuracy. Among the data of the National Pension Research Institute's Korea National Age Security Panel(KReIS), a total of 2,096 senior citizens aged 65 or older participated in the seventh personal survey conducted in 2017. The data analysis was performed using the SPSS 23.0 program, including technical statistics, cross-analysis, logistic regression, Loc Curve, and decision tree analysis. The results of the study showed that the factors of depression prediction in decision tree analysis were daily and social life restriction and subjective economic dissatisfaction. Logistic regression showed limitations in daily and social life, subjective economic dissatisfaction and interpersonal dissatisfaction. Comparing the predictive power that affects the depression of the elderly through logistic regression and decision tree analysis, the sensitivity of predicting depression was higher than that of the decision tree(33.6%). In addition, the specificity of predicting actual depression was higher than that of logistic regression(86.3%) with decision tree analysis(91.9%). Classification accuracy was slightly higher than logistic regression(71.6%) in decision tree analysis(71.4%). Based on the results of the study, it is estimated that the logistic regression method, which shows higher sensitivity and accuracy of classification, can be used as more useful data to build a depression prediction model for the elderly. On the other hand, decision tree analysis may be useful when specific path descriptions of the analysis process are needed rather than the accuracy of the analysis.

불균형 자료의 분류분석에서 샘플링 기법을 이용한 로지스틱 회귀분석

박재신,방성완 한국자료분석학회 2015 Journal of the Korean Data Analysis Society Vol.17 No.4

The logisitic regression is widely used in binary data classification areas with its flexibility and a high level of classification accuracy. However, when analyzing imbalanced data with different class sizes, the classification accuracy in minority class (sensitivity) may drop significantly because logistic regression classifiers is biased toward the majority class so that it classifies almost all observations to majority class. Therefore, we study logistic regression with various sampling technique to increase classification accuracy in minority class. Furthermore, we study lasso logistic regression in analyzing an imbalanced data not only to increase classification accuracy, but also to select important explanatory variables. In this study, we demonstrate the effectiveness of the proposed methods through simulation studies and a real data analysis in terms of classification accuracy and model selection. 로지스틱 회귀분석(logistic regression)은 이항 범주형 자료의 분류분석에서 높은 분류정확도와 유연성을 바탕으로 다양한 분야에서 널리 활용되고 있다. 그러나 소수집단과 다수집단의 개체수가 현저하게 차이나는 불균형 자료(imbalanced data)의 분류분석에서 로지스틱 회귀분석은 다수집단에 편향된 분류함수를 추정하여 대부분의 자료를 다수집단으로 분류함으로써 소수집단의 분류 정확도가 현저히 감소하게 되는 제한사항이 있다. 따라서 로지스틱 회귀분석을 이용한 불균형 자료의 분류분석에서 소수집단의 분류 정확도를 높이기 위하여 본 논문에서는 다양한 샘플링 기법을 이용한 로지스틱 회귀분석 방법론에 대하여 연구하였다. 또한 설명변수(explanatory variable)가 고차원인 불균형 자료의 분류분석에서 잡음변수(noise variables)를 제거하고 중요한 설명변수들을 모형에 선택하기 위하여 라소 로지스틱 회귀분석(lasso logistic regression)에 샘플링 기법을 적용한 방법론에 대해서도 연구하였다. 본 논문에서는 모의실험과 실제자료의 분석을 통하여 분류정확도와 모형의 간결성 측면에서 제안한 방법론의 우수한 성능과 유용성을 확인하였다.

로지스틱 회귀분석과 의사결정나무 분석을 이용한 일 대도시 주민의 우울 예측요인 비교 연구

김수진(Soo-Jin Kim),김보영(Bo-Young Kim) 한국콘텐츠학회 2013 한국콘텐츠학회논문지 Vol.13 No.12

본 연구는 로지스틱 회귀분석과 의사결정나무 분석을 활용하여 일 대도시 주민의 우울에 영향을 주는 요인을 예측하고 비교하고자 시도된 서술적 조사연구이다. 연구대상은 20세에서 65세 미만의 일 대도시 주민462명이었다. 자료 수집은 2011년 10월 7일부터 10월 21일까지이었으며, 자료 분석은 SPSS 18.0 프로그램을 이용하여 빈도, 백분율, 평균과 표준편차 및 X²-test, t-test, 로지스틱 회귀분석, roc curve, 의사결정나무 분석으로 분석하였다. 본 연구 결과, 로지스틱 회귀분석과 의사결정나무 분석에서 공통적으로 나타난 우울 예측요인은 사회부적응, 주관적 신체증상 및 가족 지지이었다. 로지스틱 회귀분석에서 특이도 93.8%, 민감도 42.5%이었고, 본 연구의 모형 적합도를 roc curve 검증 한 결과 AUC=.84으로 본 연구 모형은 적합(p=<.001)하다고 할 수 있다. 우울예측에 대한 의사결정나무 분석은 분류에 대한 예측 정확도에서 특이도 98.3%, 민감도 20.8%이었고, 전체 분류 정확도는 로지스틱 회귀분석은 82.0%, 의사결정나무 분석은 80.5%이었다. 본 연구 결과 민감성과 분류 정확도와 더 높게 나타난 로지스틱 회귀분석 방법이 지역 주민의 우울예측 모형을 구축하는데 더 유용한 자료로 사용될 수 있으리라 사료된다. This study is a descriptive research study with the purpose of predicting and comparing factors of depression affecting residents in a metropolitan city by using logistic regression analysis and decision-making tree analysis. The subjects for the study were 462 residents (20≤aged∠65) in a metropolitan city. This study collected data between October 7, 2011 and October 21, 2011 and analyzed them with frequency analysis, percentage, the mean and standard deviation, X²-test, t-test, logistic regression analysis, roc curve, and a decision-making tree by using SPSS 18.0 program. The common predicting variables of depression in community residents were social dysfunction, perceived physical symptom, and family support. The specialty and sensitivity of logistic regression explained 93.8% and 42.5%. The receiver operating characteristic (roc) curve was used to determine an optimal model. The AUC (area under the curve) was .84. Roc curve was found to be statistically significant (p= <.oo1). The specialty and sensitivity of decision-making tree analysis were 98.3% and 20.8% respectively. As for the whole classification accuracy, the logistic regression explained 82.0% and the decision making tree analysis explained 80.5%. From the results of this study, it is believed that the sensitivity, the classification accuracy, and the logistics regression analysis as shown in a higher degree may be useful materials to establish a depression prediction model for the community residents.

임상의를 위한 다변량 분석의 실제

오주한(Joo Han Oh),정석원(Seok Won Chung) 대한견주관절의학회 2013 대한견주관절의학회지 Vol.16 No.1

임상 의학의 연구에 사용되는 대표적 다변량 분석 방법은 다중 회귀 분석 방법인데, 이는 인과 관계를 토대로 여러 개의 변수에 의한 한꺼번에의 영향력을 분석하기 위한 방법이다. 다중 회귀 분석은 기본적으로 회귀분석의 기본 가정을 만족해야 함은 물론, 여러 개의 독립 변수들이 포함되기 때문에 변수들을 모형에 포함시키는 방법 및 다중 공선성 문제에 대한 고려가 필요하다. 다중 회귀 분석 모형의 설명력은 결정 계수 R2으로 표현되어 1에 가까울수록 설명력이 크며, 각 독립 변수들의 결과에의 영향력은 회귀 계수인 β값으로 표현된다. 다중 회귀 분석은 종속 변수의 형태에 따라 다중 선형 회귀 분석, 다중 로지스틱 회귀 분석, 콕스 회귀 분석으로 나눌 수 있다. 종속 변수가 연속 변수인 경우 다중 선형 회귀 분석, 범주형 변수인 경우 다중 로지스틱 회귀 분석, 시간의 영향을 고려한 상태 변수인 경우는 콕스 회귀 분석을 시행해야 하며, 각각 결과에의 영향력은 회귀 계수 β, 교차비, 위험비로 평가한다. 이러한 다변량 분석에 대한 이해는 연구를 계획하고 결과를 분석하고자 하는 임상 의사에게 있어 보다 효율적인 연구를 위해 필수적인 소양이라고 할 수 있다. In medical research, multivariate analysis, especially multiple regression analysis, is used to analyze the influence of multiple variables on the result. Multiple regression analysis should include variables in the model and the problem of multi-collinearity as there are many variables as well as the basic assumption of regression analysis. The multiple regression model is expressed as the coefficient of determination, R2 and the influence of independent variables on result as a regression coefficient, β. Multiple regression analysis can be divided into multiple linear regression analysis, multiple logistic regression analysis, and Cox regression analysis according to the type of dependent variables (continuous variable, categorical variable (binary logit), and state variable, respectively), and the influence of variables on the result is evaluated by regression coefficient β, odds ratio, and hazard ratio, respectively. The knowledge of multivariate analysis enables clinicians to analyze the result accurately and to design the further research efficiently.

로지스틱 회귀분석 및 AHP 기법을 이용한 산사태 위험지역 분석

이용준(Lee Yong-jun),박근애(Park Geun-Ae),김성준(Kim Seong-Joon) 대한토목학회 2006 대한토목학회논문집 D Vol.26 No.5D

본 연구에서는 안성시(520 ㎞2)를 대상으로 Logistic 회귀분석 방법과 AHP 기법을 이용하여, GIS와 RS 자료를 활용한 산사태 위험지를 분석하였다. Logistic 회귀분석과 AHP 기법에는 6개의 인자(경사, 경사향, 고도, 토양배수, 토심 , 토지이용)를 사용하여, 7등급으로 산사태 위험도를 분류하였다. Logistic 회귀분석 방법과 AHP 기법을 이용한 산사태 위험지도를 표본 자료와 비교하면 산사태가 발생한 표본에서 산사태 위험성이 높은(1-2등급)지역이 Logistic 회귀분석에서는 46.1% AHP 기법은 48.7%로 분류되어 AHP 기법이 분류도가 높다고 분석되었다. Logistic 회귀분석과 AHP 기법은 서로 분석 과정의 차이를 가지고 있기 때문에 Logistic 회귀분석과 AHP기법을 적용한 결과에 동일 가중치를 부여한 후 7개 등급으로 재분류 (reclass)하여 산사태 위험지역을 추출할 수 있는 방법론을 본 연구에서 제시하였다. 그 결과 산사태가 발생한 표본에서 1-2 등급지역이 58.9%로 분석되어 분류정확도를 높일 수 있었다. The objective of this study is to analyze the landslide hazard areas by combining LRA (Lgistic Regression Analysis) and AHP (Analytic Hierarchy Program) methods with Remote Sensing and GIS data in Anseong-si, In order to classify landslide hazard areas of seven levels, six topographic factors (slope, aspect, elevation, soil drain, soil depth, and land use) were used as input factors of LRA and AHP methods. As results, high-risk areas for landslide (1 and 2 levels) by LRA and AHP of its own were classified as 46.1 % and 48.7%, respectively. A new method by applying weighting factors to the results of LRA and AHP was suggested. High-risk areas for landslide (1 and 2 levels) form the new method was classified as 58.9%.

의사결정나무분석과 로지스틱 회귀분석을 이용한 중학생자살생각 예측요인 비교연구

권영란 한국자료분석학회 2010 Journal of the Korean Data Analysis Society Vol.12 No.6

The purpose of this study was to identify factors which predict suicidal ideation on middle school students using Decision Tree and Logistic Regression. The subjects were 680 (M=327, F=353) from middle school students in G city. Data were collected from March, 16 to April, 2, 2010, and analyzed with the descriptive analysis, t-test, ANOVA, decision tree, logistic regression using SPSS/Win 15.0 program. The result of this research showed that 39.1% the subjects were found to be suicidal ideation. The common predicting variables of suicidal ideation on middle school students were depression, school adjustment, and satisfactory of school-life between the decision tree and logistic regression. As the difference of level of accuracy, decision tree was 75.6% and logistic regression showed 78.4%. Based on the above findings, it is recommended that comparison study on the impact of school adjustment and depression on suicidal ideation. 본 연구는 데이터마이닝 기법인 의사결정분석과 로지스틱 회귀분석을 활용하여 중학생 자살생각에 영향을 미치는 요인을 분류하고 예측하고자 시도되었다. 연구대상자는 일 도시지역의 중학생 680명이었다. 자료수집은 2010년 3월16일부터 4월2일까지였으며, 통계분석은 SPSS/Win 15.0 프로그램을 활용하여 기술통계, t-검정, ANOVA, 의사결정나무분석과 로지스틱 회귀분석을 실시하였다. 연구결과 연구대상자의 266명(39.1%)이 자살생각이 평균이상으로 분류되었다. 의사결정나무분석에서 중학생 자살생각이 있을 확률이 가장 높은 마디(81.0%)는 우울수준이 높고, 학교적응력이 낮으며, 학업성적이 보통이하인 경우로 조사되었다. 또한 의사결정나무분석과 로지스틱 회귀분석에서 공통적으로 나타난 중학생의 자살생각 예측요인으로는 우울, 학교적응력, 학교생활 만족도로 나타났다. 그러나 분류의 정확도는 의사결정나무분석의 경우 75.6%였으며, 로지스틱 회귀분석에서는 78.4%로 좀 더 높게 조사되었다.

문화상품 소비자의 자원, 심리적 요인 및 구매횟수 연구

이정원,김선영 고려대학교 대학원 통계학과 2006 통계상담 Vol.19 No.2

로지스틱 회귀분석 방법과 랜덤포레스트 방법을 활용한 대학생의 소속 학과 만족도에 대한 영향 요인 분석

하충원,이승희 한국미래교육학회 2022 미래교육연구 Vol.12 No.2

The purpose of this study is to provide basic research data for college students' career guidance and policy and system establishment related to dropout prevention by analyzing major factors affecting college students' satisfaction with their departments by using machine learning analysis methods. For this purpose, 1,298 four-year college students from the ‘Korean Education & Employment Panel Ⅰ (KEEP Ⅰ)' data were analyzed through logistic regression analysis and random forest analysis method, which are machine learning analysis methods. The main analysis results are as follows. First, in the year of college admission, explanatory variables related to high school enrollment period and career plan after high school graduation, in addition to variables related to college life, accounted for a significant proportion of the top 10 items of importance. In the period excluding the year of admission and the year immediately before graduation, variables related to major learning and career activities were important variables. In the year immediately before graduation, activity variables such as job preparation and education and training experience recorded high importance in both logistic regression analysis and random forest analysis results. Second, according to the two analysis methods, the agreement of the top 10 variables by grade level was 63.3%. Third, unlike logistic regression analysis, in random forest analysis, the explanatory variables answered by the survey respondents using multiple scales were included in the top 10 explanatory variables of importance in relatively many cases. This study is significant in that it attempted to compare the results by deriving common factors using two machine learning methods rather than a single analysis method for the educational panel data. 이 연구의 목적은 머신러닝 분석방법을 활용하여 대학생의 소속 학과 만족도에 영향을 미치는 주요 요인을 분석하여 대학생의 진로지도와 중도탈락 예방 관련 정책 및 제도 수립을 위한 기초 연구 자료를 제공하기 위함이다. 이를 위해 한국교육고용패널 Ⅰ(KEEP Ⅰ)자료의 4년제 대학 진학생 1,298명을 연구대상으로 머신러닝 분석방법인 로지스틱 회귀분석과 랜덤포레스트 방법을 통하여 분석을 진행하였다. 주요 분석 결과는 다음과 같다. 첫째, 대학 입학년도에는 대학 생활 관련 변수 이외에도 고등학교 재학 시기 및 고등학교 졸업 후 진로계획과 관련한 설명변수들이 중요도 상위 10개 항목 중 상당수를 차지하였으며, 입학년도와 졸업년도를 제외한 기간에는 전공 학습과 진로활동에 대한 변수들이, 졸업년도에는 취업준비 및 교육훈련 경험 등이 로지스틱 회귀분석과 랜덤포레스트 분석 결과에서 공통적으로 높은 중요도를 기록하였다. 둘째, 두 분석방법에 따른 학년별 중요도 상위 10개 변수의 일치도는 63.3%로 나타났다. 셋째, 로지스틱 회귀분석과 달리 랜덤포레스트 분석에서는 설문의 응답자가 다수의 척도를 사용하여 응답한 설명변수들이 중요도 상위 10개 설명변수에 포함된 경우가 상대적으로 많았다. 이 연구는 교육패널 자료를 단일 분석방법이 아닌 두 가지 머신러닝 방법을 사용하여 공통 요소를 도출하고, 결과의 비교를 시도했다는 점에 의의가 있다.

천연염색제품에 대한 소비자의 구매의사와 지불의사금액(WTP)에 관한 연구

서경화 고려대학교 대학원 통계학과 2007 통계상담 Vol.사례 20 No.1

로지스틱 회귀분석을 이용한 뇌물수수 집행유예 기준 평가 : 뇌물수수금액의 영향력과 과소처벌의 우려

박미랑(Park Mirang) 대검찰청 2013 형사법의 신동향 Vol.0 No.40

본 연구는 뇌물수수 집행유예기준에 대한 경험적 연구들의 부재를 인식하고, 현행 뇌물수수 집행유예 기준에서 정상참작 요인으로 고려된 집행유예 인자들을 기술통계를 통해 알아보고 실질적으로 집행유예 결정에 유의미한 영향력을 행사하고 있는 인자들의 상대적 영향력을 비교분석하는 것을 주요 목적으로 하였다. 이를 위하여 대검찰청 검찰사건처리정보시스템(PGS)에 입력되어있는 뇌물사건 중 2009년 7월 1일부터 2012년 7월 4일까지 1심판결이 선고된 뇌물수수 사건 총 764건을 로지스틱 회귀분석을 통해 분석하였다. 또한 로지스틱 회귀분석에서 인자들의 상대적 영향력을 파악하기 위하여 BIC 지수를 통한 비교분석도 이루어졌다. 로지스틱 회귀분석은 전체사건뿐만 아니라 징역형 3년 이하에 해당하는 사건들을 각 1년씩 선별하여 추가 분석하였다. 총 4번의 로지스틱 회귀분석 결과 실형량에 따라 집행유예 선고에 영향을 미치는 인자들이 약간씩 상이하였으나, 공통적으로 “뇌물액이 1000만원 미만인 경우”에 해당하는 인자가 지속적인 영향력을 발휘함을 발견하였다. 뇌물수수 범죄의 경우 이미 양형기준에서 “금액”을 기준으로 유형이 정해짐을 고려하면 집행유예 기준에서 뇌물액과 관련한 인자의 가중된 영향력은 중복인정의 문제점을 고민하게 만든다. 통계분석 결과와 관련된 함의들은 본문에서 구체적으로 논의하도록 한다. The purpose of this paper is to describe and examine the significant factors on in-out decision for bribetaking cases as recognizing the lack of empirical researches on in-out decision for bribetaking. The data were obtained from the Prosecutorial guideline System (PGS) of the Supreme Prosecutors’ Office in Korea. Based on the PGS data archive, a total of 764 available cases of bribetaking crime which were sentenced from July 1st, 2009 to July 4th, 2010 was collected. Due to a dependent variable (in-out decision) which is a dichotomous variable, logistic regression was mainly employed. Also the BIC value was reported to compare the relative coefficient value in the logistic regression. The results contain the frequency of in-out decision factors in the sentencing guidelines and likelihood to be sentenced out. The finding indicates that a factor of “less than $10000 (10,000,000won)” is the most influential and significant factor for out-decision. Also, other factors failed to show the significant effect on in-out decision consistently. That is, offenders who received less than $10000 (10,000,000 won) are less likely to be imprisoned than others. The detailed policy implications will be discussed in the context.