랜덤 포레스트

유진은(Yoo Jin Eun) 한국교육평가학회 2015 교육평가연구 Vol.28 No.2

랜덤 포레스트는 최근 관심의 대상이 되고 있는 데이터 마이닝 기법으로, 의사결정나무 모형을 기저로 하며 무작위성을 최대로 부여함으로써 예측오차를 줄인다. 본 연구에서는 의사결정나무와 랜덤 포레스트의 이론적 배경, 특징, 장단점 등을 설명하고, 한국청소년패널조사(KYPS VI) 자료를 이용하여 두 기법을 비교ㆍ분석하였다. 랜덤 포레스트는 특히 설명변수 개수가 많은 고차원 자료의 경우 예측력이 매우 높다는 장점이 있다. 연구 결과, 조율모수에 대한 고민 없이도 랜덤 포레스트의 정분류율이 가지치기 후 의사결정나무의 정분류율과 비슷하였다. 랜덤 포레스트와 같은 방법은 기존 통계분석 방법으로 처리하기 힘든 빅데이터 뿐만 아니라, 회귀모형, 분류, 생존분석 등을 망라하는 기존 통계분석 방법으로 처리할 수 있는 자료에도 적용될 수 있다. 생물의학, 데이터베이스 마케팅, 신용평가, 금융예측 등의 다양한 분야에서 랜덤 포레스트 기법이 활발하게 적용되며 연구되고 있는 반면, 2015년 현재 교육 관련 연구에서 랜덤 포레스트 방법은 아직 제대로 소개조차 되지 못했다. 이러한 현실에서 앞으로 우리 교육 관련 연구에서의 랜덤 포레스트 기법 확산에 본 연구가 도움이 될 수 있기를 기대한다. Random forests, a data mining technique, recently has been gaining popularity in various fields of study, including bioinformatics, database marketing, credit scoring, and etc. Random forests, consisting of a number of decision trees, reduces prediction error via maximizing randomness. This study investigated the strengths and weaknesses of decision tree modeling and random forests, respectively, and examined the statistical properties of the two techniques with KYPS VI panel data. A well-known strength of random forests is its high prediction rates, particularly with high dimensional data, which was consistent with the results of this study. The accuracy of the random forests, without special considerations on its tuning parameters, was similar to that of the decision tree after pruning. Random forests can also be used for regression, classification, and survival analysis, as well as for big data techniques. This study aims to spread this superior technique, random forests, to professionals in education and others.

Object Classification Method Using Dynamic Random Forests and Genetic Optimization

김재협(Jae Hyup Kim),김헌기(Hun Ki Kim),장경현(Kyung Hyun Jang),이종민(Jong Min Lee),문영식(Young Shik Moon) 한국컴퓨터정보학회 2016 韓國컴퓨터情報學會論文誌 Vol.21 No.5

In this paper, we proposed the object classification method using genetic and dynamic random forest consisting of optimal combination of unit tree. The random forest can ensure good generalization performance in combination of large amount of trees by assigning the randomization to the training samples and feature selection, etc. allocated to the decision tree as an ensemble classification model which combines with the unit decision tree based on the bagging. However, the random forest is composed of unit trees randomly, so it can show the excellent classification performance only when the sufficient amounts of trees are combined. There is no quantitative measurement method for the number of trees, and there is no choice but to repeat random tree structure continuously. The proposed algorithm is composed of random forest with a combination of optimal tree while maintaining the generalization performance of random forest. To achieve this, the problem of improving the classification performance was assigned to the optimization problem which found the optimal tree combination. For this end, the genetic algorithm methodology was applied. As a result of experiment, we had found out that the proposed algorithm could improve about 3~5% of classification performance in specific cases like common database and self infrared database compare with the existing random forest. In addition, we had shown that the optimal tree combination was decided at 55~60% level from the maximum trees.

Random Forest를 활용한 영화 시나리오 최적 구상안 도출에 관한 융합 연구

김성수(Kim, Sungsu),진창호(Jihn, Chang-Ho) 한국전시산업융합연구원 2021 한국과학예술융합학회 Vol.39 No.5

본 연구는 온라인 사용자의 연령대와 영화의 장르를 기반으로 성공적인 영화 시나리오 구성을 파악하고자 하는 것에서 시작되었다. 본 연구의 목적은 사용자의 평점 데이터를 기반으로 Random Forest를 활용하여 관객이 선호하는 영화의 유형을 규칙으로 정의함으로써 영화 시나리오의 이상적인 조합을 식별하는 것이다. 따라서 본 논문은 관객의 평점에 따라 장르 18개와 연령대 측면에서 영화의 성공과 실패를 좌우하는 영화 시나리오 조건들을 규칙으로 해석을 시도하였다. 또한 시나리오 조건과 결과(성공, 실패)로 구성된 규칙의 유용성(frequency)과 신뢰도(error)를 장르와 목표연령대의 바람직한 조합을 선별하는 기준으로 정의했다. 연구 결과 및 내용은 다음과 같다. 첫째, 여러 개의 의사결정나무로 이루어진 Random Forest 알고리즘을 활용하여 많은 수의 규칙을 생성함으로써 신뢰성이 높은 규칙들을 산출하였다. 둘째, 규칙 내 불필요한 조건들을 제거하여 규칙을 일반화함으로써 실용적인 규칙을 생성하였다. 셋째, 공통된 요소를 포함하는 규칙들을 묶어서 단일 규칙의 의미보다 확장된 해석을 할 수 있었다. 이러한 연구 결과를 바탕으로 정의된 규칙들이 성공적인 영화 시나리오 구성에 있어 초석이 될 수 있기를 기대한다. 더불어 본 연구는 각 영화 요소들의 유기적 관계를 데이터마이닝 기법인 Random Forest을 통해 도출하였기에 영화 예술과 데이터 과학의 융합 연구로서 의미를 지닌다. This study started with an attempt to identify the composition of a successful movie scenario based on the age groups of online users and the genres of movies. The purpose of this study is to identify the ideal combination of movie scenarios by defining the types of movies preferred by the audience as a rule based on the user’s rating data using a random forest. Therefore, this paper tried to interpret the movie scenario conditions that determine the success or failure of a movie in terms of 18 genres and age groups as rules according to audience ratings. In addition, the usefulness(frequency) and reliability(error) of the rule composed of scenario conditions and outcomes (success and failure) were used as the criteria for selecting the desired combination of genre and target age group. The research results and contents are as follows. First, rules with high reliability were calculated by generating a large number of rules using the Random Forest algorithm consisting of several decision trees. Second, the practicality of the selected rules was improved by generalizing the rules by removing unnecessary conditions in the rules. Second, practical rules were created by generalizing the rules by removing unnecessary conditions in the rules. Third, by grouping rules containing common elements, it was possible to interpret more extensively than the meaning of a single rule. Based on these research results, it is expected that the defined rules can become a cornerstone for successful film scenario construction. In addition, this study is meaningful as a convergence study of film art and data science because the organic relationship of each film element was derived through a data mining technique, Random Forest.

Application of Random Forests to Assessment of Importance of Variables in Multi-sensor Data Fusion for Land-cover Classification

Park No-Wook,Chi kwang-Hoon The Korean Society of Remote Sensing 2006 大韓遠隔探査學會誌 Vol.22 No.3

A random forests classifier is applied to multi-sensor data fusion for supervised land-cover classification in order to account for the importance of variable. The random forests approach is a non-parametric ensemble classifier based on CART-like trees. The distinguished feature is that the importance of variable can be estimated by randomly permuting the variable of interest in all the out-of-bag samples for each classifier. Two different multi-sensor data sets for supervised classification were used to illustrate the applicability of random forests: one with optical and polarimetric SAR data and the other with multi-temporal Radarsat-l and ENVISAT ASAR data sets. From the experimental results, the random forests approach could extract important variables or bands for land-cover discrimination and showed reasonably good performance in terms of classification accuracy.

Application of Random Forests to Assessment of Importance of Variables in Multi-sensor Data Fusion for Land-cover Classification

No Wook Park,Kwang Hoon Chi 大韓遠隔探査學會 2006 大韓遠隔探査學會誌 Vol.22 No.3

A random forests classifier is applied to multi-sensor data fusion for supervised land-cover classification in order to account for the importance of variable. The random forests approach is a nonparametric ensemble classifier based on CART-like trees. The distinguished feature is that the importance of variable can be estimated by randomly permuting the variable of interest in all the out-of-bag samples for each classifier. Two different multi-sensor data sets for supervised classification were used to illustrate the applicability of random forests: one with optical and polarimetric SAR data and the other with multi-temporal Radarsat-l and ENVISAT ASAR data sets. From the experimental results, the random forests approach could extract important variables or bands for land-cover discrimination and showed reasonably good performance in terms of classification accuracy.

Random Forest 기법을 이용한 산사태 취약성 평가 시 훈련 데이터 선택이 결과 정확도에 미치는 영향

강경희,박혁진 대한자원환경지질학회 2019 자원환경지질 Vol.52 No.2

머신러닝 기법을 활용한 분석에서 훈련 데이터의 샘플링 전략은 예측 정확도 뿐 만 아니라 일반화 능력에도 많은영향을 미친다. 특히, 산사태 취약성 분석의 경우, 산사태 발생부에 대한 정보에 비해 산사태 미발생부에 대한 정보가과도하게 많은 데이터 불균형 현상이 발생하며, 이에 따라 분석 모델의 훈련 데이터 설계 시 데이터 샘플링 과정이필수적이다. 그러나 기존의 연구들은 대부분 산사태 미발생부 선택 시 발생부 데이터와 1:1의 비율을 갖도록 무작위로 선택하는 방법을 적용하였을 뿐, 특정한 선택 기준에 따라 분석을 수행하지 않았다. 따라서 본 연구에서는 훈련 데이터의 샘플링 전략이 모델의 예측 성능에 미치는 결과를 확인하기 위하여 산사태 발생부와 미발생부의 샘플링 전략기준에 따라 서로 다른 6개의 시나리오를 만들어 Random Forest 모델의 훈련에 사용하였다. 또한 Random Forest의결과 중 하나인 변수 중요도를 각 산사태 유발인자들에 가중치로 곱하여 줌으로써 산사태 취약지수 값을 산정하였으며, 취약지수 값을 이용해 산사태 취약성도를 제작하고 각 결과 지도의 정확도를 비교 분석하였다. 분석 결과, 훈련데이터의 샘플링 방법에 상관없이 두 지역의 산사태 취약성 분석 결과는 모두 70~80%의 정확도를 보였다. 이를 통해 Random Forest 기법의 산사태 취약성 분석기법으로서의 적용 가능성을 확인하였으며, Random Forest 모델이 제공하는 입력변수의 중요도를 산사태 유발인자 가중치로 활용할 수 있음을 확인하였다. 또한 훈련 시나리오 간의 정확도를 비교한 결과, 특정한 기준에 의해 훈련 데이터를 설계하는 것이 기존의 랜덤 선택 방법보다 높은 예측 정확도를기대할 수 있음을 확인하였다.

SWAT 및 random forest를 이용한 기후변화에 따른 한강유역의 수생태계 건강성 지수 영향 평가

우소영,정충길,김진욱,김성준 한국수자원학회 2018 한국수자원학회논문집 Vol.51 No.10

The purpose of this study is to evaluate the future climate change impact on stream aquatic ecology health of Han River watershed (34,148 km2) using SWAT (Soil and Water Assessment Tool) and random forest. The 8 years (2008~2015) spring (April to June) Aquatic ecology Health Indices (AHI) such as Trophic Diatom Index (TDI), Benthic Macroinvertebrate Index (BMI) and Fish Assessment Index (FAI) scored (0~100) and graded (A~E) by NIER (National Institute of Environmental Research) were used. The 8 years NIER indices with the water quality (T-N, NH4, NO3, T-P, PO4) showed that the deviation of AHI score is large when the concentration of water quality is low, and AHI score had negative correlation when the concentration is high. By using random forest, one of the Machine Learning techniques for classification analysis, the classification results for the 3 indices grade showed that all of precision, recall, and f1-score were above 0.81. The future SWAT hydrology and water quality results under HadGEM3-RA RCP 4.5 and 8.5 scenarios of Korea Meteorological Administration (KMA) showed that the future nitrogen-related water quality in watershed average increased up to 43.2% by the baseflow increase effect and the phosphorus-related water quality decreased up to 18.9% by the surface runoff decrease effect. The future FAI and BMI showed a little better Index grade while the future TDI showed a little worse index grade. We can infer that the future TDI is more sensitive to nitrogen-related water quality and the future FAI and BMI are responded to phosphorus-related water quality. 본 연구에서는 SWAT 모형과 random forest를 이용하여 미래 기후변화에 따른 한강유역(34,148 km2)의 수생태계 건강성을 평가하였다. 국립환경과학원에서 8년간(2008~2015년) 봄철(4~6월)에 모니터링한 부착돌말류 지수(TDI), 저서형 대형무척추동물지수(BMI), 어류평가지수(FAI)는 0~100점, A~E등급으로 평가되며, 이를 본 연구에서 사용하였다. 수생태 건강성에 영향을 미치는 변수로는 수질(T-N, NH4, NO3, T-P, PO4)과 수온을 선정하였으며, 수질 오염도가 낮은 경우에는 수생태계 건강성 점수가 광범위하게 분포되지만 수질 오염도가 높은 경우 수생태계 건강성 점수가 낮아지는 역상관관계를 확인하였다. 기계학습의 분류 분석 기법 중 하나인 random forest 모델을 이용한 세 개의 수생태 건강성 지수 등급 분류 결과 정밀도, 재현율, f1-score 모두 0.81 이상의 예측 정확도를 나타내었다. 기상청의 HadGEM3-RA RCP 4.5와 8.5 시나리오를 적용한 미래 SWAT 수문, 수질 결과 기저유출의 증가로 인해 질소 계열 수질 농도는 기준년도 대비 최대 43.2% 증가하였고, 지표유출 감소로 인해 인 계열 수질 오염도는 최대 18.9% 감소하는 것으로 분석되었다. 미래 FAI, BMI의 등급은 개선되는 경향을 보이지만 TDI는 등급이 악화되는 것으로 나타났다. 이를 통해 TDI는 질소 계열 수질에 민감하고 FAI, BMI는 인 계열 수질에 더 민감하다고 판단하였다.

Dyeing Behavior of Enzyme and Chitosan-Modified Polyester and Estimation of Colorimetry Parameters Using Random Forests

Tuba Toprak‑Cavdur,Pervin Anis,Merve Bakir,Aslı Sebatli‑Saglam,Fatih Cavdur 한국섬유공학회 2023 Fibers and polymers Vol.24 No.1

Dyeing of the crystalline structure necessitates a process with a disperse dye either at high temperatures or with a carrier dueto its compact and non-ionic structure of polyester. In this study, in order to eliminate these limitations and develop moreenvironmentally friendly dyeing processes, the dyeability of polyester under different conditions with reactive, direct, andacid dyes after surface modifications with enzyme and chitosan was investigated. In addition to the corresponding physicalexperiments, CIELAB and color strength values were also estimated using random forests. The results of the physical experimentsshowed that the surface modifications conducted with enzyme and chitosan significantly increased the color depthsobtained in dyeing for reactive, direct, and acid dyes, especially at pH 4.5. This was explained by the potentially protonatedamine groups in acidic medium of chitosan could have attracted large amounts of anionic dye molecules with physical forces. The highest color depths were obtained from acid dyeing. Washing fastness of the pre-treated and dyed fabrics (except theacid-dyed fabrics) decreased with the shift of the bath pH values to the acidic region. In the next phase of the study, weimplemented random forests to estimate CIELAB and color strength values. We considered different random forest designsand trained each design ten times to observe the performance of the corresponding topology. The results of the computationalexperiments showed that the estimation performance of the random forests is quite satisfactory (with R-values greater than99%) and random forests could be used to estimate CIELAB and color strength values successfully.

Segment 단위 PPG 신호 기반 본인 인식

이선우(Sun-Woo Lee),우덕균(Duk-Kyun Woo),마평수(Pyeong-Soo Mah) 대한전자공학회 2019 전자공학회논문지 Vol.56 No.6

Assessment of climate change impact on aquatic ecology health indices in Han river basin using SWAT and random forest

Woo So Young,Jung Chung Gil,Kim Jin Uk,Kim Seong Joon 한국수자원학회 2018 한국수자원학회논문집 Vol.51 No.10

본 연구에서는 SWAT 모형과 random forest를 이용하여 미래 기후변화에 따른 한강유역(34,148 km2)의 수생태계 건강성을 평가하였다. 국립 환경과학원에서 8년간(2008~2015년) 봄철(4~6월)에 모니터링한 부착돌말류 지수(TDI), 저서형 대형무척추동물지수(BMI), 어류평가지수(FAI)는 0~100점, A~E등급으로 평가되며, 이를 본 연구에서 사용하였다. 수생태 건강성에 영향을 미치는 변수로는 수질(T-N, NH4, NO3, T-P, PO4)과 수온을 선정하였으며, 수질 오염도가 낮은 경우에는 수생태계 건강성 점수가 광범위하게 분포되지만 수질 오염도가 높은 경우 수생태계 건강성 점수가 낮아지는 역상관관계를 확인하였다. 기계학습의 분류 분석 기법 중 하나인 random forest 모델을 이용한 세 개의 수생태 건강성 지수 등급 분류 결과 정밀도, 재현율, f1-score 모두 0.81 이상의 예측 정확도를 나타내었다. 기상청의 HadGEM3-RA RCP 4.5와 8.5 시나리오를 적용한 미래 SWAT 수문, 수질 결과 기저유출의 증가로 인해 질소 계열 수질 농도는 기준년도 대비 최대 43.2% 증가하였고, 지표유출 감소로 인해 인 계열 수질 오염도는 최대 18.9% 감소하는 것으로 분석되었다. 미래 FAI, BMI의 등급은 개선되는 경향을 보이지만 TDI는 등급이 악화되는 것으로 나타 났다. 이를 통해 TDI는 질소 계열 수질에 민감하고 FAI, BMI는 인 계열 수질에 더 민감하다고 판단하였다. The purpose of this study is to evaluate the future climate change impact on stream aquatic ecology health of Han River watershed (34,148 km2) using SWAT (Soil and Water Assessment Tool) and random forest. The 8 years (2008~2015) spring (April to June) Aquatic ecology Health Indices (AHI) such as Trophic Diatom Index (TDI), Benthic Macroinvertebrate Index (BMI) and Fish Assessment Index (FAI) scored (0~100) and graded (A~E) by NIER (National Institute of Environmental Research) were used. The 8 years NIER indices with the water quality (T-N, NH4, NO3, T-P, PO4) showed that the deviation of AHI score is large when the concentration of water quality is low, and AHI score had negative correlation when the concentration is high. By using random forest, one of the Machine Learning techniques for classification analysis, the classification results for the 3 indices grade showed that all of precision, recall, and f1-score were above 0.81. The future SWAT hydrology and water quality results under HadGEM3-RA RCP 4.5 and 8.5 scenarios of Korea Meteorological Administration (KMA) showed that the future nitrogen-related water quality in watershed average increased up to 43.2% by the baseflow increase effect and the phosphorus-related water quality decreased up to 18.9% by the surface runoff decrease effect. The future FAI and BMI showed a little better Index grade while the future TDI showed a little worse index grade. We can infer that the future TDI is more sensitive to nitrogen-related water quality and the future FAI and BMI are responded to phosphorus-related water quality.