랜덤 포레스트

유진은(Yoo Jin Eun) 한국교육평가학회 2015 교육평가연구 Vol.28 No.2

랜덤 포레스트는 최근 관심의 대상이 되고 있는 데이터 마이닝 기법으로, 의사결정나무 모형을 기저로 하며 무작위성을 최대로 부여함으로써 예측오차를 줄인다. 본 연구에서는 의사결정나무와 랜덤 포레스트의 이론적 배경, 특징, 장단점 등을 설명하고, 한국청소년패널조사(KYPS VI) 자료를 이용하여 두 기법을 비교ㆍ분석하였다. 랜덤 포레스트는 특히 설명변수 개수가 많은 고차원 자료의 경우 예측력이 매우 높다는 장점이 있다. 연구 결과, 조율모수에 대한 고민 없이도 랜덤 포레스트의 정분류율이 가지치기 후 의사결정나무의 정분류율과 비슷하였다. 랜덤 포레스트와 같은 방법은 기존 통계분석 방법으로 처리하기 힘든 빅데이터 뿐만 아니라, 회귀모형, 분류, 생존분석 등을 망라하는 기존 통계분석 방법으로 처리할 수 있는 자료에도 적용될 수 있다. 생물의학, 데이터베이스 마케팅, 신용평가, 금융예측 등의 다양한 분야에서 랜덤 포레스트 기법이 활발하게 적용되며 연구되고 있는 반면, 2015년 현재 교육 관련 연구에서 랜덤 포레스트 방법은 아직 제대로 소개조차 되지 못했다. 이러한 현실에서 앞으로 우리 교육 관련 연구에서의 랜덤 포레스트 기법 확산에 본 연구가 도움이 될 수 있기를 기대한다. Random forests, a data mining technique, recently has been gaining popularity in various fields of study, including bioinformatics, database marketing, credit scoring, and etc. Random forests, consisting of a number of decision trees, reduces prediction error via maximizing randomness. This study investigated the strengths and weaknesses of decision tree modeling and random forests, respectively, and examined the statistical properties of the two techniques with KYPS VI panel data. A well-known strength of random forests is its high prediction rates, particularly with high dimensional data, which was consistent with the results of this study. The accuracy of the random forests, without special considerations on its tuning parameters, was similar to that of the decision tree after pruning. Random forests can also be used for regression, classification, and survival analysis, as well as for big data techniques. This study aims to spread this superior technique, random forests, to professionals in education and others.

교육 분야에서의 랜덤포레스트 알고리즘 활용 연구 동향 분석

김길재,김병주 연세대학교 교육연구소 2024 미래교육학연구 Vol.37 No.2

연구목적: 본 연구는 2015년부터 2023년 5월까지 KCI 등재지에 게재된 랜덤포레스트 알고리즘을 활용한 교육 연구 72편을 대상으로 동향 분석을 수행하여 교육평가 분야에서의 랜덤포레스트 활용 동향을 파악하는 것이었다. 이를 통해 어떤 목적으로 랜덤포레스트가 활용되었는지, 어떠한 주제가 다뤄졌는지, 사용된 데이터의 특성은 어떠했는지 등을 종합적으로 이해하고자 했다. 연구방법: 양적연구방법 동향 연구와 랜덤포레스트 활용 연구를 바탕으로 연구 분석의 틀을 마련하였다. 분석의 틀을 기준으로 하여 수집된 선행연구를 크게 다섯 가지 영역(활용목적, 연구주제, 연구 대상, 분석방법, 결과활용)으로 나누어져 분석하였다. 연구결과: 분석 결과, 랜덤포레스트 알고리즘을 활용한 교육 연구는 다양한 분야에서 다양한 목적으로 진행되고 있음을 확인하였다. 그러나 일부 연구에서는 데이터 양의 부족이나 불균형 데이터 사 용, 모델 성능 지표의 부적절한 사용 등의 이슈가 도출되었다. 이러한 결과를 바탕으로 교육 분야에 서의 랜덤포레스트 활용에 있어 신뢰성과 타당성을 높일 수 있는 방안을 모색하였다. 학술적 기여: 본 연구는 선행연구 분석을 통해 최근 교육분야에서 가장 활발하게 사용되고 있는 랜덤포레스트 알고리즘 활용 시 고려해야 할 점들을 도출하였다. 교육분야 연구에서의 머신러닝 활용에 관한 지침을 제공하여 연구의 신뢰성과 타당성을 높이는 데 일조하였으며 다른 머신러닝 알고리 즘을 활용하는 교육 연구에도 적용 가능한 방안을 제시함에 의의가 있다. With the growing importance of artificial intelligence and related technologies, there has been a surge in educational research cases utilizing AI. Among them, the use of the random forest algorithm, which originated in educational evaluation research, has seen a consistent rise. In this study, a trend analysis was conducted on 72 studies using the random forest algorithm published in KCI-listed journals from 2015 to May 2023. The research analysis framework was divided into five main areas: 'utilization purpose, research topic, research subject, analysis method, and utilization of results'. While the random forest algorithm has been employed in various fields to draw educational insights, there were instances that required improvement such as the use of limited or imbalanced data, misuse of model performance metrics, and non-disclosure of performance indicators. Based on these findings, recommendations were made for the use of the random forest in the educational sector to enhance reliability and validity. The significance of this study is underscored by the fact that its suggestions can be applied not only to the random forest but also to other machine learning algorithms.

랜덤 포레스트를 활용한 초등학생의 진로개발역량 예측요인 탐색

윤홍주(Yun, Hongju) 학습자중심교과교육학회 2021 학습자중심교과교육연구 Vol.21 No.23

목적 본 연구에서는 랜덤 포레스트를 활용하여 초등학생의 진로개발역량 예측요인을 탐색하고, 예측의 중요도를 분석한 후 진로교육 관련 교육적, 정책적 시사점을 제시하고자 하였다. 방법 이를 위하여 초등학생 7,501명의 초⋅중등 진로교육 현황조사(2019)를 이용하여 진로개발역량에 대한 잠재프로파일 분석과 35개 예측요인에 대한 랜덤 포레스트 분석을 하였다. 잠재프로파일 분류에는 정보지수(AIC, BIC, SABIC), 분류의 질(Entropy), 모형비교 검증(BLRT_p)을 활용하였고, 랜덤 포레스트에서는 MDA를 활용하여 중요도 지수를 분석하였다. 결과 초등학생의 진로개발역량은 수준에 따라 ‘최고역량’, ‘고역량’, ‘보통역량’, ‘저역량’으로 구분되었으며, 랜덤 포레스트 분석을 통한 예측요인에서는 배움의 즐거움, 학습방법과 계획에 대한 자기수정, 효과적인 학습방법에 대한 생각, 미래에 도움이 되는 공부의 지향, 다양한 방법을 사용한 문제해결 등 학습동기와 학습태도가 진로개발역량을 예측하는 중요한 요인이었다. 결론 진로개발역량을 높이기 위해 다양한 진로개발 활동이나 프로그램 운영과 더불어 학습동기와 학습태도와 같은 심리적, 정서적 요인에도 관심을 기울이고 진로교육에 이를 반영할 필요가 있다. Objectives The purpose of this study is to explore the predictors of career development competencies of elementary school students using random forest, analyze the importance of prediction factors, and present educational and policy implications related to career education. Methods The analysis used the 2019 Career Education Status Survey data. 7,501 elementary school students were used to analyze Latent Profiles for career development competencies and Random Rorest analysis of 35 predictors. Information indices (AIC, BIC, SABIC), quality of classification (Entropy), and model comparison verification (BLRT_p) were used for Latent Profile classification, and importance indices were analyzed using MDA in Random Forest. Results Career development competencies of elementary school students were classified into “best competency,” “high competency,” “normal competency,” and “low competency” according to their level. In Random Forest analysis, learning motivation and learning attitude were important predictive factors in career development competencies, such as learning enjoyment, self-modification of learning methods, thoughts on effective learning methods, future-helpful study orientation, and problem-solving. Conclusions In order to enhance career development competencies, it is necessary to pay attention to psychological and emotional factors such as learning motivation and learning attitude along with various career development activities or program operations and reflect them in career education.

랜덤 포레스트를 이용한 심전도 기반 생체 인증

김정균(JeongKyun Kim),이강복(Kang Bok Lee),홍상기(Sang Gi Hong) 대한전자공학회 2017 전자공학회논문지 Vol.54 No.6

랜덤 포레스트를 이용한 머리 방향 인식

이동훈(Donghoon Lee),오성희(Songhwai Oh) 한국정보과학회 2013 정보과학회논문지 : 소프트웨어 및 응용 Vol.40 No.8

사람의 머리가 향하는 방향을 인식하는 것은 얼굴 분석과 HCI 등의 다양한 어플리케이션에서 쓰일 수 있는 필수적인 영상처리 과제이다. 본 논문에서는 사람마다 다른 머리 모습으로 인해 일관된 특징점 디자인이 어려운 점을 해결하기 위해서 특징점에 무작위성을 부여하여 분류와 회귀에 강력한 성능을 보이는 랜덤 포레스트 알고리즘을 이용한다. 이를 위해서 랜덤 포레스트를 이루는 의사 결정 나무들의 노드 생성 규칙과 무작위 질문들을 할당하는 방식을 연구하였다. 다양한 특징들에 기반 하여 머리 방향 인식에 알맞은 질문들을 시도해 보았고, 그 비교를 통해 최적의 조건을 찾았다. 이 과정에서 비대칭적인 모양을 갖는 의사 결정 나무로 이루어진 랜덤 포레스트를 효율적으로 분석하는 방법을 다루었다. 제안한 랜덤 포레스트의 학습과 테스트에는 머리 방향에 따른 낮은 해상도의 2차원 이미지를 포함하고 있는 QMUL 데이터를 사용하여 86.5%의 정확도를 얻었다. Estimating person’s head pose is an essential problem for many applications and face analysis. It is hard to design a consistent feature descriptor that works for every person because there could be lots of differences for each individuals. Our approach to solve this problem is via ‘Random Forests’ which designs a random feature and have been shown an impressive result for classification and regression. One have to specify random questions of the nodes of decision trees which builds random forests to use the algorithm. In this paper, several features and several structure of random forests are considered to achieve the best performance. To do this, we find the way to deal with random forests which is consist of asymmetric decision trees. We achieved 86.5% accuracy with QMUL head pose dataset which has low resolution of two dimensional head images.

랜덤포레스트를 이용한 낙엽송과 편백의 적지적수도 제작: 경상남도를 대상으로

박은정,박준형,김형호 경상국립대학교 농업생명과학연구원 2019 농업생명과학연구 Vol.53 No.6

The purpose of this study is to examine the applicability of the random forest technique, which is recently used for classification prediction. In other words, we will introduce the random forest technique and make a map the species-specific optimal plantation sites. As a result, the accuracy of prediction was 89.29% for Larix kaempferi and 73.89% for Chamaecyparis obtusa. In terms of variable importance, both species showed high influence in the order of DEM, slope, and aspect, and showed low influence in the order of topography, soil texture and soil type. According to the results of the mapping species-specific optimal plantation sites, most regions except for the central part of Gyeongsangnam-do province were judged to be high and moderate suitability of L. kaempferi. The northeastern part of Gyeongsangnam-do province was judged to be high suitability of C. obtusa. The random forest is expected to be highly applicable to various types of classification and prediction studies that have been applied in the forest field as well as the mapping species-specific optimal plantation sites. 본 연구의 목적은 적지적수 판단에 있어 최근 분류 예측에 활용되고 있는 랜덤포레스트 기법의 적용가능성을 살펴보는데 있다. 즉, 수종별 조림 적지 판단에 있어 랜덤포레스트 기법을 소개하고 적지적수도를 작성하여 적용성을 판단하고자 한다. 그 결과 랜덤포레스트 기법의 예측 정확도는 낙엽송89.29%, 편백 73.89%로 높은 편으로 나타났다. 변수 중요도는 두 개의 수종 모두 표고, 경사, 방위의순으로 영향력이 높은 것으로 나타났으며 지형, 토성, 토양형이 낮은 영향력을 보였다. 적지적수도 작성 결과, 낙엽송은 경상남도 중부를 제외한 대부분 지역이 가능지와 적지로 나타났으며, 편백은 경상남도의 북동부 지역이 적지로 나타났다. 랜덤포레스트 기법은 적지적수도 작성뿐만 아니라 산림 분야에서적용되어 왔던 다양한 형태의 분류 및 예측 연구에서 활용 가능성이 높을 것으로 사료된다.

기업신용등급 예측을 위한 랜덤 포레스트의 응용

김성진,안현철 경성대학교 산업개발연구소 2016 산업혁신연구 Vol.32 No.1

지금까지 금융기관의 신용위험관리를 효과적이고 효율적으로 수행하기 위한 지능형 기술에 대한 연구가 활발하게 이루어져 왔다. 특히 기업의 부실 예측이나 신용등급 예측 문제를 해결하는데 있어, 다양한 기계학습 분류 알고리즘들이 제안되고 적용되어 왔는데, 이들은 효과적인 입력변수 선정에 대한 해답을 제공해 주지 못하고, 과적합 및 잡음·이상치에 취약할 수 있는 위험이 있으며, 각종 모수에 대한 조정 작업이 요구되는 한계점이 있었다. 이러한 기존 기법들의 한계를 극복하기 위한 대안으로 본 연구는 랜덤 포레스트(Random Forests)의 응용을 제안한다. 미국의 통계학자 Breiman(2001)에 의해 제안된 랜덤 포레스트는 배깅(bagging)과 무작위 입력 변수 선택(random input selection)을 통해 단일 의사결정 나무를 다수의 의사결정 나무로 확장시킨 기계학습 기법이다. 랜덤 포레스트는 과적합에서 자유로우며, 잡음이나 이상치에 받는 영향이 적고, 높은 정확도를 얻을 수 있는 특징을 지닌다. 본 연구에서는 기업신용등급 예측에 랜덤 포레스트 기법을 적용해 보고, 그 성과를 전통적으로 사용되어 온 다른 기법들과 비교하여 예측성과의 개선이 있는지 확인해 보고자 하였다. 이를 위해 본 연구에서는 1,295개 국내 상장기업을 대상으로 하는 기업신용등급 평가모형 구축에 랜덤 포레스트를 적용해 보았다. 제안된 기법의 성과를 비교평가하기 위한 전통적인 분류 기법으로는 다중판별분석, 인공신경망, 다분류 SVM 모형을 사용하였다. 실증분석 결과, 제안 기법이 전통적인 기법들과 비교해, 보다 정확한 예측결과를 산출함을 확인할 수 있었다. There has been a lot of research on intelligent information processing techniques to effectively and efficiently manage credit risk in the financial industry. To predict corporate credit ratings better, various algorithms of machine learning have been proposed and applied. However, the algorithms have some limitations. First of all, they are unable to give a solution for which variables in the dataset should be considered as input variables to effectively predict a dependent variable. Also, they are easily exposed to overfitting and risk being affected by outliers and noise. In addition, they are required to tune their numerous parameters. Under this background, this study proposes the application of Random Forests(RF) to overcome the weakness of the traditional techniques. RF were designed by Leo Breiman, an American statistician and professor, and are an ensemble learning technique. This algorithm has both features originating from bagging algorithm, which is to extend a single decision tree to various decision trees, and from random input selection. The benefit of our proposed algorithm is free from an overfitting issue, and both noise and outliers in the dataset cannot have an effect on it. Thus, our model can yield high accuracy in forecasting corporate credit ratings. To validate the effectiveness of RF in predicting corporate credit ratings, we applied it to a real world dataset of corporate credit rating in Korea. The data that we used for this research consisted of various financial ratios of 1,295 corporations and their corporate credit ratings. To evaluate and compare our model with traditional methods, we used the following methods: MDA(Multiple Discriminant Analysis), ANN(Artificial Neural Network) and MSVM(Multiclass SVM). Each model’s performance was calculated by predictive accuracy based on training and validation. Empirical results showed that RF outperforms other traditional methods from the perspective of prediction accuracy.

Non-IID 데이터에서 효과적인 연합 랜덤 포레스트 학습 방법

엥림펜잔안토니오,박정희 한국정보과학회 2024 정보과학회 컴퓨팅의 실제 논문지 Vol.30 No.8

랜덤 포레스트는 강인함과 다양성으로 인해 기계 학습에서 기본적인 방법으로 사용되고 있다. 그러나, 중앙집중식 데이터에 적합한 특성으로 인해 분산되고 탈중앙화된 정보 보안이 요구되는 데이터 소스에 적용하기 어렵다. 최근에는 개인정보를 침해하지 않으면서 분산 학습을 가능하게 하는 연합 학습이 새로운 패러다임으로 부상하였다. 그럼에도 불구하고, 랜덤 포레스트와 같은 앙상블 방법을 Non-IID 데이터 분포를 가지는 연합 환경에서 학습하는 것은 용이하지 않다. 본 논문에서는 새로운 앙상블 구축 방법을 적용하는 연합 랜덤 포레스트를 제안한다. 각 클라이언트에서 독립적으로 하나의 완전한 트리를 성장시키는 대신, 클라이언트가 자신의 지역 데이터에 기반하여 트리를 성장시키는 것을 반복함으로써, 앙상블의 각 의사결정 트리가 클라이언트 전체에 걸쳐 연합하여 성장하는 방법을 제안한다. 이후, 클라이언트들은 각 트리의 리프 노드 정보를 조정하고, 글로벌 서버가 클라이언트 간의 이러한 업데이트를 집계한다. 제안하는 방법은 앙상블의 멤버인 각 트리가 클라이언트 간의 데이터의 이질성을 최대한 반영할 수 있도록 클라이언트들에서 트리 성장을 반복함으로써 Non-IID 데이터에서의 성능을 향상시킬 수 있다. 또한 제안된 연합 랜덤 포레스트 방법은 새로 참여하는 클라이언트가 존재할 때 전체를 재학습하지 않고 기존 앙상블 모델을 점진적으로 업데이트할 수 있음을 보여준다. 실험 결과는 제안 방법이 Non-IID 데이터의 연합학습 환경에서 높은 예측 성능을 가짐을 입증한다. Random forests are fundamental in machine learning for their robustness and versatility. However, their centralized nature often poses challenges when dealing with distributed, decentralized, and private data sources. Federated learning (FL) has emerged as a paradigm allowing distributed learning without compromising privacy. Nevertheless, porting ensemble methods like random forests into the federated environment introduces unique challenges, especially in handling non-IID data distributions. This study presents a federated random forest approach that employs a novel ensemble construction method. Rather than growing trees independently in each client, our approach ensures each decision tree in the ensemble is iteratively and collectively constructed across clients. After this, the clients adjust the leaf nodes of each tree, and a global server aggregates these updates across clients. This strategy allows the ensemble to better reflect the data's heterogeneity across different clients, enhancing its performance on non-IID data. Furthermore, we show that the proposed federated random forest method inherently facilitates incremental learning, effectively addressing the dynamic expansion of the federation, which allows the update of the existing ensemble model by seamlessly integrating data from newly participating clients without full retraining. This method maintained high performance with reduced complexity, as our experimental results confirmed.

누적 히스토그램과 랜덤 포레스트를 이용한 머리방향 추정

문성희(Sung Hee Mun),이칠우(Chil woo Lee) 한국스마트미디어학회 2016 스마트미디어저널 Vol.5 No.1

스마트 환경 구축이 보편화됨에 따라 사람과 컴퓨터 사이의 상호작용(HCI)에 관한 연구가 활발히 진행되고 있다. 인간-컴 퓨터 상호작용에서 사람의 얼굴과 시선 방향을 안다는 것은 그 사람의 의도나 관심의 대상을 파악하는데 중요한 정보를 제공할 뿐만 아니라 신체 구조를 이해하는데도 하나의 기준이 될 수 있으므로 중요한 연구 테마이다. 본 논문에서는 랜덤 포레스트를 이용하여 얼굴 방향을 미리 정해놓은 각도로 분류하는 방법을 제안한다. 먼저 영상은 전처리를 거친 뒤 회전 정보를 얻기 위하여 평균 정면 얼굴과의 차영상을 이용하여 회전정보를 추출한다. 캐니에지 검출법을 이용하여 얼굴의 특징을 검출하고 이를 이용하여 에지 영상을 구한 뒤, 이 영상에 대해 가로 세로축 각각에 대해 픽셀 수를 누적하여 히스토 그램을 작성한다. 누적히스토그램을 특징으로 랜덤 포레스트를 생성하였으며, 랜덤 포레스트의 학습과 테스트에는 CAS-PEAL-R1 데이터를 사용하여 80.6%의 인식률을 얻었다. As smart environment is spread out in our living environments, the needs of an approach related to Human Computer Interaction(HCI) is increases. One of them is head pose estimation. it related to gaze direction estimation, since head has a close relationship to eyes by the body structure. It’s a key factor in identifying person’s intention or the target of interest, hence it is an essential research in HCI. In this paper, we propose an approach for head pose estimation with pre-defined several directions by random forest classifier. We use canny edge detector to extract feature of the different facial image which is obtained between input image and averaged frontal facial image for extraction of rotation information of input image. From that, we obtain the binary edge image, and make two accumulated histograms which are obtained by counting the number of pixel which has non-zero value along each of the axes. This two accumulated histograms are used to feature of the facial image. We use CAS-PEAL-R1 Dataset for training and testing to random forest classifier, and obtained 80.6% accuracy.

버퍼거리에 따른 공간 랜덤포레스트를 이용한 월 평균기온 예측 성능 비교

김준석(Junseok Kim),윤상후(Sanghoo Yoon) 한국자료분석학회 2020 Journal of the Korean Data Analysis Society Vol.22 No.5

한반도에 발생하는 자연재해의 피해를 줄이기 위해서는 좁고 복잡한 지형적 특징을 고려하여 고해상도 기상자료를 생성해야한다. Hengl et al.(2018)이 제안한 공간 랜덤포레스트는 기상정보를 고해상도로 공간보간 할 수 있는 기계학습법으로 2D 평면좌표계를 이용한 버퍼거리를 생성하였지만 본 연구에서는 한반도 지형 특성을 잘 반영하기 위해 3가지 버퍼거리를 고려하였다. 고려된 버퍼거리는 평면좌표계(2D80), 구형좌표계(2D84), 그리고 해발고도가 고려된 평면좌표계(3D80)로 계산되었다. 훈련자료는 종관기상관측장비의 2017년 월 평균기온 자료이고 검증자료는 자동기상관측장비에서 수집한 2017년 월 평균기온 자료이다. 예측성능은 평균제곱오차(RMSE), 평균절대오차(MAE)와 결정계수 R²을 기반으로 평가하였다. 예측성능을 평가한 결과 월 효과가 모델에 반영되지 않은 공간 랜덤포레스트가 시공간 랜덤포레스트보다 좋았다. 이는 계절에 따라 관측소의 중요도가 상이함을 의미한다. 버퍼거리의 종류에 따른 공간 랜덤포레스트 결과를 살펴보면 버퍼거리로 구형좌표계(2D84)를 이용하고 고도를 입력변수로 사용한 모델이 상대적으로 예측성능이 우수하였다. 마지막으로 선정된 최적 모델과 모든 기상관측소의 버퍼거리를 반영하여 전국의 월별 평균기온을 예측하여 시각화하였다. In order to reduce the damage caused by natural disasters on the Korean Peninsula, high-resolution weather data should be generated in consideration of narrow and complex topographical features. The Spatial Random Forest, proposed by Hengl et al. (2018), generated buffer distances using a 2D planar coordinate system with a machine learning method that allows high-resolution spatial interpolation of weather information, but this study considered three buffer distances to better reflect the geographical characteristics of the Korean Peninsula. The buffer distances considered were calculated as planar coordinate systems (2D80), spherical coordinate systems (2D84), and planar coordinate systems (3D80) with altitude above sea level considered. The training data are the average monthly temperature data of 2017 collected from the ASOS and the verification data are the average monthly temperature data of 2017 collected from the AWS. Predictive performance was evaluated based on RMSE, MAE, and R². Looking at the results of spatial random forest according to the type of buffer distance, the model using the spherical coordinate system (2D80) as the buffer distance and the altitude as the input variable had relatively good predictive performance. Finally, the selected optimal model and the buffer distance of all weather stations were reflected to predict and visualize the average monthly temperature across the country.