랜덤포레스트의 크기 결정을 위한 간편 진단통계량 = A simple diagnostic statistic for determining the size of random forest

다국어 초록 (Multilingual Abstract)

In this study, a simple diagnostic statistic for determining the size of random forest is proposed. This method is based on MV (margin of victory), a scaled difference in the votes at the infinite forest between the first and second most popular categories of the current random forest. We can note that if MV is negative then there is discrepancy between the current and infinite forests. More precisely, our method is based on the proportion of cases that –MV is greater than a fixed small positive number (say, 0.03).
We derive an appropriate diagnostic statistic for our method and then calculate the distribution of the statistic. A simulation study is performed to compare our method with a recently proposed diagnostic statistic.

국문 초록 (Abstract)

이 연구에서는 RF (random forest)의 크기 결정을 위한 간편 진단통계량을 제안한다. 이 방법은현재까지 생성된 의사결정나무의 1등과 2등인 집단이 무한히 생성된 의사결정나무에서 차지하는 승리표차인 MV (margin of victory)에 근거한다. 따라서 MV가 음수이면 현재의 RF와 무한 RF 사이에 괴리가 생기는 것을 의미한다. 이 연구에서 제안하는 방법은 –MV가 고정된 작은 양수 (예를 들면0.03)보다 큰 개체의 비율에 근거한다. 이 방법에 의한 적절한 통계량 도출과 함께 이 통계량의 이론적인 분포를 유도한다. 또한 최근에 제안된 진단통계량과 성능을 비교하는 모의실험을 수행한다.

참고문헌 (Reference)

1 최성훈, "Tree size determination for classification ensemble" 한국데이터정보과학회 27 (27): 255-264, 2016

2 박철용, "Simple hypotheses testing for the number of trees in a random forest" 한국데이터정보과학회 21 (21): 371-377, 2010

3 Breiman, L., "Random forest" 45 : 5-32, 2001

4 Hernandez-Lobato, D., "Inference on prediction of ensembles of infinite size" 44 : 1426-1434, 2011

5 Hernandez-Lobato, D., "How large should ensembles of classifiers be?" 46 : 1323-1336, 2013

6 Dudoit, S., "Comparison of discrimination methods for the classification of tumors using gene expression data" 97 : 77-87, 2002

7 Shapire, R., "Boosting the margin : A new explanation for the effectiveness of voting methods" 26 : 1651-1686, 1998

8 Breiman, L., "Bagging predictors" 24 : 123-140, 1996

9 Hamza, M., "An empirical comparison of ensemble methods based on classification trees" 75 : 629-643, 2005

10 Banfield, R. E., "A comparison of decision tree creation techniques" 29 : 173-180, 2007