온라인 문서 군집화에서 군집 수 결정 방법 = Determining the number of Clusters in On-Line Document Clustering Algorithm

국문 초록 (Abstract)

군집화는 주어진 데이터를 분할하여 데이터 속에 숨겨져 있는 의미를 자동으로 발견하는 방법으로, 사람이 일일이 살펴보기 어려운 데이터를 분석해서 비슷한 성향을 가진 데이터들끼리 모은 여러 개의 군집들을 만들어 낸다. 온라인 문서 군집화는 검색 엔진을 통해 검색된 문서들을 대상으로 군집화를 실행하여 유사한 특성의 문서들을 묶어서 보여줌으로써 사용자의 검색 환경의 편의성을 증진시키는 것이 목적이다. 문서 군집화는 사람의 개입이 없이 자동으로 이루어져야 하고, 군집화 결과에 영향을 미치는 군집의 개수 선정도 자동으로 이루어져야 한다. 또한, 온라인 시스템에서는 빠른 응답 시간을 보장하는 것이 중요하다. 본 논문에서는 기하학적인 정보를 이용하여 군집의 수를 결정하는 방법을 제안한다. 제안하는 방법은 군집의 중심을 저차원 평면에 사상하는 것과 사상된 군집 중심의 거리 정보를 이용하여 군집들을 병합하는 두 단계로 이루어져 있다. 제안하는 방법을 실데이터에 적용하여 실험한 결과 군집화 성능이 향상되고, 처리 시간도 온라인 환경에 적합한 것을 확인 할 수 있었다.

참고문헌 (Reference)

1 지태창, "차원축소를 통한 온라인 문서분류 시스템" 197-206, 2005

2 장익진, "다차원 척도 분석법" 연암사 1998

3 D.R. Cutting, "a cluster-based approach to browsing large document collections In Proc. of the 15th annual international ACM SIGIR" 318-329, 1992.

4 D. Pelleg, "X-means: Extending k-means with efficient estimation of the number of clusters" 727-734, 2000

5 D. D. Lewis, "Reuters-21578 text categorization test collection distribution 1.0" 1999

6 E. Gose, "Pattern Recognition and Image Analysis" Prentice Hall 1996

7 R. O. Duda, "Pattern Classification (2nd Edition)" Wiley-Interscience 2000

8 J. He, "On quantitative evaluation of clustering systems" Information Retrieval and Clustering. Kluwer Academic Publishers 2003

9 I. Borg, "Modern Multidimensional Scaling" springer verlag 2005

10 H. Motulsky, "Intuitive Biostatistics" Oxford University Press 1995

11 J. He, "Initialization of clusters refinement algorithms: a review and comparative study" 25-29, 2004

12 L. Kaufman, "Finding Groups in Data an Introduction to Cluster Analysis" 1990.

13 B. Boutsinas, "Estimating the number of clusters using a windowing technique" 16 (16): 143-154, 2006

14 A. Liu, "Document clustering with cluster refinement and model selection capabilities" 191-198, 2002

15 W. Lu, "Determining the optimal number of clusters using a new evolutionary algorithm" 2005

16 S. Salvador, "Determining the number of clusters/segments in hierarchical clustering/segmentation algorithms" 576-584, 2004

17 M. J. A. Berry, "Data Mining Techniques for Marketing, Sales, and Customer Support" John Wiley & Sons 1997.

18 E. Rasmussen, "Clustering algorithms" in w.b. frakes and r. baeza-yates : 1992.

19 H. Yu, "Automatically Determining Number of Clusters" 5-, 1998

20 A. K. Jain, "Algorithms for Clustering Data" 1988.

21 C.G. Li, "A Version of ISOMAP with Explicit Mapping" 3201-3206, 2006

22 J. B. Tenenbaum, "A Global Geometric Framework for Nonlinear Dimensionality Reduction" 290 : 2319-2323, 2000