SVM을 이용한 디렉토리 기반 기술정보 문서 자동 분류시스템 설계 = Design of Automatic Document Classifier for IT documents based on SVM

다국어 초록 (Multilingual Abstract)

Due to the exponential growth of information on the internet, it is getting difficult to find and organize relevant informations. To reduce heavy overload of accesses to information, automatic text classification for handling enormous documents is necessary. In this paper, we describe structure and implementation of a document classification system for web documents. We utilize SVM for documentation classification model that is constructed based on training set and its representative terms in a directory. In our system, SVM is trained and is used for document classification by using word set that is extracted from information and communication related web documents. In addition, we use vector-space model in order to represent characteristics based on TFiDF and training data consists of positive and negative classes that are represented by using characteristic set with weight. Experiments show the results of categorization and the correlation of vector length.

국문 초록 (Abstract)

인터넷 상의 정보가 급증하여 필요한 정보를 찾고 관련된 정보를 조직화하는데 많은 시간이 소요된다. 따라서 정보접근 부하를 줄일 수 있는 자동적인 문서 분류의 중요성과 필요성이 증가하고 있다. 본 논문에서는 웹 문서의 자동 분류 시스템의 설계와 구현을 기술한다. 디렉터리 내의 학습 문서 집합을 기반으로 구성된 대표 단어 집합을 이용하여 문서 분류 모델을 학습하기 위해 SVM을 사용하였다. 본 시스템에서는 정보통신 웹 디렉터리 내의 문서로부터 추출된 단어 집합을 기반으로 SVM을 학습 시킨 후 신규 문서에 대해 문서 분류를 수행한다. 또한 TFiDF를 기반으로 특성을 표현하기 위해 벡터공간 모델을 사용하였고 학습 데이터는 가중치를 갖는 특성 집합으로 표현되어진 긍정 및 부정 집합으로 구성하였다. 실험에서는 문서분류의 결과 및 벡터길이의 관련성을 보인다.

참고문헌 (Reference)

1 T.H.Ng, "perceptron learning and a usability case study for text categorization" 20-, 1997.

2 D. Lewis,, "Training Algorithms for Linear Text Classifiers" 298-306, 1996

3 Joachims, T, "Text categorization with support vector machines Learning with many relevant features" 137-142, 1998

4 Tak W.Yan,, "Sift - A Tool for Wide-Area Information Dissemination" 177-186, 1995.

5 Joachims,, "SVMLight" 1998.

6 Chapelle, "SVM for histogram-based image classification" 10 (10): 1055-1065, 1999.

7 Yang, Y.,, "Feature selection in statistical learning of text categorization." 1997

8 Merkl, "Exploration of text collections with hierarchical feature maps" 186-195, merkl1997.

9 J. Martin, "Clustering full text documents" 1995.

10 Leah Larkey, "Automatic essay grading using text categorization techniques." -98, 1998.

11 T. Doszkocs, "Annual Review of Information Science & Technology 25" 209-260, 1990.

12 Salton, "Analysis and Retrieval of Information by Computer" 1989

13 Pattie Maes, "Agents that reduce work and information overload Communications of the ACM" 1994

14 D. Lewis, "A sequential algorithm for training text classifiers" 1994

15 E. Wiener, "A neural network approach to topic spotting" 317-332, 1995.

16 Yang Y.,, "A Comparative Study on Feature Selection in Text Categorization" 412-429, 1997.