카이제곱 통계량과 지지벡터기계를 이용한 스팸메일 필터 = Spam Filter by Using χ2 Statistics and Support Vector Machines

다국어 초록 (Multilingual Abstract)

We propose an automatic spam filter for e-mail data using Support Vector Machines(SVM). We use a lexical form of a word and its part of speech(POS) tags as features and select features by chi square statistics. We represent each feature by TF(text frequency), TF-IDF, and binary weight for experiments. After training SVM with the selected features, SVM classifies each e-mail as spam or not. In experiment, the selected features improve the performance of our system and we acquired overall 98.9% of accuracy with TREC05-p1 spam corpus.

국문 초록 (Abstract)

본 논문은 지지벡터기계를 이용하여 스팸메일을 자동으로 분류하는 시스템을 제안한다. 이메일에 포함된 단어의 어휘 정보와 품사 태그 정보를 지지벡터기계의 자질로 사용한다. 우리는 카이제곱 통계량을 이용하여 자질을 선택한 후 각각의 자질을 TF, TF-IDF, 이진 가중치 등으로 표현하여 실험하였다. 카이제곱 통계량을 이용하여 선택된 자질들을 이용하여 SVM을 학습한 후, SVM분류기는 각각의 이메일의 스팸 여부를 결정한다. 실험 결과, 선택되어진 자질들이 성능향상을 가져왔으며, TREC05-p1 스팸 말뭉치에 대해 약 98.9%의 정확도를 얻었다.

참고문헌 (Reference)

1 은종민, "지지벡터기계(Support Vector Machines)를 이용한 한국어 화행분석" 한국정보처리학회 12 (12): 365-368, 2005

2 공미경, "스팸성 자질과 URL 자질의 공동 학습을 이용한 최대 엔트로피 기반 스팸메일 필터 시스템" 한국정보처리학회 15 (15): 61-68, 2008

3 김현준, "가중치가 부여된 베이지안 분류자를 이용한 스팸 메일 필터링 시스템" 한국정보과학회 31 (31): 1092-1100, 2004

4 "http://www.csie.ntu.edu.tw/~cjlin/libsvm"

5 "http://web.media.mit.edu/~hugo/montylingua"

6 "http://plg.uwaterloo.ca/~gvcormac/treccorpus/"

7 "http://nlp.kookmin.ac.kr/HAM/kor/index.html"

8 W. Cao, "York University at TREC 2005:SPAM Track" 2005

9 V. Vapnik, "The nature of statistical learning theory" Springer 1995

10 G. V. Cormack, "TREC 2005 spam track overview" 2005

11 V. Keselj, "TREC 2005 Spam Track:Spam Filtering Using N-grambased Techniques" 2005

12 H. Drucker, "Support vector machines for spam categorization" 10 (10): 1048-1054, 1999

13 Al Brakto, "Spam Filtering Using Character-Level Markov Models:Experiments for the TREC 2005 Spam Track" 2005

14 D. Sculley, "Relaxed online SVMs for spam filtering" 415-422, 2007

15 G. V. Cormack, "On-line supervised spam filter evaluation" University of Waterloo 2006

16 T. Lynam, "On-line spam filter fusion" 123-130, 2006

17 R. Segal, "IBM SpamGuru on the TREC 2005 Spam Track" 2005

18 L. A. Breyer, "DBACL at the TREC 2005" 2005

19 F. Assis, "CRM114 versus Mr.X:CRM114 Notes for the TREC 2005 Spam Track" 2005

20 Martin Law, "A simple introduction to Support Vector Machines"

21 Yiming Yang, "A comparative study on Feature selection in text categorization" 1997