카이제곱 통계량과 지지벡터기계를 이용한 스팸메일 필터
Spam Filter by Using χ2 Statistics and Support Vector Machines
0
조회
0
다운로드
4
인용
0
참고문헌
키워드
초록
본 논문은 지지벡터기계를 이용하여 스팸메일을 자동으로 분류하는 시스템을 제안한다. 이메일에 포함된 단어의 어휘 정보와 품사 태그 정보를 지지벡터기계의 자질로 사용한다. 우리는 카이제곱 통계량을 이용하여 자질을 선택한 후 각각의 자질을 TF, TF-IDF, 이진 가중치 등으로 표현하여 실험하였다. 카이제곱 통계량을 이용하여 선택된 자질들을 이용하여 SVM을 학습한 후, SVM분류기는 각각의 이메일의 스팸 여부를 결정한다. 실험 결과, 선택되어진 자질들이 성능향상을 가져왔으며, TREC05-p1 스팸 말뭉치에 대해 약 98.9%의 정확도를 얻었다.
Abstract
We propose an automatic spam filter for e-mail data using Support Vector Machines(SVM). We use a lexical form of a word and its part of speech(POS) tags as features and select features by chi square statistics. We represent each feature by TF(text frequency), TF-IDF, and binary weight for experiments. After training SVM with the selected features, SVM classifies each e-mail as spam or not. In experiment, the selected features improve the performance of our system and we acquired overall 98.9% of accuracy with TREC05-p1 spam corpus.
참고문헌 (21)
- V. Keselj, "TREC 2005 Spam Track:Spam Filtering Using N-grambased Techniques", Proceedings of Text REtrieval Conference (2005)
- 김현준, "가중치가 부여된 베이지안 분류자를 이용한 스팸 메일 필터링 시스템", 정보과학회논문지 : 소프트웨어 및 응용, 31(8), pp.1092~1100 (2004), 한국정보과학회
- R. Segal, "IBM SpamGuru on the TREC 2005 Spam Track", Proceedings of Text REtrieval Conference (2005)
- Al Brakto, "Spam Filtering Using Character-Level Markov Models:Experiments for the TREC 2005 Spam Track", Proceedings of Text REtrieval Conference (2005)
- L. A. Breyer, "DBACL at the TREC 2005", Proceedings of Text REtrieval Conference (2005)
- F. Assis, "CRM114 versus Mr.X:CRM114 Notes for the TREC 2005 Spam Track", Proceedings of Text REtrieval Conference (2005)
- W. Cao, "York University at TREC 2005:SPAM Track", Proceedings of Text REtrieval Conference (2005)
- V. Vapnik, "The nature of statistical learning theory" (1995), Springer
- 공미경, "스팸성 자질과 URL 자질의 공동 학습을 이용한 최대 엔트로피 기반 스팸메일 필터 시스템", 정보처리학회논문지B, 15(1), pp.61~68 (2008), 한국정보처리학회
- Yiming Yang, "A comparative study on Feature selection in text categorization", proceedings of the 14th International conference on Machine Learning (1997)
- D. Sculley, "Relaxed online SVMs for spam filtering", Proceedings of the 30th annual international ACM SIGIR conference on Research and development in information retrieval, pp.415~422 (2007)
- H. Drucker, "Support vector machines for spam categorization", IEEE Transactions on Neural Networks, 10(5), pp.1048~1054 (1999)
- 은종민, "지지벡터기계(Support Vector Machines)를 이용한 한국어 화행분석", 정보처리학회논문지B, 12(3), pp.365~368 (2005), 한국정보처리학회
- G. V. Cormack, "TREC 2005 spam track overview", The Fourteenth Text REtrieval Conference (TREC 2005) Proceedings (2005)
- On-line supervised spam filter evaluation, "G. V. Cormack", University of Waterloo, ~ (2006)
- T. Lynam, "On-line spam filter fusion", Proceedings of the 30th annual international ACM SIGIR conference on Research and development in information retrieval, pp.123~130 (2006)
- Martin Law, "A simple introduction to Support Vector Machines", ~ (2003)