n-Gram 색인화와 Support Vector Machine을 사용한 스팸메일 필터링에 대한 연구
A study on the Filtering of Spam E-mail using n-Gram indexing and Support Vector Machine
0
조회
0
다운로드
6
인용
0
참고문헌
초록
인터넷 환경의 급속한 발전으로 인하여 이메일을 통한 메시지 교환은 급속히 증가하고 있다. 그러나 이메일의 편리성에도 불구하고 개인이나 기업에서는 스팸메일로 인한 시간과 비용의 낭비가 크게 증가하고 있다. 이러한 스팸메일에 대한 문제들을 해결하기 위하여 많은 방법들이 연구되고 있으며, 대표적인 방법으로 키워드를 이용한 패턴매칭이나 나이브 베이지안 방식과 같은 확률을 이용한 방법들이 있다. 본 논문에서는 기존의 연구에 대한 문제점을 보완하기 위하여 패턴 분류문제에 있어서 우수한 성능을 보이는 Support Vector Machine을 사용하여 정상적인 메일과 스팸메일을 분류하는 방안을 제시하였으며, 특히 n-Gram을 사용하여 생성된 색인어와 단어사전을 학습데이터 생성에 사용함으로서 효율적인 학습을 수행하도록 하였다. 결론에서는 제안된 방법에 대한 성능을 검증하기 위하여 기존의 연구 결과와 비교함으로서 제안된 방법의 성능을 검증하였다.
Abstract
Because of a rapid growth of internet environment, it is also fast increasing to exchange message using e-mail. But, despite the convenience of e-mail, it is rising a currently big issue to waste their time and cost due to the spam mail in an individual or enterprise. Many kinds of solutions have been studied to solve harmful effects of spam mail. Such typical methods are as follows : pattern matching using the keyword with representative method and method using the probability like Naive Bayesian.In this paper, we propose a classification method of spam mails from normal mails using Support Vector Machine, which has excellent performance in pattern classification problems, to compensate for the problems of existing research. Especially, the proposed method practices efficiently a learning procedure with a word dictionary including a generated index by the n-Gram. In the conclusion, we verified the proposed method through the accuracy comparison of spam mail separation between an existing research and proposed scheme.
참고문헌 (17)
- "An Experimental Comparison of Naive Bayesian and Keyword-Based Anti- Spam Filtering with Personal E-mail Messages", pp.160~167 (2000), 23rd ACM International Conference on Research and Development in Infor- mation Retrieval
- "Simple Learning Algorithms for Training Support Vector Machines" (1998)
- "An Introduction to Support Vector Machines" (2000), Cambridge University
- "한글 문서의 효과적인 검색을 위한 n-Gram 기반의 색인 방법", pp.47~63
- "Learning to Filter Spam E-Mail", pp.1~13
- "경험적 정보를 이용한 k-nn기반 한국어 문서 분류기의 개선", 5(3), pp.37~44 (2002)
- "Fuzzy Support Vector Machines for Pattern Classification" (2001)
- "Support Vector Networks", pp.273~297
- "Discriminatory Analysis: Nonpara- metric Discrimination", (4) (1959)
- "모멘트를 이용한 Support Vector Machines의 학습성능 개선", 7(5), pp.1446~1455 (2000)
- "A Bayesian Approach to Filtering Junk E-Mail" (1998), In AAAI-98 Workshop on Learning for Text Categorization
- "Boosting Trees for Anti-Spam Email Filtering", pp.58~64 (2001)
- "Learning Rules that Classify E-Mail", pp.124~143, AAAAI Spring Symposium: Machine Learning in Information Access
- "Properties of Support Vector Machines Massachusetts Institute of Technology", (152) (1997)
- "A Comparative Study of Classifica- tion Based Personal E-mail Filtering", pp.408~419 (2000), 4th Pacific-Asia Conference on Knowledge Discovery and Data Mining
- "Text Categorization with Support Vector Machine:Learn- ing with Many Relevant Features", pp.137~142 (1998), European Conference on Machine Learning
- "MySVM-Manual" (2000), Univer- sity of Dortmund, Lehrstuhl Infor- matik VIII