스팸 메일 분류를 위한 데이터 마이닝 응용
Data Mining for Spam Email Classification
0
조회
0
다운로드
2
인용
0
참고문헌
키워드
초록
본 연구는 데이터 마이닝을 이용하여 스팸메일을 분류하는 문제에 대한 해법을 제시한다. 인터넷의 보급과 전산화로 인해 이메일을 이용하는 개인이나 단체가 증가하면서 생활의 편리함과 비즈니스에서의 효율성이 크게 향상이 되었다. 반면에 이러한 변화는 스팸메일을 수신하면서 많은 문제들을 야기시키고 있다. 스팸메일은 광고나 악의적인 목적으로 원하지 않는 수신자에게 전달되는 이메일을 말한다. 스팸메일은 개인에게는 혼란과 컴퓨터에 악영향을 미치고, 비즈니스에서는 중요한 업무를 방해하는 등 악영향을 끼치고 있다. 이러한 스팸메일을 스팸메일함으로 보내는 방법이 많이 연구되어 왔지만 효과적인 방법에 대한 필요가 여전히 높다. 이러한 문제를 해결하기 위해서 많은 해결 방법론이 연구되어져 왔고 데이터 마이닝이 우수한 결과를 보여줬다. 하지만 보유하고 있는 데이터의 상태가 불완전한 경우에는 데이터 마이닝 기법을 적용하기 쉽지 않다. 특히 데이터의 클레스에 대한 정보가 한쪽만 가지고 있거나 불확실한 경우에 대해서는 일반적인 데이터 마이닝 기법은 분류모형을 찾는 것이 어렵다. 본 논문에서는 이를 해결하기 위해 PU learning을 이용한다. 또한 기본 데이터 마이닝 기법으로는 Support Vector Machine(SVM)을 적용하였다. 실험 결과에서는 제시한 방법론이 스팸메일 분류에 대해 좋은 분류모형을 제시할 수 있다는 것을 보여준다.
Abstract
This paper proposes a classification model for spam email using data mining. The use of personal or business email has increased along with the growth of internet population and computerization. This change allows one to live in convenience or to improve the efficiency of business. On the other hand, spam emails cause many problems in our life. Spam email is defined as the email which is sent to anyone who does not want to receive the email that brings to annoyance or computer virus or interruption of business process. Although a lot of studies have been proposed to protect the spam email, we are still in need of an efficient classification method. Data mining is a prominent way to classify spam emails. However, if data do not have sufficient information, traditional data mining method may not apply for the problem. Therefore, we suggest PU learning algorithm to classify the problem with insufficient data which have only positive class and unlabeled data. Support vector machine (SVM) has been used as the basic data mining method. Experimental results show the viability of the proposed classification model.
참고문헌 (22)
- J. Shen, "On robust image spam filtering via comprehensive visual modeling", Patten Recognition, 48, pp.3227~3238 (2015)
- G. Ruan, "Intelligent Detection Approaches for Spam, Natural Computation, 2007", ICNC 2007. Third International Conference, 3, pp.672~676 (2007)
- G. Fumera, "Spam filtering based on the analysis of text information embedded into images", Journal of Machine Learning Research, 7, pp.2699~2720 (2006)
- A. Schwartz, "SpamAssassin" (2004), O'Reilly Media, Inc
- D.E. Bambauer, "Solving the Inbox Paradox: An Information-Based Policy Approach to Unsolicited E-mail Advertising", Virginia Journal of Law and Technology, 10(2), pp.1~94 (2005)
- T.S. Guzella, "A review of machine learning approaches to Spam filtering", Expert Systems with Applications, 36(7), pp.10206~10222 (2009)
- M. Qi, "Semantic Analysis for Spam Filtering", 2010 Seventh International Conference on Fuzzy Systems and Knowledge Discovery (FSKD 2010), pp.2914~2917
- P.P. Chan, "Spam filtering for short messages in adversarial environment", Neurocomputing, 155, pp.167~176 (2015)
- M.C. Su, "A neural tree and its application to spam e-mail detection", Expert Systems with Applications, 37(12), pp.7976~7985 (2010)
- K.C. Ying, "An ensemble approach applied to classify spam e-mails", Expert Systems with Applications, 37(3), pp.2197~2201 (2010)
- I. Idris, "A combined negative selection algorithm–particle swarm optimization for an email spam detection system", Engineering Applications of Artificial Intelligence, 39, pp.33~44 (2015)
- L. Zhang, "An evaluation of statistical spam filtering techniques", ACM Transactions on Asian Language Information Processing (TALIP), 3(4), pp.243~269 (2004)
- B. Massey, "Learning spam: simple techniques for freely-available software", ATEC '03 Proceedings of the annual conference on USENIX Annual Technical Conference, pp.13~ (2003)
- S.J. Delany, "SMS spam filtering: methods and data", Expert Systems with Applications, 39(10), pp.9899~9908 (2012)
- B. Liu, "Partially Supervised Classification of Text Documents", ICML '02Proceedings of the Nineteenth International Conference on Machine Learning, pp.387~394 (2002)
- B. Liu, "Building Text Classifiers Using Positive and Unlabeled Examples", ICDM '03 Proceedings of the Third IEEE International Conference on Data Mining, pp.179~186 (2003)
- D.H. Fusilier, "Detecting positive and negative deceptive opinions using PU-learning", Information Processing & Management, 51(4), pp.433~443 (2015)
- R. Liu, "SVM-based active feedback in image retrieval using clustering and unlabeled data", Pattern Recognition, 41(8), pp.2645~2655 (2008)
- M. Claesen, "A robust ensemble approach to learn from positive and unlabeled data using SVM base models", Neurocomputing, 160, pp.73~84 (2015)
- V.N. Vapnik, "The nature of Statistical Learning Theory" (1995), Springer
- J. Han, "Data Mining Concepts and Techniques" (2012), Morgan Kaufmann
- B. Scholkopf, "New support vector algorithms", Neural Comput, 12(5), pp.1207~1245 (2000)