워드 임베딩과 딥러닝 기법을 이용한 SMS 문자 메시지필터링
SMS Text Messages Filtering using Word Embedding and Deep Learning Techniques
5
조회
0
다운로드
6
인용
0
참고문헌
키워드
초록
딥러닝에서 자연어 처리를 위한 텍스트 분석 기법은 워드 임베딩을 통해 단어를 벡터 형태로 표현한다. 본 논문에서는워드 임베딩 기법과 딥러닝 기법을 이용하여 SMS 문자 메시지를 문서 벡터로 구성하고 이를 스팸 문자 메시지와 정상적인 문자 메시지로 분류하는 방법을 제안하였다. 유사한 문맥을 가진 단어들은 벡터 공간에서 인접한 벡터 공간에 표현되도록 하기 위해 전처리 과정으로 자동 띄어쓰기를 적용하고 스팸 문자 메시지로 차단되는 것을 피하기 위한 목적으로 음절의 자모를 특수기호로 왜곡하여 맞춤법이 파괴된 상태로 단어 벡터와 문장 벡터를 생성하였다. 또한 문장 벡터 생성 시CBOW와 skip gram이라는 두 가지 워드 임베딩 알고리즘을 적용하여 문장 벡터를 표현하였으며, 딥러닝을 이용한 스팸문자 메시지 필터링의 성능 평가를 위해 SVM Light와 정확도를 비교 측정하였다.
Abstract
Text analysis technique for natural language processing in deep learning represents words in vector form throughword embedding. In this paper, we propose a method of constructing a document vector and classifying it into spamand normal text message, using word embedding and deep learning method. Automatic spacing applied in the preprocessing process ensures that words with similar context are adjacentlyrepresented in vector space. Additionally, the intentional word formation errors with non-alphabetic orextraordinary characters are designed to avoid being blocked by spam message filter. Two embedding algorithms, CBOW and skip grams, are used to produce the sentence vector and the performanceand the accuracy of deep learning based spam filter model are measured by comparing to those of SVM Light
참고문헌 (19)
- 박경민, "휴대 단말을 위한 지능형 사용자 인터페이스 플랫폼", 스마트미디어저널, 1(4) (2012)
- 손대능, "문자메시지의 특성을 고려한 한국어 모바일 스팸필터링 시스템", 한국산학기술학회논문지, 11(7), pp.2595~2602 (2010), 한국산학기술학회
- M. Salib, "MeatSlicer : Spam Classification with Naive Bayes and Smart Heuristics", Proceedings of the Spam Conference (2002)
- K. Schneider, "A Comparison of Event Models for Naive Bayes Anti-Spam E-Mail Filtering", Proceedings of 10th Conference of the European Chapter of the Association for Computational Linguistics(EACL 2003), 1, pp.307~314 (2003)
- 강승식, "메일 주소 유효성과 제목-내용 가중치 기법에 의한 스팸 메일 필터링", 멀티미디어학회논문지, 9(2), pp.255~263 (2006), 한국멀티미디어학회
- Drucker, H., "Support Vector Machines for Spam Categorization", IEEE Transactions on Neural networks, 10(5), pp.1048~1054 (1999)
- 허기수, "양자 유전 알고리즘을 이용한 특징 선택 및 성능 분석", 스마트미디어저널, 1(1), pp.40~45 (2012)
- Mikolov, T., "Distributed Representations of Words and Phrases and their Compositionality", Advances in neural information processing systems, pp.3111~3119 (2013)
- Mikolov, Tomáš, "Recurrent neural network based language model", Eleventh Annual Conference of the International Speech Communication Association, pp.1045~1048 (2010)
- Mikolov, T., "Linguistic Regularities in Continuous Space Word Representations", Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics:Human Language Technologies, pp.746~751 (2013)
- Manevitz, L. M., "One-class SVMs for Document Classification", Journal of machine Learning research, 2, pp.139~154 (2001)
- Socher, R., "Parsing Natural Scenes and Natural Language with Recursive Neural Networks", Proceedings of the 28th international conference on machine learning (ICML-11), pp.129~136 (2011)
- Chen, D., "A Fast and Accurate Dependency Parser using Neural Networks", Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP), pp.740~750 (2014)
- Simard, P. Y., "Best Practices for Convolutional Neural Networks Applied to Visual Document Analysis", Proceedings of the 7th International Conference on Document Analysis and Recognition(ICDAR 2003), 2, pp.958~962 (2003)
- Mikolov, Tomas, "Efficient estimation of word representations in vector space", arXiv preprint arXiv:1301.3781, ~ (2013)
- Sahlgren, M., "The distributional hypothesis", Italian Journal of Disability Studies, 20, pp.33~53 (2008)
- 강승식, "음절 bigram을 이용한 띄어쓰기 오류의자동 교정", 음성과학, 8(2), pp.83~90 (2001)
- 강승식, "SMS 변형된 문자열의 자동 오류 교정 시스템", 정보과학회논문지 : 소프트웨어 및 응용, 35(6), pp.386~391 (2008), 한국정보과학회
- 강승식, "스팸 문자 필터링을 위한 변형된 한글 SMS 문장의 정규화 기법", 정보처리학회 논문지, 3(7), pp.271~276 (2014), 한국정보처리학회[DOI]