스팸 문자 필터링을 위한 변형된 한글 SMS 문장의 정규화 기법
A Normalization Method of Distorted Korean SMS Sentences for Spam Message Filtering
2
조회
0
다운로드
8
인용
0
참고문헌
키워드
초록
휴대폰에서 문자 메시지 전송 기능은 현대인들에게 매우 편리한 새로운 형태의 의사소통 방식이다. 반면에 문자 메시지 기능을 악용한 광고성 문자들이 너무 많이 쏟아져서 휴대폰 사용자들은 스팸 문자 공해에 시달리는 심각한 부작용을 낳게 되었다. 광고성 문자를 발송하는 사람들은 문자 메시지가 자동으로 차단되는 것을 회피하기 위해 한글 문장을 다양한 형태로 변형하거나 왜곡시키고 있으며, 이러한 문자 메시지를 자동으로 차단하기 위해서는 변형되거나 왜곡된 문장들을 정상적인 한글 문장으로 정규화하는 기술이 필수적이다. 본 논문에서는 변형되거나 왜곡된 광고성 문자 메시지를 정상적인 문장으로 정규화하고 정규화된 문장으로부터 자동 띄어쓰기 및 복합명사 분해 과정을 거쳐 키워드를 추출하기 위한 방법을 제안하였다.
Abstract
Short message service(SMS) in a mobile communication environment is a very convenient method. However, it caused a serious side effect of generating spam messages for advertisement. Those who send spam messages distort or deform SMS sentences to avoid the messages being filtered by automatic filtering system. In order to increase the performance of spam filtering system, we need to recover the distorted sentences into normal sentences. This paper proposes a method of normalizing the various types of distorted sentence and extracting keywords through automatic word spacing and compound noun decomposition.
참고문헌 (11)
- B. Y. Kim, "A Study on the Morphological Characteristics of Communicative Languages by the Statistical Frequency", 석사, pp.2002
- 이승재, "사용자 맞춤형 스팸 문자 필터링 시스템", 한국콘텐츠학회 논문지, 11(12), pp.122~135 (2011), 한국콘텐츠학회
- 강승식, "메일 주소 유효성과 제목-내용 가중치 기법에 의한 스팸 메일 필터링", 멀티미디어학회논문지, 9(2), pp.255~263 (2006), 한국멀티미디어학회
- K. Tretyakov, "Machine learning techniques in spam filtering", Data Mining Problem-oriented Seminar, MTAT, 03(177), pp.60~79 (2004)
- L. Zhang, "ACM Transactions on Asian Language Information Processing(TALIP)", ACM Transactions on Asian Language Information Processing(TALIP), 3(4), pp.243~269 (2004)
- C. Brutlag, "Challenges of the email domain for text classification", Proceedings of the 17th International Conference on Machine Learning (2000)
- M. Sahami, "A Bayesian approach to filtering junk E-mail", Proceedings of the AAAI Workshop, pp.55~62 (1998)
- M. Salib, "MeatSlicer: Spam classification with Naive Bayes and smart heuristics", Proceedings of the Spam Conference, MA (2003)
- K. Schneider, "A comparison of event models for Naive Bayes anti-spam E-mail filtering", Proceedings of 10th Conference of the European Chapter of the Association for Computational Linguistics(EACL 2003), pp.307~314 (2003)
- S. S. Kang, "A language independent n-gram model for word segmentation", Proceedings of AI’2006, pp.557~565 (2006)
- S. S. Kang, "A decomposition algorithm of Korean compound nouns", Journal of KIISE(B), 25(1), pp.172~182 (1998)