양방향 장단기 메모리 신경망을 이용한 욕설 검출
Abusive Detection Using Bidirectional Long Short-Term Memory Networks
0
조회
0
다운로드
3
인용
0
참고문헌
키워드
초록
욕설과 비속어를 포함한 악성 댓글에 대한 피해는 최근 언론에 나오는 연애인의 자살뿐만 아니라 사회 전반에서 다양한 형태로 증가하고 있다. 이 논문에서는 양방향 장단기 메모리 신경망 모델을 이용하여 욕설을 검출하는 기법을 제시하였다. 웹 크룰러를 통해 웹상의 댓글을 수집하고, 영어나 특수문자 등의 사용하지 않은 글에 대해 불용어 처리를 하였다. 불용어 처리된 댓글에 대해 문장의 전･후 관계를 고려한 양방향 장단기 메모리 신경망 모델을 적용하여 욕설 여부를 판단하고 검출하였다. 양방향 장단기 메모리 신경망을 사용하기 위해 검출된 댓글에 대해 형태소 분석과 벡터화 과정을 거쳤으며 각 단어들에 욕설 해당 여부를 라벨링하여 진행하였다. 실험 결과 정제하고 수집된 총 9,288개의 댓글에 대해 88.79%의 성능을 나타내었다.
Abstract
Recently, the damage with social cost of malicious comments is increasing. In addition to the news of talent committing suicide through the effects of malicious comments. The damage to malicious comments including abusive language and slang is increasing and spreading in various type and forms throughout society. In this paper, we propose a technique for detecting abusive language using a bi-directional long short-term memory neural network model. We collected comments on the web through the web crawler and processed the stopwords on unused words such as English Alphabet or special characters. For the stopwords processed comments, the bidirectional long short-term memory neural network model considering the front word and back word of sentences was used to determine and detect abusive language. In order to use the bi-directional long short-term memory neural network, the detected comments were subjected to morphological analysis and vectorization, and each word was labeled with abusive language. Experimental results showed a performance of 88.79% for a total of 9,288 comments screened and collected.
참고문헌 (21)
- "dc api 0.4.6" (2019)[URL]
- 고동우, "KoNLPy와 Word2Vec을 활용한한국어 자연어 처리 및 분석", 2018년 한국컴퓨터종합학술대회 논문집, pp.2140~2142 (2018), 한국정보과학회
- 박은정, "KoNLPy : 쉽고 간결한 한국어정보처리 파이썬 패키지", 제 26회 한글 및 한국어정보처리 학술대회 논문집 (2014)
- "KoNLP" (2019)[URL]
- Supervised Sequence Labelling with Recurrent Neural Networks, Part of the Studies in Computational Intelligencebook series (SCI, volume 385), "Alex Graves", ~ (2008)
- 솔라리스, "텐서플로로 배우는 딥러닝" (2018)
- "CuDNNLSTM" (2019)[URL]
- Nitish Srivastava, "Dropout : A Simple Way to Prevent Neural Networks from Overfitting", Journal of Machine Learning Research, 15, pp.1929~1958 (2014)
- David E. Rumelhart, "Learning representations by backpropagating errors", Nature, 323, pp.533~536 (1986)
- Bengio, Yoshua, "Learning long-term dependencies with gradient descent is difficult", IEEE Transactions on Neural Networks, 5(2), pp.157~166 (1994)
- 방성혁, "순환신경망 기반의 사용자 의도 예측 모델", 정보과학회논문지, 45(4), pp.360~369 (2018), 한국정보과학회[DOI]
- Yann LeCun, "Deep learning", Nature, 521, pp.436~444 (2015)
- 정호철, "에너지인터넷에서 1D-CNN과 양방향 LSTM을이용한 에너지 수요예측", 전기전자학회논문지, 23(1), pp.134~142 (2019), 한국전기전자학회[DOI]
- "Speech Recognition with Deep Recurrent Neural Networks" (2013)[URL]
- Mike Schuster, "Bidirectional Recurrent Neural Networks", IEEE Transactions on Signal Processing, 45(11), pp.2673~2681 (1997)
- 홍진주, "감성분석과 SVM을 이용한 인터넷 악성댓글 탐지 기법", 한국정보통신학회논문지, 20(2), pp.260~267 (2016), 한국정보통신학회[DOI]
- 장원구, "효과적인 사이버공간 작전수행을 위한 빅데이터 거버넌스 모델", 한국빅데이터학회 학회지, 4(1), pp.39~51 (2019), 사)한국빅데이터학회[DOI]
- 우종필, "빅데이터를 이용한 독감, 폐렴 및 수족구 환자수 예측 모델 연구", 한국빅데이터학회 학회지, 3(1), pp.55~62 (2018), 사)한국빅데이터학회[DOI]
- Alberto, Tulio, "TubeSpam: Comment Spam Filtering on YouTube", pp.138~143 (2015)[DOI]
- Thulfiqar, A., "YouTube Spam Comments Detection Using Artificial Neural Network", Journal of Engineering and Applied Sciences, 13, pp.9638~9642 (2018)
- 정민철, "머신러닝 기반 유튜브스팸 댓글 탐지", 한국통신학회 학술대회 논문집, pp.555~556 (2019)