단어의 의미와 문맥을 고려한 순환신경망 기반의 문서 분류
Document Classification using Recurrent Neural Network with Word Sense and Contexts
1
조회
0
다운로드
5
인용
0
참고문헌
키워드
초록
본 논문에서는 단어의 순서와 문맥을 고려하는 특징을 추출하여 순환신경망(Recurrent Neural Network)으로 문서를 분류하는 방법을 제안한다. 단어의 의미를 고려한 word2vec 방법으로 문서내의 단어를 벡터로 표현하고, 문맥을 고려하기 위해 doc2vec으로 입력하여 문서의 특징을추출한다. 문서분류 방법으로 이전 노드의 출력을 다음 노드의 입력으로 포함하는 RNN 분류기를 사용한다. RNN 분류기는 신경망 분류기 중에서도 시퀀스 데이터에 적합하기 때문에 문서 분류에 좋은 성능을 보인다. RNN에서도 그라디언트가 소실되는 문제를 해결해주고 계산속도가빠른 GRU(Gated Recurrent Unit) 모델을 사용한다. 실험 데이터로 한글 문서 집합 1개와 영어 문서 집합 2개를 사용하였고 실험 결과 GRU 기반 문서 분류기가 CNN 기반 문서 분류기 대비 약 3.5%의 성능 향상을 보였다.
Abstract
In this paper, we propose a method to classify a document using a Recurrent Neural Network by extracting features considering word sense and contexts. Word2vec method is adopted to include the order and meaning of the words expressing the word in the document as a vector. Doc2vec is applied for considering the context to extract the feature of the document. RNN classifier, which includes the output of the previous node as the input of the next node, is used as the document classification method. RNN classifier presents good performance for document classification because it is suitable for sequence data among neural network classifiers. We applied GRU (Gated Recurrent Unit) model which solves the vanishing gradient problem of RNN. It also reduces computation speed. We used one Hangul document set and two English document sets for the experiments and GRU based document classifier improves performance by about 3.5% compared to CNN based document classifier.
참고문헌 (21)
- J. H. Kim, "Large-Scale Text Classification with Convolution Neural Networks", Korean Information Science Society Conference Proceedings, pp.792~794 (2015)
- P. Soucy, "Beyond TFIDF weighting for text categorization in the vector space model", IJCAI, 5 (2005)
- 리청화, "한글문서분류에 SVD를 이용한 BPNN 알고리즘", 한국산업정보학회논문지, 15(2), pp.49~57 (2010), 한국산업정보학회
- G. Salton, "A vector space model for automatic indexing", Communications of the ACM, 18(11), pp.613~620 (1975)[DOI]
- J. W. Hwang, "A Studyon Sentiment Features Extractionand Their Weight Boosting Methodfor Korean Document Sentiment Classification", Journal of KISS: Computing Practice and Letters, 14(3), pp.336~340 (2008)
- Y. Goldberg, "word2vec Explained: deriving Mikolov et al.'s negative-sampling word-embedding method", arXiv preprint arXiv:1402.3722, ~ (2014)
- A. Krizhevsky, "Imagenet classification with deep convolutional neural networks", Advances in Neural Information Processing Systems (2012)
- 김정미, "Word2vec을 활용한 RNN기반의 문서 분류에 관한 연구", 한국지능시스템학회 논문지, 27(6), pp.560~565 (2017), 한국지능시스템학회
- T. Mikolov, "Distributed representations of words and phrases and their compositionality", Advances in Neural Information Processing Systems (2013)
- [URL]
- M. Cassel, "Evaluating one-hot encoding finite state machines for SEU reliability in SRAM-based FPGAs", On-Line Testing Symposium, 2006. IOLTS 2006. 12th IEEE International (2006), IEEE
- J. H. Lau, "An empirical evaluation of doc2vec with practical insights into document embedding generation", Proceedings of the 1st Workshop on Representation Learning forNLP, pp.78~86 (2016)
- Q. Le, "Distributed representations of sentences and documents", International Conference on Machine Learning (2014)
- F. A. Gers, "Learning to forget: Continual prediction with LSTM", pp.850~855 (1999)
- K. Cho, "Learning phrase representations using RNN encoder-decoder for statistical machine translation", ~ (2014)
- [URL]
- [URL]
- [URL]
- 이재윤, "문헌간 유사도를 이용한 SVM 분류기의 문헌분류성능 향상에 관한 연구", 정보관리학회지, 22(3), pp.261~287 (2005), 한국정보관리학회[DOI]
- Jiang, Z., "A hybrid generative", discriminative method for semi-supervised classification, 2013, pp.37, 137~145
- N. H. Kim, "Classification of Hangul Documents Based on CNN Using Document Indexing Method Considering Meaning and Order of Words", Korean Computer Education Association Conference Paper, 21(2), pp.41~45 (2017)