LSTM 기반의 sequence-to-sequence 모델을 이용한 한글자동 띄어쓰기
LSTM based sequence-to-sequence Model for Korean Automatic Word-spacing)
0
조회
0
다운로드
11
인용
0
참고문헌
키워드
초록
자동 띄어쓰기 특성을 효과적으로 처리할 수 있는 LSTM(Long Short-Term Memory Neural Networks) 기반의 RNN 모델을 제시하고 적용한 결과를 분석하였다. 문장이 길거나 일부 노이즈가 포함된 경우에 신경망 학습이 쉽지 않은 문제를 해결하기 위하여 입력 데이터 형식과 디코딩 데이터 형식을 정의하고, 신경망 학습에서 드롭아웃, 양방향 다층 LSTM 셀, 계층 정규화기법, 주목 기법(attention mechanism)을 적용하여 성능을 향상시키는 방법을 제안하였다. 학습 데이터로는 세종 말뭉치 자료를 사용하였으며, 학습 데이터가 부분적으로 불완전한 띄어쓰기가 포함되어 있었음에도 불구하고, 대량의 학습 데이터를 통해한글 띄어쓰기에 대한 패턴이 의미 있게 학습되었다. 이것은 신경망에서 드롭아웃 기법을 통해 학습 모델의 오버피팅이 되지않도록 함으로써 노이즈에 강한 모델을 만들었기 때문이다. 실험결과로 LSTM sequence-to-sequence 모델이 재현율과 정확도를 함께 고려한 평가 점수인 F1 값이 0.94로 규칙 기반 방식과 딥러닝 GRU-CRF보다 더 높은 성능을 보였다.
Abstract
We proposed a LSTM-based RNN model that can effectively perform the automatic spacing characteristics. Forthose long or noisy sentences which are known to be difficult to handle within Neural Network Learning, wedefined a proper input data format and decoding data format, and added dropout, bidirectional multi-layer LSTM,layer normalization, and attention mechanism to improve the performance. Despite of the fact that Sejong corpuscontains some spacing errors, a noise-robust learning model developed in this study with no overfitting througha dropout method helped training and returned meaningful results of Korean word spacing and its patterns. Theexperimental results showed that the performance of LSTM sequence-to-sequence model is 0.94 in F1-measure,which is better than the rule-based deep-learning method of GRU-CRF.
참고문헌 (17)
- Van Khien Pham, "Text Detection based on Edge Enhanced Contrast Extremal Region and Tensor Voting in Natural Scene Images", 스마트미디어저널, 6(4), pp.32~40 (2017), (사)한국스마트미디어학회
- Abhijeet Boragule, "Text Line Segmentation of Handwritten Documents by Area Mapping", 스마트미디어저널, 4(3), pp.44~49 (2015), (사)한국스마트미디어학회
- Xinchi Chen, "Gated recursive neural network for chinese word segmentation", Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing, pp.1744~1753 (2015)
- Xinchi Chen, "Long short-term memory neural networks for chinese word segmentation", Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp.1197~1206 (2015)
- Deng Cai, "Neural Word Segmentation Learning for Chinese", Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp.409~420 (2016)
- Peilu Wang, "Learning distributed word representations for bidirectional lstm recurrent neural network", Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp.527~533 (2016)
- 강승식, "음절 bigram를 이용한 띄어쓰기 오류의 자동 교정", 음성과학, 8(2), pp.83~90 (2001)
- 심광섭, "CRF를 이용한 한국어 자동 띄어쓰기", 인지과학, 22(2), pp.217~233 (2011), 한국인지과학회[DOI]
- 이창기, "Structural SVM 을 이용한 한국어 자동 띄어쓰기", 한국정보과학회 2012 한국컴퓨터종합학술대회 논문집, 39(1), pp.270~272 (2012)
- 황현선, "딥러닝을 이용한 한국어 자동 띄어쓰기", 한국컴퓨터종합학술대회, pp.738~740 (2016)
- 2Ilya Sutskever, "Sequence to Sequence Learning with Neural Networks", arXiv:1409.3215, ~ (2014)
- Oriol Vinyals, "Grammar as a Foreign Language", arXiv:1412.7449, ~ (2015)
- Dzmitry Bahdanau, "Neural machine translation by jointly learning to align and translate", arXiv:1409.0473, ~ (2014)
- Nitish Srivastava, "Dropout: A Simple Way to Prevent Neural Networks from Overtting", Journal of Machine Learning Research, pp.1929~1958 (2014)
- Jimmy Lei Ba, "Layer Normalization", arXiv:1607.06450, ~ (2016)
- Matthew D. Zeiler, "ADADELTA an adaptive learning rate method", arXiv:1212.5701, ~ (2012)
- Chin-Yew Lin, "ROUGE: A Package for Automatic Evaluation of Summaries", Proceedings of Workshop on Text Summarization Branches Out, Post- Conference Workshop of ACL 2004 (2004)