종단 간 심층 신경망을 이용한 한국어 문장 자동 띄어쓰기
Automatic Word Spacing of the Korean Sentences by Using End-to-End Deep Neural Network
0
조회
0
다운로드
3
인용
0
참고문헌
키워드
초록
기존의 자동 띄어쓰기 연구는 n-gram 기반의 통계적인 기법을 이용하거나 형태소 분석기를 이용하여 어절 경계면에 공백을 삽입하는 방법으로 띄어쓰기 오류를 수정한다. 본 논문에서는 심층 신경망을 이용한 종단 간(end-to-end) 한국어 문장 자동 띄어쓰기 시스템을 제안한다. 자동 띄어쓰기 문제를 어절 단위가 아닌 음절 단위 태그 분류 문제로 정의하고 음절 unigram 임베딩과 양방향 LSTM Encoder로 문장 음절간의 양방향 의존 관계 정보를 고정된 길이의 문맥 자질 벡터로 연속적인 벡터 공간에 표현한다. 그리고 새로이 표현한 문맥 자질 벡터를 자동 띄어쓰기 태그(B 또는 I)로 분류한 후 B 태그 앞에 공백을 삽입하는 방법으로 한국어 문장의 자동 띄어쓰기를 수행하였다. 자동 띄어쓰기 태그 분류를 위해 전방향 신경망, 신경망 언어 모델, 그리고 선형 체인 CRF의 세 가지 방법의 분류 망에 따라 세 가지 심층 신경망 모델을 구성하고 종단 간 한국어 자동 띄어쓰기 시스템의 성능을 비교하였다. 세 가지 심층 신경망 모델에서 분류 망으로 선형체인 CRF를 이용한 심층 신경망 모델이 더 우수함을 보였다. 학습 및 테스트 말뭉치로는 최근에 구축된 대용량 한국어 원시 말뭉치로 KCC150을 사용하였다.
Abstract
Previous researches on automatic spacing of Korean sentences has been researched to correct spacing errors by using n-gram based statistical techniques or morpheme analyzer to insert blanks in the word boundary. In this paper, we propose an end-to-end automatic word spacing by using deep neural network. Automatic word spacing problem could be defined as a tag classification problem in unit of syllable other than word. For contextual representation between syllables, Bi-LSTM encodes the dependency relationship between syllables into a fixed-length vector of continuous vector space using forward and backward LSTM cell. In order to conduct automatic word spacing of Korean sentences, after a fixed-length contextual vector by Bi-LSTM is classified into auto-spacing tag(B or I), the blank is inserted in the front of B tag. For tag classification method, we compose three types of classification neural networks. One is feedforward neural network, another is neural network language model and the other is linear-chain CRF. To compare our models, we measure the performance of automatic word spacing depending on the three of classification networks. linear-chain CRF of them used as classification neural network shows better performance than other models. We used KCC150 corpus as a training and testing data.
참고문헌 (19)
- 심광섭, "말뭉치와 형태소 분석기를 활용한 한국어 자동 띄어쓰기", 정보과학회논문지, 42(1), pp.68~75 (2015), 한국정보과학회
- K. S. Kim, "Three-stage Word- spacing System for Continuous Syllable Sentence in Korea", Journal of KISS(B): Software and Applications, 25(12), pp.1838~1844 (1998)
- S. S. Kang, "Eojeol-block Bidirectional Algorithm for Automatic Word Spacing of Hangul Sentences", Journal of KISS : Software and Applications, 27(4), pp.441~447 (2000)
- 이창기, "사용자가 입력한 띄어쓰기 정보를 이용한 Structural SVM 기반 한국어 띄어쓰기", 정보과학회 컴퓨팅의 실제 논문지, 20(5), pp.301~305 (2014), 한국정보과학회
- H. S. Hwang, "Automatic Korean Word Spacing using Deep Learning", Korea Computer Congress of KIISE, pp.738~740 (2016)
- 이태석, "LSTM 기반의 sequence-to-sequence 모델을 이용한 한글자동 띄어쓰기", 스마트미디어저널, 7(4), pp.17~23 (2018), (사)한국스마트미디어학회[DOI]
- "KoSpacing: Automatic Korean Word Spacing" (2018)[URL]
- T. Mikolov, "Distributed Representations of Words and Phrases and Their Compositionality", Advances in Neural Information Processing Systems, pp.3111~3119 (2013)
- T. Mikolov, "Efficient Estimation of Word Representations in Vector Space", arXiv Preprint arXiv : 1301. 3781, ~ (2013)
- P. Bojanowski, "Enriching Word Vectors with Subword Information", Transactions of the Association for Computational Linguistics, 5, pp.135~146 (2017)
- J. Pennington, "Glove: Global Vectors for Word Representation", Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp.1532~1543 (2014)
- T. Mikolov, "Recurrent Neural Network Based Language Model", Eleventh Annual Conference of the International Speech Communication Association, pp.1045~1048 (2010)
- 김선우, "Bidirectional LSTM-CRF 기반의 음절 단위 한국어 품사 태깅 및 띄어쓰기 통합 모델 연구", 정보과학회논문지, 45(8), pp.792~800 (2018), 한국정보과학회[DOI]
- Z. H. Huang, "Bidirectional LSTM-CRF Models for Sequence Tagging", arXiv Preprint arXiv : 1508. 01991, ~ (2015)
- A. Krizhevsky, "Imagenet Classification with Deep Convolutional Neural Networks", Advances in Neural Information Processing Systems. Harrahs and Harveys, pp.1097~1105 (2012)
- T. Mikolov, "Extensions of Recurrent Neural Network Language Model", 2011 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp.5528~5531 (2011)
- Y. Bengio, "A Neural Probabilistic Language Model", Journal of Machine Learning Research, 3, pp.1137~1155 (2003)
- M. Sundermeyer, "LSTM Neural Networks for Language Modeling", Thirteenth Annual Conference of the International Speech Communication Association, pp.194~197 (2012)
- R. Jozefowicz, "Exploring the Limits of Language Modeling", arXiv Preprint arXiv:1602.02410, ~ (2016)