한국어 자동 띄어쓰기 시스템을 위한 학습 데이터의 효과적인 표현 방법
Effective Representation Method of Training Data for Automatic Korean Word Spacing System
0
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
인공지능이 한국어 텍스트의 의미를 정확히 파악하기 위해서는 텍스트의 띄어쓰기 오류 교정 혹은 자동 띄어쓰기를 통한 어절 인식의 과정이 필요하다. 최근 심층학습 기술이 발달하면서 심층학습을 자동 띄어쓰기 문제에 적용하는 연구들이 많아지고 있다. 이를 위해서는 한국어 문장을 고정 길이시퀀스로 변환하여 심층 신경망의 입력으로 전달하여야 한다. 본 연구는 심층학습이 띄어쓰기 패턴을효과적으로 학습하기 위해서 심층학습의 입력으로 주어지는 학습 데이터를 어떻게 표현하는 것이 적절한지를 실험을 통하여 검토하였다. 실험 결과 입력 시퀀스를 생성하는 방법과 띄어쓰기 정보를 태깅하는 방법이 심층학습의 성능에 영향을 미친다는 점을 확인하였다. 띄어쓰기에는 상대적으로 앞쪽음절 문맥이 더 중요하므로 문장의 앞쪽 중심으로 입력 시퀀스를 구성하는 것이 좋은 결과를 보였으며, 각 음절이 어절 경계 인식에서 갖는 역할을 더욱 명확히 표현하여 음절열의 부족한 문맥을 보완하는 것이 심층학습에 도움이 되었다.
Abstract
In order for AI to accurately grasp the meaning of Korean text, it is necessary to recognize the word by correcting the spacing of the text or by automatically spacing. Recently, with the development of deep learning techniques, there are a lot of studies that apply deep learning to the automatic word spacing problem. To this end, Korean sentences must be converted into fixedlength sequences and transmitted as input to deep neural networks. Experimental results show that the method of generating the input sequence and the tagging of the spacing information affect the performance of the deep learning. Since the left context is more important for spacing, it was good to construct the input sequence around the front of the sentence. It was helpful to express the role of each syllable in word boundary recognition more clearly to compensate for the insufficient context of syllable sequence.
참고문헌 (18)
- Kwangseob Shim, "Automated Word-Segmentation for Korean using Mutual Information of Syllables", Journal of KISS(B) : Software and Applications, 23(9), pp.991~1000 (1996)
- 이도길, "한글 문장의 자동 띄어쓰기를 위한 두 가지 통계적 모델", 정보과학회논문지 : 소프트웨어 및 응용, 30(4), pp.358~371 (2003), 한국정보과학회
- Do-Gil Lee, "Automatic Word Spacing Using Probabilistic Models Based on Character n-grams", IEEE Intelligent Systems, 22(1), pp.28~35 (2007)
- 심광섭, "CRF를 이용한 한국어 자동 띄어쓰기", 인지과학, 22(2), pp.217~233 (2011), 한국인지과학회[DOI]
- Changki Lee, "Automatic Korean Word Spacing using Structural SVM", Proceedings of Korea Computer Congress 2012 (2012)
- 이태석, "LSTM 기반의 sequence-to-sequence 모델을 이용한 한글자동 띄어쓰기", 스마트미디어저널, 7(4), pp.17~23 (2018), (사)한국스마트미디어학회[DOI]
- Jaena Jang, "Automatic Korean Word Spacing Using Bi-directional LSTM", Proceedings of Korea Computer Congress 2018, pp.2052~2053 (2018)
- 김선우, "Bidirectional LSTM-CRF 기반의 음절 단위 한국어 품사 태깅 및 띄어쓰기 통합 모델 연구", 정보과학회논문지, 45(8), pp.792~800 (2018), 한국정보과학회[DOI]
- Jin-Hyuk Choi, "Overview of Automatic Spacing and Compound Noun Decomposition:2018 Korean Natural Language Processing Contest", Proceedings of the 31th Annual Conference on Human & Cognitive Language Technology, pp.193~196 (2018)
- Keon Myung Lee, "Artificial Intelligence: from Turing Test to Deep Learning", pp.254~264 (2018), Life and Power Press
- Tomas Mikolov, "Distributed Representations of Words and Phrases and their Compositionality", Advances in Neural Information Processing Systems, 26, pp.3111~3119 (2013)
- Seung-Shik Kang, "Eojeol-Block Bidirectional Algorithm for Automatic Word Spacing of Hangul Sentences", Journal of KISS : Software and Applications, 27(4), pp.441~447 (2000)
- Lance A. Ramshaw, "Text Chunking using Transformation-Based Learning", Third Workshop on Very Large Corpora (1995)
- Erik F. Tjong, "Representing Text Chunks", Ninth Conference on the European Chapter of the Association for Computational Linguistics (1999)
- Kiyotaka Uchimoto, "Named Entity Extraction Based on A Maximum Entropy Model and Transformation Rules", Proceedings of the 38th Annual Meeting of the Association for Computational Linguistics, pp, pp.326~335 (2000)
- Taku Kudo, "Chunking with Support Vector Machines", Proceeding NAACL ’01Proceedings of the second meeting of the North American Chapter of the Association for Computational Linguistics on Language Technologies, pp.1~8 (2001)
- Hung-gyu Kim, "21st Century Sejong Modern Korean Corpora : Results and Expectations", Proceedings of the 19th Annual Conference on Human & Cognitive Language Technology, pp.311~316 (2007)
- Zhiheng Huang, "Bidirectional LSTM-CRF Models for Sequence Tagging", arXiv:1508.01991, ~ (2015)