딥러닝 기반 한국어 맞춤법 교정을 위한 오류 유형 분류 및 분석
Classification and analysis of error types for deep learning-based Korean spelling correction
0
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
최근 기계 번역 기술과 자동 노이즈 생성 방법론을 기반으로 한국어 맞춤법 교정 연구가 활발히 이루어지고 있다. 해당 방법론들은 노이즈를 생성하여 학습 셋과 데이터 셋으로 사용한다. 이는 학습에 사용된 노이즈 외의 노이즈가 테스트 셋에 포함될 가능성이 낮아 정확한 성능 측정이 어렵다는 한계점이 존재한다. 또한 실제적인 오류 유형 분류 기준이 없어 연구마다 사용하는 오류 유형이 다르므로 질적 분석에 어려움을 겪고 있다. 이를 해결하기 위해 본 논문은 딥러닝 기반 한국어 맞춤법 교정 연구를 위한 새로운 ’오류 유형 분류 체계‘를 제안하며 이를 바탕으로 기존 상용화 한국어 맞춤법 교정기(시스템 A, 시스템 B, 시스템 C)에 대한 오류 분석을 수행하였다. 분석결과, 세 가지 교정 시스템들이 띄어쓰기 오류 외에 본 논문에서 제시한 다른 오류 유형은 교정을 잘 수행하지 못했으며 어순 오류나 시제 오류의 경우 오류 인식을 거의 하지 못함을 알 수 있었다.
Abstract
Recently, studies on Korean spelling correction have been actively conducted based on machine translation and automatic noise generation. These methods generate noise and use as train and data set. This has limitation in that it is difficult to accurately measure performance because it is unlikely that noise other than the noise used for learning is included in the test set In addition, there is no practical error type standard, so the type of error used in each study is different, making qualitative analysis difficult. This paper proposes new 'error type classification' for deep learning-based Korean spelling correction research, and error analysis perform on existing commercialized Korean spelling correctors (System A, B, C). As a result of analysis, it was found the three correction systems did not perform well in correcting other error types presented in this paper other than spacing, and hardly recognized errors in word order or tense.
참고문헌 (17)
- J. Xiong, "HANSpeller: a unified framework for Chinese spelling correction", International Journal of Computational Linguistics & Chinese Language Processing, 20(1) (2015)
- M. Kim, "Statistical context-sensitive spelling correction using typing error rate", 2013 IEEE 16th International Conference on Computational Science and Engineering, pp.1242~1246 (2013)
- 이정훈, "문맥의존 철자오류 후보 생성을 위한 통계적 언어모형 개선", 멀티미디어학회논문지, 20(2), pp.371~381 (2017), 한국멀티미디어학회
- C. Park, "Neural spelling correction: translating incorrect sentences to correct sentences for multimedia", Multimedia Tools and Applications, 8, pp.1~18 (2020)
- M. Lee, "Korean Grammatical Error Correction Based on Transformer with Copying Mechanisms and Grammatical Noise Implantation Methods", Sensors, 21(8), pp.2658~ (2021)
- C. Park, "Self-Supervised Korean Spelling Correction via Denoising Transformer", 7th International Conference on Information, System and Convergence Applications (2020)
- C. Park, "BTS: Back TranScription for speech-to-text post-processor using text-to-speech-to-text", Proceedings of the 8th Workshop on Asian Translation (WAT2021), pp.106~116 (2021)
- J. Byun, "Automatic spelling correction rule extraction and application for spoken-style korean text", Sixth International Conference on Advanced Language Processing and Web Information Technology (ALPIT 2007), pp.195~199 (2007)
- E. Brill, "An improved error model for noisy channel spelling correction", Proceedings of the 38th annual meeting of the association for computational linguistics, pp.286~293 (2000)
- M. Konchady., "Detecting Grammatical Errors in Text using a Ngram-based Ruleset", ~ (2009)
- Li, H., "Spelling error correction using a nested rnn model and pseudo training data", arXiv preprint arXiv:1811.00238., ~ (2018)
- A. Solyman, "Proposed model for arabic grammar error correction based on convolutional neural network", 2019 International Conference on Computer, Control, Electrical, pp.1~6 (2019)
- A. Kuznetsov, "Spelling Correction with Denoising Transformer", arXiv preprint arXiv:2105.05977., ~ (2021)
- 민진홍, "Grammatical Error Correction Models for Korean Language via Pre-trained Denoising", Quantitative Bio-Science, 39(1), pp.17~24 (2020), 자연과학연구소[DOI]
- M. Lee, "Korean Grammatical Error Correction Based on Transformer with Copying Mechanisms and Grammatical Noise Implantation Methods", Sensors, 21(8), pp.2658~ (2021)
- 김선경, "한국-베트남 다문화가정 아동의 읽기 및 쓰기에 나타나는 한국어 연음규칙 적용 특성과 부모의 한국어 능력과의 상관연구", 언어치료연구, 29(2), pp.57~71 (2020), 한국언어치료학회[DOI]
- 이경미, "대학생의 글에 나타난 띄어쓰기 오류 유형", 어문연구, 97, pp.289~318 (2018), 어문연구학회[DOI]