사용자 사전과 형태소 토큰을 사용한 트랜스포머 기반 형태소 분석기
A Morpheme Analyzer based on Transformer using Morpheme Tokens and User Dictionary
1
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
형태소는 한국어에서 의미를 가진 최소단위이기 때문에, 한국어 언어모델의 성능을 높이기 위해서는 정확한 형태소 분석기의 개발이 필요하다. 기존의 형태소 분석기는 대부분 어절 단위 토큰을 입력 값으로 학습하여 형태소 분석 결과를 제시한다. 하지만 한국어의 어절은 어근에 조사나 접사가 부착된 형태이기 때문에 어근이 같은 어절이어도 조사나 접사로 인해 의미가 달라지는 성향이 있다. 따라서 어절 단위 토큰을 사용하여 형태소를 학습하면 조사나 접사에 대한 오분류가 발생할 수 있다. 본 논문에서는 형태소 단위의 토큰을 사용하여 한국어 문장에 내재된 의미를 파악하고, Transformer를 사용한 시퀀스 생성 방식의 형태소 분석기를 제안한다. 또한, 미등록 단어 문제를 해결하기 위해 학습 말뭉치 데이터를 기반으로 사용자 사전을 구축하였다. 실험 과정에서 각 형태소 분석기가 출력한 형태소와 품사 태그를 함께 정답 데이터와 비교하여 성능을 측정하였으며, 실험 결과 본 논문에서 제시한 형태소 분석기가 기존 형태소 분석기에 비해 성능이 높음을 증명하였다.
Abstract
Since morphemes are the smallest unit of meaning in Korean, it is necessary to develop an accurate morphemes analyzer to improve the performance of the Korean language model. However, most existing analyzers present morpheme analysis results by learning word unit tokens as input values. However, since Korean words are consist of postpositions and affixes that are attached to the root, even if they have the same root, the meaning tends to change due to the postpositions or affixes. Therefore, learning morphemes using word unit tokens can lead to misclassification of postposition or affixes. In this paper, we use morpheme-level tokens to grasp the inherent meaning in Korean sentences and propose a morpheme analyzer based on a sequence generation method using Transformer. In addition, a user dictionary is constructed based on corpus data to solve the out-of-vocabulary problem. During the experiment, the morpheme and morpheme tags printed by each morpheme analyzer were compared with the correct answer data, and the experiment proved that the morpheme analyzer presented in this paper performed better than the existing morpheme analyzer.
참고문헌 (22)
- 이선웅, "형태소의 식별과 분류", 國語學, (81), pp.263~294 (2017), 국어학회[DOI]
- 김철희, "한국어 교육을 위한 형태소 분석기의 조건과 향후 과제", 새국어교육, (129), pp.635~672 (2021), 한국국어교육학회[DOI]
- J. Devlin, "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding" (2018)
- 이동주, "꼬꼬마 : 관계형 데이터베이스를 활용한 세종 말뭉치 활용 도구", 정보과학회 컴퓨팅의 실제 논문지, 16(11), pp.1046~1050 (2010), 한국정보과학회
- S. Na, "Phrase-Based Statistical Model for Korean Morpheme Segmentation and POS Tagging", IEICE Transactions on Information and Systems, pp.512~522 (2018)
- 이창기, "Structural SVM을 이용한 한국어 띄어쓰기 및 품사 태깅 결합 모델", 정보과학회논문지 : 소프트웨어 및 응용, 40(12), pp.826~832 (2013), 한국정보과학회
- 이건일, "Sequence-to-sequence 기반 한국어 형태소 분석 및 품사 태깅", 정보과학회논문지, 44(1), pp.57~62 (2017), 한국정보과학회
- 황현선, "Copy-mechanism을 이용한 Sequence to Sequence 모델기반 한국어 형태소 분석", 한국정보과학회 학술발표논문집, pp.443~445 (2016)
- Eddy, Sean R, "Hidden markov models", Current opinion in structural biology, 6(3), pp.361~365 (2006)
- L., J, "Conditional random fields: Probabilistic models for segmenting and labeling sequence data", ICML, pp.282~289 (2001)
- I. Sutskever, "Sequence to sequence learning with neural networks", Advances in Neural Information Processing Systems, 27 (2014)
- 최병서, "신조어 및 띄어쓰기 오류에 강인한 시퀀스-투-시퀀스 기반 한국어 형태소 분석기", 정보과학회논문지, 47(1), pp.70~77 (2020), 한국정보과학회[DOI]
- S. Basodi, "Gradient amplification : An efficient way to train deep neural networks", Big Data Mining and Analytics, 3(3), pp.196~207 (2020)
- A. Vaswani, "Attention is all you need", Advances in Neural Information Processing Systems, pp.5998~6008 (2017)
- 최용석, "트랜스포머와 BERT로 구현한 한국어 형태소 분석기의 성능 분석", 정보과학회논문지, 47(8), pp.730~741 (2020), 한국정보과학회[DOI]
- L. Chen, "Imputing Out-of-Vocabulary Embeddings with LOVE Makes Language Models Robust with Little Cost" (2022)
- 이현영, "Out-of-Vocabulary 단어에 강건한 병렬 Tri-LSTM 문장 임베딩을 이용한 감정분석", 스마트미디어저널, 10(1), pp.16~24 (2021), (사)한국스마트미디어학회[DOI]
- "Khaiii" (2018)[URL]
- 이용호, "CNN과 LSTM을 이용한 한국어 형태소 분석 및 품사 결정의 정확도 향상", 한국정보과학회 학술발표논문집, pp.689~691 (2018)
- 서현재, "Head-Tail 토큰화 기법을 이용한 한국어 품사 태깅", 스마트미디어저널, 11(5), pp.17~25 (2022), (사)한국스마트미디어학회[DOI]
- 김선우, "Bidirectional LSTM-CRF 기반의 음절 단위 한국어 품사 태깅 및 띄어쓰기 통합 모델 연구", 정보과학회논문지, 45(8), pp.792~800 (2018), 한국정보과학회[DOI]
- 강승식, "구어체 말뭉치의 어휘 사용 특징 분석 및 감정 어휘 사전의 자동 구축", 스마트미디어저널, 9(4), pp.144~151 (2020), (사)한국스마트미디어학회[DOI]