NB 모델을 이용한 형태소 복원
Morpheme Recovery Based on Naïve Bayes Model
1
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
한국어는 교착어이어서 형태소 분석 없이 품사 부착이 어려울 뿐 아니라 형태소를 분석할 때 다양한 어형 변화가 복원되어야 한다. 이것은 한국어 형태소 분석의 고질적인 문제 중 하나이며, 주로 규칙을 이용해서 해결한다. 규칙을 이용할 경우 주어진 문맥에 가장 적합한 복원을 어려워 여러 형태의 모호성을 생성하며, 이는 품사 부착에 의해서 해결된다. 본 논문에서는 이 문제를 기계학습 방법(Naïve Bayes 모델)을 이용하여 해결한다. 기계학습 모델의 입력 자질은 어형 변화가 발생하는 주변 음절이며 출력 범주는 복원된 음절이다. ETRI 구문 말뭉치를 이용한 실험에서 제안된 형태소 복원 모델을 사용한 형태소 단위의 품사 부착 성능은 97.5%의 점수를 보였으며 이 모델이 형태소 복원에 매우 유용함을 알 수 있었다.
Abstract
In Korean, spelling change in various forms must be recovered into base forms in morphological analysis as well as part-of-speech (POS) tagging is difficult without morphological analysis because Korean is agglutinative. This is one of notorious problems in Korean morphological analysis and has been solved by morpheme recovery rules, which generate morphological ambiguity resolved by POS tagging. In this paper, we propose a morpheme recovery scheme based on machine learning methods like Naïve Bayes models. Input features of the models are the surrounding context of the syllable which the spelling change is occurred and categories of the models are the recovered syllables. The POS tagging system with the proposed model has demonstrated the -score of 97.5% for the ETRI tree-tagged corpus. Thus it can be decided that the proposed model is very useful to handle morpheme recovery in Korean.
참고문헌 (14)
- A. R. Martinez, "Part-of-Speech tagging", WIREs Computational Statistics, 4, pp.107~113 (2012)
- P. J. Antony, "Parts Of Speech Tagging for Indian Languages: A Literature Survey", International Journal of Computer Applications, 34(8), pp.22~29 (2011)
- 김재훈, "가중치망 모델을 이용한 한국어 품사 태깅", 한국정보과학회논문지, 25(6), pp.951~959 (1998)
- 임희석, "통계 정보와 언어 지식의 보완적 특성을 고려한 혼합형 품사 태깅", 정보과학회논문지B, 25(11), pp.1705~1715 (1998)
- 김재훈, "사례기반 학습을 이용한 음절기반 한국어 단어 분리 및 범주 결정", 정보처리학회논문지. 소프트웨어 및 데이터 공학, 10(1), pp.47~56 (2003), 한국정보처리학회
- 심광섭, "형태소 분석기 사용을 배제한 음절 단위의 한국어 품사 태깅", 인지과학, 22(3), pp.327~345 (2011), 한국인지과학회
- C. M. Bishop, "Pattern Recognition and Machine Learning" (2006), Springer
- "CRFTagger: CRF English POS Tagger" (2006)[URL]
- I. G. Councill, "ParsCit: An open-source CRF reference string parsing package", Proceedings of the Language Resources and Evaluation Conference (LREC 08), pp.661~667 (2008)
- L. Ramshaw, "Text chunking using transformation-based learning", Proceedings of the 3rd Workshop on Very Large Corpora (ACL 1995), pp.82~94 (1995)
- 전길호, "기계학습을 이용한 음절기반 품사 부착", 석사, 컴퓨터공학과, pp.2012
- 구문구조 부착 말뭉치 구축, "김재훈", 모비코앤시스메타㈜, ~ (2005)
- C. D. Manning, "Introduction to Information Retrieval" (2007), Cambridge University Press