부분어절 조건부확률 기반 동형이의어 태깅 모델
Korean Homograph Tagging Model based on Sub-Word Conditional Probability
0
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
한국어 형태소 분석 및 태깅은 크게 2가지 단계로 나뉜다. 첫 번째 단계는 어절을 분석하여 후보들을 생성하는 것으로, 여러 의미를 가진 어절은 이 단계에서 다양한 후보들이 생성된다. 두 번째는 문맥 정보를 이용하여 후보 중에 가장 적절한 하나를 선택하는 단계로, 흔히 태깅이라 한다. 일반적으로 두 번째 단계에서는 은닉 마르코프 모델(Hidden Markov Model, 이하 HMM)을 자주 사용하지만, 본 논문에서는 처리속도를 향상시킨 부분어절 조건부확률 모델을 제안한다. 이 모델은 우선적으로 인접 어절 정보를 이용하여 현재 처리 중인 어절의 의미를 결정하고, 예외적으로 용언이 인접한 경우에만 후보 정보의 극히 일부분을 이용한다. 실험 결과 정확률은 HMM의 96.49%보다 0.07% 낮았지만, 처리 소요 시간을 약 53% 감소시켰다.
Abstract
In general, the Korean morpheme analysis procedure is divided into two steps. In the first step as an ambiguity generation step, an Eojeol is analyzed into many morpheme sequences as candidates. In the second step, one appropriate candidate is chosen by using contextual information. Hidden Markov Model(HMM) is typically applied in the second step. This paper proposes Sub-word Conditional Probability(SCP) model as an alternate algorithm. SCP uses sub-word information of adjacent eojeol first. If it failed, then SCP use morpheme information restrictively. In the accuracy and speed comparative test, HMM’s accuracy is 96.49% and SCP’s accuracy is just 0.07% lower. But SCP reduced processing time 53%.
참고문헌 (19)
- Jin-dong Kim, "Twoply HMM: A Part-of-Speech Tagging Model based on Morpheme-Unit considering the Characteristics of Korean", Journal of KIISE, 24(12), pp.1502~1512 (1997)
- 박희근, "어절별 중의성 해소 규칙을 이용한 혼합형 한국어 품사 태깅 시스템", 정보과학회 컴퓨팅의 실제 논문지, 13(6), pp.427~431 (2007), 한국정보과학회
- Scott M. Thede, "A Second-Order Hidden Markov Model for Part-of-Speech Tagging", In Proceedings of the 37th of ACL, pp.175~182 (1999)
- Eric Brill, "Transformation-based error-driven learning and natural language processing: A case study in part of speech tagging", Computational Linguistics, 21(4), pp.543~565 (1995)
- Dan Roth, "Part of speech tagging using a network of linear separators", Proceedings of COLINGACL 98, pp.1136~1142 (1998)
- David Yarowsky, "Word-sense disambiguation using statistical models of Roget’s categories trained on large corpora", International Conference On Computational Linguistics(Proceedings of the 14th conference on Computational linguistics-Vol.2), pp.454~460 (1992)
- Soojong Lim, "Word Sense Disambiguation of Korean Verbs Using Weight Information from Context", In Proceedings of the 10th Conference on Hangul and Korean Language Information Processing, pp.425~429 (1998)
- 김준수, "가중치를 이용한 통계 기반 한국어 동형이의어 분별 모델", 정보과학회논문지 : 소프트웨어 및 응용, 30(12), pp.1112~1123 (2003), 한국정보과학회
- Wang Woo Lee, "Word Sense Disambiguation System Using Lexical Co-occurrencing Set and Thesaurus(in Korean)", 석사, pp.2003
- 이용구, "사전 정보를 이용한 단어 중의성 해소 모형에 관한 실험적 연구", 정보관리학회지, 24(1), pp.321~342 (2007), 한국정보관리학회
- 허정, "상호정보량과 복합명사 의미사전에 기반한 동음이의어 중의성 해소", 정보과학회논문지 : 소프트웨어 및 응용, 33(12), pp.1073~1089 (2006), 한국정보과학회
- Dong Myung Kim, "Simultaneous Korean POS and Homonym Tagging System using HMM(in Korean)", 석사, pp.2009
- 박민서, "차세대 시퀀싱을 위한 짧은 서열 정렬에 대한 기술조사", 정보과학회논문지 : 소프트웨어 및 응용, 38(10), pp.503~511 (2011), 한국정보과학회
- Young-Jun Base, "Semantic Analysis of Korean Compound Noun using Lexical Semantic Network(U-WIN)", 박사, pp.2013
- 신준철, "한국어 품사 및 동형이의어 태깅을 위한 단계별 전이모델", 정보과학회논문지 : 소프트웨어 및 응용, 39(11), pp.889~901 (2012), 한국정보과학회
- Joon-Choul Shin, "Comparison between Markov Model and Hidden Markov Model for Korean Part-of-Speech and Homograph Tagging", In Proceddings of the 25th Conference of Hangul and Korean Information Processing, pp.152~155 (2013)
- Joon-Choul Shin, "A Korean Morphological Analyzer using a Pre-analyzed Partial Word-phrase Dictionary(in Korean)", Journal of KIISE, 39(5) (2012)
- Ho Suk Lee, "A Survey of conditional Random Fields and Applications", In Proceddings of Fall Conference of KIISE, 36(2) (2009)
- Seung-Hoon Na, "Semi-CRF or Linear-chain CRF? A comparative Study of Joint Models for Korean Morphological Analysis and POS Tagging", In Proceddings of the 25th Conference of Hangul and Korean Information Processing, pp.9~12 (2013)