형태소 분석기 사용을 배제한 음절 단위의 한국어 품사 태깅
Syllable-based POS Tagging without Korean Morphological Analysis
2
조회
0
다운로드
14
인용
0
참고문헌
키워드
초록
본 논문에서는 형태소 분석기를 사용하지 않는 음절 단위의 한국어 품사 태깅 방법론을 제안한다. 기존 연구에서 한국어 품사 태거는 형태소 분석기가 생성한 결과 중에서 문맥에 가장 잘 맞는 형태소/품사 열을 결정하는 데 반하여, 본 논문에서 제안한 방법론에서는 품사열을 결정할 뿐만 아니라 형태소도 생성한다. 398,632 어절의 학습 데이터로 학습을 하고 33,467 어절의 평가 데이터로 성능 평가를 한 결과 어절 단위의 정확도가 96.31%인 것으로 나타났다.
Abstract
In this paper, a new approach to Korean POS (Part-of-Speech) tagging is proposed. In previous works, a Korean POS tagger was regarded as a post-processor of a morphological analyzer, and as such a tagger was used to determine the most likely morpheme/POS sequence from morphological analysis. In the proposed approach, however, the POS tagger is supposed to generate the most likely morpheme and POS pair sequence directly from the given sentences. 398,632 eojeol POS-tagged corpus and 33,467 eojeol test data are used for training and evaluation, respectively. The proposed approach shows 96.31% of POS tagging accuracy.
참고문헌 (15)
- Eric Brill, "A simple rule-based part of speech tagger", Proceedings of the Third Conference on Applied Natural Language Processing, pp.112~116 (1992)
- Kenneth, "A stochastic parts program and noun phrase parser for unrestricted text", Proceedings of the Second Conference on Applied Natural Language Processing, pp.136~143 (1988)
- Chung-Hye Han, "A Morphological Tagger for Korean: Statistical Tagging Combined with Corpus-Based Morphological Rule Application", Machine Translation, 18, pp.275~297 (2005)
- 안광모, "어휘별 중의성 제거 규칙과 통계 정보를 이용한 한국어 품사 태깅", 한국콘텐츠학회 논문지, 9(2), pp.18~26 (2009), 한국콘텐츠학회
- 조민희, "최대 엔트로피 모델 기반 품사 태거의 성능 향상 기법", 제16회 한글 및 한국어정보처리 학술대회 발표자료집, pp.73~81 (2004)
- John Lafferty, "Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data", Proceedings of the 18th International Conference on Machine Learning, pp.282~289 (2001)
- Fei Sha, "Shallow Parsing with Conditional Random Fields", Proceedings of HLT-NAACL, pp.134~141 (2003)
- Do-Gil Lee, "Probabilistic Modeling of Korean Morphology", IEEE Trans. Audio Speech Lang. Process., 17(5), pp.945~955 (2009), IEEE Signal Processing Society
- 이재성, "한국어 형태소 분석을 위한 3단계 확률 모델", 정보과학회논문지 : 소프트웨어 및 응용, 38(5), pp.257~268 (2011), 한국정보과학회
- 김재훈, "사례기반 학습을 이용한 음절기반 한국어 단어 분리 및 범주 결정", 정보처리학회논문지. 소프트웨어 및 데이터 공학, 10(1), pp.47~56 (2003), 한국정보처리학회
- Jeongwon Cha, "Generalized unknown morpheme guessing for hybrid POS tagging of Korean", pp.85~93 (1998)
- 이상주, "은닉 마르코프 모델을 이용한 두 단계 한국어 품사 태깅", 제6회 한글 및 한국어정보처리 학술대회 발표자료집, pp.305~312 (1994)
- "CRF++:Yet Another CRF toolkit"[URL]
- 김재훈, "최대 엔트로피 모델을 이용한 한국어 품사 태깅", pp.9~14 (1998)
- Sang-Zoo Lee, "Hidden Markov Model-Based Korean Part-of-Speech Tagging Considering High Agglutinativity", Word-Spacing and Lexical Correlativity, Proceedings of the 38th Annual Meeting on Association for Computational Linguistics, pp.384~391 (2000)