좌최장일치법과 HMM을 결합한 경량화된 한국어 형태소 분석
Light Weight Korean Morphological Analysis Using Left-longest-match-preference model and Hidden Markov Model
1
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
본 논문에서는 제한된 자원을 사용하는 기기에 적합한 경량화된 한국어 형태소 분석 및 품사 부착 방법을 제안한다. 관련된 초기 연구로는 규칙에 기반을 둔 방법들이 적용되었으나 최근에는 통계에 기반을 둔 방법들을 중심으로 연구되고 있다. 계산 처리 능력과 사용 가능한 메모리가 제한되는 환경에서는 규칙에 기반을 둔 방법보다 상대적으로 많은 자원을 사용하는 통계에 기반을 둔 방법을 사용하여 형태소 분석 및 품사 부착을 수행하기에는 한계가 있다. 본 논문에서는 기존의 규칙에 기반을 둔 형태소 분석 방법인 좌최장일치법을 개선하여 형태소 분석을 수행하고, 통계적인 방법인 hidden Markov model을 축소하여 형태소 품사 부착을 수행한다. 제안하는 방법은 기존의 hidden Markov model을 사용한 시스템과 유사한 성능을 보여주며 소량의 메모리 사용과 월등히 빠른 속도로 형태소 분석 및 품사 부착을 수행할 수 있다.
Abstract
With the rapid evolution of the personal device environment, the demand for natural language applications is increasing. This paper proposes a morpheme segmentation and part-of-speech tagging model, which provides the first step module of natural language processing for many languages; the model is designed for mobile devices with limited hardware resources. To reduce the number of morpheme candidates in morphological analysis, the proposed model uses a method that adds highly possible morpheme candidates to the original outputs of a conventional left-longest-match- preference method. To reduce the computational cost and memory usage, the proposed model uses a method that simplifies the process of calculating the observation probability of a word consisting of one or more morphemes in a conventional hidden Markov model.
참고문헌 (21)
- Brill, E., "Transformation-based error-driven learning and natural language processing: A case study in part-of-speech tagging", Computational Linguistics, 21(4), pp.543~564 (1995)
- Lovins, J., "Development of a stemming algorithm", Mechanical Translation and Computational Linguistics, 11, pp.22~31 (1968)
- Lee, E., "An improved method on Korean morphological analysis based on CYK algorithm", 석사, pp.1992
- Church, K., "A stochastic parts program and noun phrase parser for unrestricted text", Proc. of Conference on Applied Natural Language Processing, pp.136~143 (1988)
- Kim, J., "Twoply hidden Markov model: A Korean POS tagging model based on morpheme-unit with Eojeol-unit context", International Journal of Computer Processing of Oriental Languages, 21(1), pp.5~29 (1998)
- Charniak, E., "Equations for part of speech tagging", Proc. of Conference on the American Association for Artificial Intelligence, pp.784~789 (1993)
- Lee, D., "Probabilistic models for Korean morphological analysis", Proc. of International Joint Conference on Natural Language Processing, pp.197~202 (2005)
- 이은철, "계층적 기호 접속정보를 이용한 한국어 형태소 분석기의 구현", 제4회 한글 및 한국어 정보처리 학술 발표 논문집, pp.95~104 (1992)
- 임희석, "변형 규칙 기반 한국어 품사 태거의 개선", 제 4회 한글 및 한국어 정보처리 학술 발표 논문집, pp.215~221 (1996)
- 김재훈, "은닉 마르코프 모델을 이용한 효율적인 한국어품사의 태깅", 정보과학회 논문지, 22(1), pp.136~146 (1995)
- Charniac, E., "Statistical language learning", 석사, pp.1996
- 김성용, "Tabular parsing 방법과 접속 정보를 이용한 한국어 형태소 분석기", 석사, Computer Science, pp.1987
- 최재혁, "양방향 최장일치법에 의한 한국어 형태소 분석기에서의 사전 검색 횟수 감소 방안", 정보과학회 논문지, 20(10), pp.1497~1507 (1993)
- Song, Y., "Morphological analyzer using longest match method for syntactic analysis", Proc. of the Morphological Analysis and Tagger Evaluation Contest, pp.157~166 (1999)
- 신준철, "기분석 부분 어절 사전을 활용한 한국어 형태소 분석기", 정보과학회논문지 : 소프트웨어 및 응용, 39(5), pp.415~424 (2012), 한국정보과학회[DOI]
- 신상현, "통계와 규칙에 기반을 둔 2단계 한국어 품사태깅 시스템", 정보과학회 논문지, 24(2), pp.160~169 (1997)
- Lee, D., "Probabilistic models for korean morphological analysis", Companion to the proceedings of the international joint conference on natural language processing, pp.197~201 (2005)
- 이재성, "한국어 형태소 분석을 위한 3단계 확률 모델", 정보과학회논문지 : 소프트웨어 및 응용, 38(5), pp.257~268 (2011), 한국정보과학회
- 송영길, "한국어 경량형 띄어쓰기 교정 시스템의 구현", 컴퓨터교육학회 논문지, 12(2), pp.87~96 (2009), 한국컴퓨터교육학회
- 김학수, "저사양 장치에서 자동 띄어쓰기 시스템 구현을 위한 신뢰성 높고 간결한 패턴 매칭 방법", 정보과학회논문지 : 소프트웨어 및 응용, 39(10), pp.818~823 (2012), 한국정보과학회
- Final report on achievements of 21st Sejong project: electronic dictionary, "The National Institute of the Korean Language", ~ (2007)