음절 단위 임베딩과 딥러닝 기법을 이용한 복합명사 분해
Compound Noun Decomposition by using Syllable-based Embedding and Deep Learning
0
조회
0
다운로드
4
인용
0
참고문헌
키워드
초록
기존의 복합명사 분해 알고리즘은 미등록어 단위명사들이 포함된 복합명사를 분해할 때 미등록어를 분리하기 어려운 문제가발생한다. 이는 현실적으로 모든 고유명사, 신조어, 외래어 등의 모든 단위 명사를 사전에 등록하는 것은 불가능하다는 한계가존재하기 때문이다. 이 문제를 해결하기 위하여 복합명사 분해 문제를 태그 열 부착(sequence labeling) 문제로 정의하고 음절단위 임베딩과 딥러닝 기법을 이용하는 복합명사 분해 방법을 제안한다. 단위명사 사전을 구축하지 않고 미등록 단위명사를인식하기 위하여 복합명사를 구성하는 각 음절들을 연속적인 벡터 공간에 표현하여 LSTM과 선형체인(linear-chain) CRF를이용하는 방식으로 복합명사를 단위명사들로 분해한다.
Abstract
Traditional compound noun decomposition algorithms often face challenges of decomposing compound nouns into separated nouns when unregistered unit noun is included. It is very difficult for those traditional approach to handle such issues because it is impossible to register all existing unit nouns into the dictionary such as proper nouns, coined words, and foreign words in advance. In this paper, in order to solve this problem, compound noun decomposition problem is defined as tag sequence labeling problem and compound noun decomposition method to use syllable unit embedding and deep learning technique is proposed. To recognize unregistered unit nouns without constructing unit noun dictionary, compound nouns are decomposed into unit nouns by using LSTM and linear-chain CRF expressing each syllable that constitutes a compound noun in the continuous vector space.
참고문헌 (13)
- 이현영, "워드 임베딩과 딥러닝 기법을 이용한 SMS 문자 메시지필터링", 스마트미디어저널, 7(4), pp.24~29 (2018), (사)한국스마트미디어학회[DOI]
- 옹윤지, "터치스크린 환경에서 쿼티 자판 오타 교정을 위한n-gram 언어 모델", 스마트미디어저널, 7(2), pp.54~59 (2018), (사)한국스마트미디어학회[DOI]
- 박승현, "한글 편집거리 알고리즘을 이용한 한국어 철자오류 교정방법", 스마트미디어저널, 6(1), pp.16~21 (2017), (사)한국스마트미디어학회
- 원형석, "복합명사 분할과 명사구 합성을이용한 통합 색인 기법", 정보과학회논문지 : 소프트웨어 및 응용, 27(1), pp.84~95 (2000)
- 김재훈, "한국어 기준명사 추출 및 그 응용", 정보처리학회 논문지, 15(6), pp.613~620 (2008), 한국정보처리학회
- Hyun Min Lee, "Artificial Intelligence:A Reverse Segmentation Algorithm of Compound Nouns", The KIPS Transactions: Part B, 8(4), pp.357~364 (2001)
- Seung-Shik Kang, "A Decomposition Algorithm of Korean Compound Nouns", Journal of KISS(B):Software and Applications, 25(1), pp.172~182 (1998)
- 이용훈, "U-WIN을 이용한 한국어 복합명사 분해 및 의미태깅 시스템", 정보처리학회 논문지, 19(1), pp.63~76 (2012), 한국정보처리학회
- Kwangseob Shim, "A Compound Noun Segmentation using Composite Mutual Information", Journal of KISS(B): Software and Applications, 24(11), pp.1307~1317 (1997)
- Huang, Zhiheng, "Bidirectional LSTM-CRF Models for Sequence Tagging", ~ (2015)
- Tomas Mikolov, "Distributed Representations of Words and Phrases and their Compositionality", Advances in neural information processing systems, Lake Tahoe, the United States, pp.3111~3119 (2013)
- Piotr Bojanowski, "Enriching word vectors with subword information", Transactions of the Association for Computational Linguistics, 5, pp.135~146 (2017)
- Tomas Mikolov, "Efficient Estimation of Word Representations in Vector Space", ~ (2013)