옛한글 형태소 사전 구축을 위한 기법 연구
A Study on Technique of Constructing Morphological Dictionary for Old-Korean Language
0
조회
0
다운로드
2
인용
0
참고문헌
키워드
초록
자연어로 작성된 자료의 형태소 분석은 해당 자료의 구문 분석과 의미 분석을 위한 정보를 제공한다. 그리고 이는 정보 검색, 기계 번역, 그리고 감성 분석과 같은 자연어 처리 기반의 각종 응용 시스템을 구축하는데 필수적으로 요구되는 작업이다. 그런 이유로, 현대 한국어로 작성된 자료들을 처리하기 위해 많은 형태소 분석기와 형태소 사전이 구축되어서 산업계와 학계에서 사용되고 있다. 하지만 옛한글로 작성된 자료 처리의 수요가 제한되어져 있는 이유로 옛한글 형태소 분석기와 형태소 사전의 개발은 아직도 이루어지지 않고 있다. 특히 한국어가 가진 변형의 복잡성으로 인해 옛한글 형태소 사전의 구축은 많은 시간과 노력이 드는 어려운 작업으로 알려져 있다. 이러한 문제를 해결하기 위해, 본 연구에서는 옛한글-현대한글 병렬자료, 현대어 형태소 분석기 그리고 현대어 형태소 사전을 이용하여 옛한글 형태소 사전을 구축하는 방법을 제안했다. 제안한 기법에서는 현대한글 자료를 현대어 형태소 분석기를 이용해서 형태소 분석을 수행한 후 산출된 현대한글 형태소를 옛한글 자료에서 유사도 측정을 통해 검색한다. 만약 형태소가 발견될 경우 현대한글 형태소에 대응되는 옛한글 형태소를 옛한글 형태소 사전에 등록한다. 이러한 작업에서 옛한글과 현대한글의 글자 표기 차이는 유사도 측정을 어렵게 한다. 본 논문에서 우리는 편집거리와 자모 변환 규칙 테이블을 이용하여 문제를 해결하는 방법을 제시했다. 옛한글 홍길동전으로 실험한 결과 78.3%의 형태소를 자동으로 추출함을 보여주었다.
Abstract
Morphological analysis of document written in a natural language provides information for syntactic analyzing and semantic analyzing of them, which is essential process to construct various applications based on natural language process such as information retrieval, machine translation, and semantic analysis. For that reason, many morphological analyzers and morphological dictionaries for processing document written in modern korean have been constructed and have been used in industry and academia. However, since the necessary of processing documents written in old-korean is limited, morphological analyzer and morphological dictionary for old-korean has not been developed yet. Especially, constructing a old-korean morphological dictionary is known as a difficult task that takes a lot of time and effort because of the complex transformation of korean language. To solve the problem, in this paper we devise a technique to construct a old-korean morphological dictionary by using old-modern korean parallel documents and modern korean morphological analyzer and modern korean morphological dictionary. In the proposed technique, after morphological analyzing a document written in modern-korean, a produced modern-korean morphology is searched in a parallel document written in old-korean by using similarity measure. And if a old-korean morphology corresponding the modern-korean morphology is found, the morphology is registered in a old-korean morphological dictionary. In the process, the difference of writing a character between modern-koran and old-korean makes it difficult to measure similarity. In this paper, we showed a method that solves the problem by using Levenshtein distance and consonant-vowel transformation table. The result of conducting an experiment with Hong Gildong jeon written in old-korean showed that 78.3% of old-korean morphologies were extracted automatically.
참고문헌 (16)
- N. Kang, "A study of constructing morphological dictionary for old-korean language", Proceedings of Conference on Knowledge Information Technology and Systems, 15(1) (2021)
- "Nori Korean Morphological Analyzer"[URL]
- M. Kim, "The POS elderly: semi-automatic annotation tool for historical korean", Proceedings of the 28th Annual Conference on Human and Cognitive Language Technology, pp.39~43 (2016)
- 김진해, "歷史資料 형태분석 프로그램 개발의 國語學的 意義와 活用 硏究 -活字本 古小說을 중심으로-", 어문연구(語文硏究), 37(4), pp.137~162 (2009), 한국어문교육연구회[DOI]
- 강남준, "독립신문 논설의 형태 주석 말뭉치를 활용한 논설 저자 판별 연구 -어미 사용빈도 분석을 중심으로-", 한국사전학, (15), pp.73~101 (2010), 한국사전학회[DOI]
- T. Ogiso, "UniDic for early middle japanese: a dictionary for morphological analysis of classical japanese", Proceedings of the Eighth International Conference on Language Resources and Evaluation (LREC'12), pp.911~915 (2012)
- ASalton G, "Automatic information organization and retrieval" (1968), McGraw-Hill
- "Cosine Similarity"[URL]
- "Modern-Korean Hong GilDong"[URL]
- "mecab-ko"[URL]
- "KoNLPy"[URL]
- "Komoran"[URL]
- "Hong GilDong written in Old-Korean"[URL]
- "Performance Comparison between Modern-Korean Morphological Analyzers"[URL]
- "Old-Korean"[URL]
- "Levenshtein distance"[URL]
