한의학 고문헌 텍스트 분석을 위한 비지도학습 기반 단어 추출 방법 비교
Comparison of Word Extraction Methods Based on Unsupervised Learning for Analyzing East Asian Traditional Medicine Texts
2
조회
0
다운로드
3
인용
0
참고문헌
키워드
초록
목적 : 비지도학습 기반으로 동아시아 전통의학 텍스트에서 단어를 추출할 때 적절한 방법 선택을 돕고자 한다. 방법 : 문자열에 순위를 부여하기 위해 본 연구에서는 외부경계값을 이용한 방법 1가지(BE:Branching Entropy)와 내부경계값을 이용한 방법 3가지(CS:cohesion score, TS:t-score, SL:simple-ll), 그리고 이들을 조합한 방법 6가지 방법(BExSL, BExTS, BExCS, CSxTS, CSxSL, TSxSL)으로 테스트를 진행하였다. 결과 : 위배 비율(MR:miss rate)을 기준으로 한 경우, TS와 SL를 조합하여 곱한 값을 사용하였을 때 오류가 가장 적었고, CS를 단독으로 사용하였을 때 오류가 가장 컸다. 분절된 텍스트의 수를 가중치로 적용한 기준을 사용한 경우, SL을 사용하였을 때 결과가 가장 좋았고, BE를 단독으로 사용하였을 때 결과가 가장 좋지 않았다. 결론 : 비지도학습 기반 단어 추출 방법은, 용어집이 준비되지 않은 상태에서 텍스트를 분석해야 할 때 사용할 수 있는 방법이다. 이 방법을 사용할 때에 SL 및 SL과 TS의 조합 방법을 우선 고려할 수 있다.
Abstract
Objectives : We aim to assist in choosing an appropriate method for word extraction when analyzing East Asian Traditional Medical texts based on unsupervised learning. Methods : In order to assign ranks to substrings, we conducted a test using one method(BE:Branching Entropy) for exterior boundary value, three methods(CS:cohesion score, TS:t-score, SL:simple-ll) for interior boundary value, and six methods(BExSL, BExTS, BExCS, CSxTS, CSxSL, TSxSL) from combining them. Results : When Miss Rate(MR) was used as the criterion, the error was minimal when the TS and SL were used together, while the error was maximum when CS was used alone. When number of segmented texts was applied as weight value, the results were the best in the case of SL, and the worst in the case of BE alone. Conclusions : Unsupervised-Learning-Based Word Extraction is a method that can be used to analyze texts without a prepared set of vocabulary data. When using this method, SL or the combination of SL and TS could be considered primarily.
참고문헌 (10)
- Huang Yongnian, "Introduction of Ancient books Arrangement", pp.209~ (2018), Institute for the Translation of Korean Classics
- 김현중, "KR-WordRank : WordRank를 개선한 비지도학습 기반 한국어 단어 추출 방법", 대한산업공학회지, 40(1), pp.18~33 (2014), 대한산업공학회[DOI]
- Stefan Bordag, "A Comparison of Co-occurrence and Similarity Measures as Simulations of Context", Computational Linguistics and Intelligent Text Processing, pp.52~63 (2008), Springer
- Zhihui Jin, "Unsupervised Segmentation of Chinese Text by Use of Branching Entropy", Proceedings of the COLING, 2006, 428~435
- 黃永年, "고적정리개론", pp.209~ (2018), 한국고전번역원
- Chinese Medical Database, "Beijing" (2003), Hunan Electronic Audio and Video Publishing House
- "LOVITxDATA SCIENCE"[URL]
- "Mediclassics"[URL]
- 中华医典, "中国中医药学会" (2003), 湖南电子音像出版社
- "한의학고전DB"[URL]