한국어 단어 이해에 관한 비지도 학습 기반 언어 모델링
The Unsupervised Learning-based Language Modeling of Word Comprehension in Korean
1
조회
0
다운로드
5
인용
0
참고문헌
키워드
초록
본 연구는 비지도 기계학습 기술과 코퍼스의 각 단어를 이용하여 한국어 단어를 형태소 분석하는언어 모델을 구축하는데 목적을 둔다. 그리고 이 언어 모델의 단어 형태소 분석의 결과와 언어 심리실험결과에서 얻은 한국어 언어사용자의 단어 이해/판단 시간이 상관관계을 갖는지를 규명하고자 한다. 논문에서는 한국어 세종코퍼스를 언어 모델로 학습하여 형태소 분리 규칙을 통해 한국어 단어를자동 분리하는데 발생하는 단어 정보량(즉, surprisal(놀라움) 정도)을 측정하여 실제 단어를 읽는데 걸리는 반응 시간과 상관이 있는지 분석하였다. 이를 위해 코퍼스에서 단어에 대한 형태 구조 정보를파악하기 위해 Morfessor 알고리즘을 적용하여 단어의 하위 단위 분리와 관련한 문법/패턴을 추출하고형태소를 분석하는 언어 모델이 예측하는 정보량과 반응 시간 사이의 상관관계를 알아보기 위하여선형 혼합 회귀(linear mixed regression) 모형을 설계하였다. 제안된 비지도 기계학습의 언어 모델은파생단어를 d-형태소로 분석해서 파생단어의 음절의 형태로 처리를 하였다. 파생단어를 처리하는 데필요한 사람의 인지 노력의 양 즉, 판독 시간 효과가 실제로 형태소 분류하는 기계학습 모델에 의한단어 처리/이해로부터 초래될 수 있는 놀라움과 상관함을 보여 주었다. 본 연구는 놀라움의 가설 즉, 놀라움 효과는 단어 읽기 또는 처리 인지 노력과 관련이 있다는 가설을 뒷받침함을 확인하였다.
Abstract
We are to build an unsupervised machine learning-based language model which can estimate the amount of information that are in need to process words consisting of subword-level morphemes and syllables. We are then to investigate whether the reading times of words reflecting their morphemic and syllabic structures are predicted by an information-theoretic measure such as surprisal. Specifically, the proposed Morfessor-based unsupervised machine learning model is first to be trained on the large dataset of sentences on Sejong Corpus and is then to be applied to estimate the information-theoretic measure on each word in the test data of Korean words. The reading times of the words in the test data are to be recruited from Korean Lexicon Project (KLP) Database. A comparison between the information-theoretic measures of the words in point and the corresponding reading times by using a linear mixed effect model reveals a reliable correlation between surprisal and reading time. We conclude that surprisal is positively related to the processing effort (i.e. reading time), confirming the surprisal hypothesis.
참고문헌 (15)
- A. J, "What Your Username Says About You", Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp.2302~2307 (2015)
- M. Creutz, "Unsupervised morpheme segmentation and morphology induction from text corpora using Morfessor1.0", pp.2006
- S. Virpioja, "Using Statististical Models of Morphology in the Search for Optimal Units of Representation in the Human Mental Lexicon", Cognitive Science, 42, pp.939~973 (2018)
- M. Lehtonen, "Statistical models of morphology predict eye-tracking measures during visual word recognition", Memory&Cognition, 47(7), pp.1245~1269 (2019)
- G. Booij, "The Grammar of Words: An Introduction to Linguistic Morphology. Oxford Textbooks in Linguistics" (2012), OUP Oxford
- "Sejong-Corpus"[URL]
- "Kkma"[URL]
- "UTagger"[URL]
- "Khaiii"[URL]
- S. Virpioja, "Morfessor 2.0: Python Implementation and Extensions for Morfessor Baseline", Aalto University publication series SCIENCE + TECHNOLOGY, 25, pp.38~ (2013)
- A. Viterbi, "Error bounds for convolutional codes and an asymptotically optimum decoding algorithm", IEEE Transactions on Information Theory, 13(2), pp.260~269 (1967)
- "Korean Lexicon Project"[URL]
- 이광오, "한국어 심성어휘집 연구를 위한 어휘판단 데이터베이스", 한국심리학회지: 인지 및 생물, 29(4), pp.395~410 (2017), 한국인지및생물심리학회[DOI]
- 김유희, "딥러닝 기반 기사단위 및 문단 단위별 분류", 한국컴퓨터정보학회논문지, 23(11), pp.31~41 (2018), 한국컴퓨터정보학회[DOI]
- 박지현, "전시 관련 인스타그램 해시태그에 대한 분석", 한국컴퓨터정보학회논문지, 24(3), pp.49~56 (2019), 한국컴퓨터정보학회[DOI]