직관실험 및 코퍼스를 바탕으로 한 의미 중의성 해소 계산 모형 연구
A Study on the Computational Model of Word Sense Disambiguation, based on Corpora and Experiments on Native Speaker's Intuition
1
조회
0
다운로드
2
인용
0
참고문헌
키워드
초록
본 논문은 의미 중의성 해소에 대한 화자의 직관의 계산 모형에 대한 연구로, Harris (1964)의 ‘분포가설’에 근거하여 핵심어와 공기하는 어휘들에 대한 분포적 정규성을 포착하는 언어 직관의 계산 모형을 제안한다. 이를 위해 분포적 정규성에 대한 화자의 처리 계산 모형을 파악하기 위하여 심리언어학적 실험을 실시하고 그 결과를 분석한다. 계산 모형으로는 논리 모형, 확률 모형, 그리고 확률 추론 모형의 세 가지 모형이 설정되었다. 실험은 두 가지로 구성되었다. 첫 번째는 100만 어절 코퍼스에서 추출된 문장을 화자 직관으로 의미를 식별하는 실험이었다. 이 실험에서는 응답간 일치도가 98%로 나왔다. 두 번째 실험은, 제한된 환경에서 실험자의 반응을 관찰하기 위한 것으로, 분열문이라는 환경을 통해 핵심어와 공기어사이의 의미 관계를 살펴보았다. 또한 100만 어절 코퍼스에서 관찰된 수치와 실험에서 관찰된 관찰치사이의 상관성을 피어슨의 상관계수로 측정하였다. 그러한 측정 결과 실제 코퍼스에서 관찰되는 현상은 논리 모형과 상관성이 있었고, 제한된 환경에서 실시한 결과는 확률 모형과 상관성이 있었다. 이 실험결과는 논리 모형이 우선적으로 의미 분류에 관여하나, 만약 논리 모형이 적용되지 않을 경우 확률 모형이 관여함을 보여 준다. 아울러 의미 결정 모형의 관점에서는 논리 모형이 정확하게 직관모형을 예측할 수 있었고, 확률 추론 모형도 직관모형을 근사치에 가깝게 예측할 수 있었다.
Abstract
According to Harris'(1966) distributional hypothesis, understanding the meaning of a word is thought to be dependent on its context. Under this hypothesis about human language ability, this paper proposes a computational model for native speaker's language processing mechanism concerning word sense disambiguation, based on two sets of experiments. Among the three computational models discussed in this paper, namely, the logic model, the probabilistic model, and the probabilistic inference model, the experiment shows that the logic model is first applied for semantic disambiguation of the key word. Next, if the logic model fails to apply, then the probabilistic model becomes most relevant. The three models were also compared with the test results in terms of Pearson correlation coefficient value. It turns out that the logic model best explains the human decision behaviour on the ambiguous words, and the probabilistic inference model comes next. The experiment consists of two parts; one involves 50 sentences extracted from 1 million graphic-word corpus, and the result shows the agreement rate among native speakers is at 98% in terms of word sense disambiguation. The other part of the experiment, which was designed to exclude the logic model effect, is composed of 50 cleft sentences.
참고문헌 (22)
- 강범모, "동음이의어의 사용양상", 어학연구, 41(1), pp.1~29 (2005)
- 김동성, "저빈도어를 고려한 개념학습 기반 의미 중의성 해소", 언어와 정보, 10(1), pp.21~46 (2006)
- 김흥규, "사회통계분석" (1990), 나남
- Ahlswede, T, "Word sense disambiguation by human subjects: computational and psycholinguistic implications", Workshop on Acquisition of Lexical Knowledge from Text, 31st Annual Meeting of the Association for Computational Linguistics, pp.1~9 (1995)
- Bruce R, "Word sense distinguishability and inter-coder agreement", Proceedings of 3rd Empirical Methods in Natural Language Processing, Granada. ACL SIGDAT, pp.53~60 (1998)
- Carletta J, "Assessing agreement on classification tasks: the kappa statistic", Computational Linguistics, 22, pp.249~254 (1996)
- Ido D, "Similarity-Based Methods For Word Sense Disambiguation", Proceedings of the 35th Annual Meeting of the Association for Computational Linguistics and Eighth Conference of the European Chapter of the Association for Computational Linguistics (1997)
- Cohen, J, "A coefficient of agreement for nominal scales. Educational and Psychological Measurement", 20, pp.37~46 (1960)
- Gale W, "Estimating upper and lower bounds on the performance of word-sense disambiguation programs", 30th Annual Meeting of the Association for Computational Linguistics, University of Delaware, Newark, DE, July. Association for Computational Linguistics, pp.249~256 (1992)
- Ide N, "Introduction to the special issue on word sense disambiguation: the state of the art", Computational Linguistics, 24, pp.1~40 (1998)
- Krippendorff. K., "Content Analysis" (1980), Beverly Hills, CA: Sage Publications
- Harris, Z, "Distributional structure : The Structure of Language", pp.33~49 (1964), Pritence-Hall
- Jackson P., "Natural Language Processing for Online Application" (2002), John Benjamins Publishing
- Lapata M, "A probabilistic account of logical metonymy", Computational Linguistics, 29, pp.261~315 (2003)
- Lapata, M, "Verb class disambiguation using informative priors", Computational Linguistics, (30), pp.45~73 (2004)
- Manning C, "Foundations of Statistical Natural Language" (2000), Processing. MIT Press
- Mihalcea R, "An Automatic Method for Generating Sense Tagged Corpora", Proceedings of the American Association for Artificial Intelligence (AAAI 1999), Orlando, FL, July 1999, Vol. 30,, pp.45~73 (2004)
- Mohammad S, "Combining lexical and syntactic features for supervised word sense disambiguation", the Proceedings of the Conference on Computational Natural Language Learning (CoNLL), Boston, MA, pp.6~7 (2004)
- McNamara, T, "Semantic Priming: Perspectives from Memory and Word Recognition" (2005), Taylor & Francis Corp
- Passonneau R, "Computing reliability for coreference annotation", Proceedings of LREC, Lisbon (2004)
- Vernois J, "A study of polysemy judgements and inter-annotator agreement", Programme and advanced papers of the Senseval workshop, Herstmonceux Castle, England, pp.2~4 (1998)
- Yarowsky D, "Word sense disambiguation using statistical models of Roget's categories trained on large corpora", Proceedings of the 14th International Conference on Computational Linguistics, COLING'92, Nantes, France, pp.454~460 (1992)