한국어와 영어 기본 단어들의 빈도에 대한 계량적 분석
A Quantitative Analysis of the Frequencies of Basic Words in Korean and English
0
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
단어의 빈도 분포는 언어의 계량적 분석에 있어서 주된 관심사 중 하나였다. 본 연구는 한국어와 영어의 기본 단어들의 빈도에 초점을 맞춘다. 기본 단어들의 빈도 분포를 분석하고 그 결과에 대해 한국어와 영어를 비교한다. 상관관계 분석은 기본 단어들의 빈도 분포에 있어서 한국어와 영어 사이에 높은 수준의 상관성이 있음을 보여 준다. 그 결과는 이 두 언어 사이에 언어-문화적 차이가 기본 단어들의 사용에 거의 영향을 끼치지 않음을 암시한다. 시각화된 빈도 분포에 대한 분석에 따르면, 두 언어 모두 기본 단어들의 빈도가 긴 오른쪽 꼬리를 가진 두꺼운 꼬리 분포를 나타낸다. 그리고 그 분포는 멱함수 분포를 따르는 듯하다. 그러나 계량적 분석의 결과는 예상과 달리 두 언어 모두 기본 단어들의 빈도 분포가 멱함수 분포가 아닌 로그정규 분포를 따른다는 것을 보여 준다. 이러한 결과는 빈도 자료에 가장 적합한 확률 분포를 선택하기 위해서는 단지 빈도 분포에 대한 시각적 분석을 넘어서서 정밀하고도 타당한 통계적 절차를 거쳐야 함을 시사한다.
Abstract
The distribution of word frequency has been one of the main concerns in quantitative studies of language. This study focuses on the frequencies of basic words in Korean and English. Their distributions were analyzed quantitatively to compare Korean and English. The correlation analysis shows that the inter-correlation between Korean and English is very high. It implies that the linguistic-cultural difference between these two languages rarely affects the use of basic words. The analysis of visualized frequency distributions shows that the frequencies of basic words exhibit heavy tailed distributions and seem to follow the power-law distribution in both languages. The quantitative analysis, however, tells us that their frequency distributions do not follow the power-law distribution but follow the log-normal distribution. The result suggests that the selection of probability distribution best fitted to frequency data should depend on well-established statistical procedures, but not only on visually inspecting of plotted distributions.
참고문헌 (27)
- 강범모, "한국어 사용 빈도 (CD 포함)" (2009), 한국문화사
- 국립국어원, "현대 국어 사용 빈도 조사 2" (2005), 국립국어원
- Baayen, R. H., "Word Frequency Distributions" (2001), Springer
- Calude, A. S., "How Do We Use Language? Shared Patterns in the Frequency of Word Use across 17World Languages", Philosophical Transactions of the Royal Society B: Biological Sciences, 366(1567), pp.1101~1107 (2011)
- Clauset, A., "Power-law Distributions in Empirical Data", SIAM Rev, 51, pp.661~703 (2009)
- "The Corpus of Contemporary American English (COCA)" (2008)[URL]
- "2014", ~
- Gries, S. T., "언어학자를 위한 통계학" (2013), 고려대학교 출판부
- Jäger, G., "Power Laws and Other Heavy-tailed Distributions in Linguistic Typology", Advances in Complex Systems, 15(3), pp.1~21 (2012)
- "BNC Database and Word Frequency Lists" (1995)[URL]
- Macklin-Cordes, J. L., "Re-evaluating Phoneme Frequencies", Frontiers in Psychology, 11, pp.1~17 (2020)
- Malevergne, Y., "Testing the Pareto against the Lognormal Distributions with the Uniformly Most Powerful Unbiased Test Applied to the Distribution of Cities", Physical Review E, 83, pp.036111~ (2011)
- Mandelbrot, B., "Structure Formelle des Textes et Communication", Word, 10(1), pp.1~27 (1954)
- Martindale, C., "Comparison of Equations Describing the Ranked Frequency Distributions of Graphemes and Phonemes", Journal of Quantitative Linguistics, 3(2), pp.106~112 (1996)
- Newman, M. E. J., "Power Laws, Pareto Distributions and Zipf ’s Law", Contemporary Physics, 46(5), pp.323~351 (2005)
- Pagel, M., "Frequency of Word-use Predicts Rates of Lexical Evolution throughout Indo-European History", Nature, 449, pp.717~720 (2007)
- Piantadosi, S. T., "Zipf’s Word Frequency Law in Natural Language : A Critical Review and Future Directions", Psychonomic Bulletin and Review, 21(5), pp.1112~1130 (2014)
- "R: A Language and Environment for Statistical Computing (Version 3.6.0)" (2019)[URL]
- Stumpf, M. P. H., "Critical Truths about Power Laws", Science, 335, pp.665~666 (2012)
- Swadesh, M., "Lexicostatistic Dating of Prehistoric Ethnic Contacts: with Special Reference to North American Indians and Eskimos", Proceedings of the American Philosophical Society, 96(4), pp.452~463 (1952)
- Swadesh, M., "Towards Greater Accuracy in Lexicostatistic Dating", International Journal of American Linguistics, 21(2), pp.121~137 (1955)
- Tambovtsev, Y., "Phoneme Frequencies Follow a Yule Distribution", SKASE Journal of Theoretical Linguistics, 4, pp.1~11 (2007)
- "Distributed by Bodleian Libraries, University of Oxford, on behalf of the BNC Consortium" (2007)[URL]
- Vuong, Q. H., "Likelihood Ratio Tests for Model Selection and Non-nested Hypotheses", Econometrica, 57, pp.307~333 (1989)
- Zipf, G. K., "The Psychobiology of Language" (1936), Routledge
- Zipf, G. K., "Human Behavior and the Principle of Least Effort" (1949), Addison-Wesley