바이그램(bigram) 분석을 통한 《전당시》 상용 어휘 연구
A Study on the Common Vocabularies of The Complete Tang Poems by the Bi-gram Analysis
0
조회
0
다운로드
8
인용
0
참고문헌
키워드
초록
본고는 거시적 관점에서 대형 당시 총집인 《전당시》의 상용 어휘를 탐색하고자 하였다. 이를 위한 방안으로 자연어 처리에서 주로 다루는 바이그램 분석을 활용했다. 《전당시》의 모든 작품에서 연속된 2음절로 이루어진 바이그램을 추출하고, 이를 빈도순으로 정리해 어휘로 사용되었을 가능성이 적은 것을 제거하였다. 이러한 작업의 결과로 볼 때, 당나라의 시는 주로 시인들이 멀리 강남 지역으로 가서 장기간 머무르며 지은 시가 많았을 것이라고 추론할 수 있다. 또한 본고에서는 《전당시》에서 추출한 바이그램의 종류와 그 빈도가 다양한 분야에 응용 가능함을 보여주고자 하였다. 5언구와 7언구에 나타나는 바이그램 빈도의 편향성, 첩자의 빈도, 시인들 간의 코사인 유사도 분석, TF-IDF 수치 산출의 기본 요소, 당시 어휘 사전 편찬의 기초 자료 등이 그것이다.
Abstract
This study In this paper, I approached the The Complete Tang Poems全唐詩 from a macroscopic perspective and try to determine which vocabulary words were used more frequently in the corpus and what they meant. To do this, I utilized bi-gram analysis, a common approach in natural language processing. I extracted bi-grams of consecutive two-syllable words from The Complete Tang Poems, and organized them in order of frequency to eliminate those that were less likely to be used as vocabulary. Based on the results of this work, it can be inferred that the poetry of the Tang Dynasty was largely composed by poets who traveled to the Jiangnan江南 region and stayed for long periods of time. In this paper, I also show that the types of bi-grams and their frequencies extracted from the Tang poems can be applied to various fields as follows:1. We can observe a certain bias when examining the bi-grams divided into 5 and 7 characters phrases. 2. If you use some functions of Excel to extract reduplicated words from a file of bi-grams, you can see which reduplicated words are frequently used. 3. Bi-grams can also be used as data to determine the lexical similarity between poets through cosine similarity analysis. 4. Bi-gram frequency is an essential factor in calculating TF-IDF values to characterize individual poets. 5. Bi-gram frequencies are useful as a basis for compiling a lexicon of Tang poetry.
참고문헌 (20)
- 박상언, "파이썬 텍스트 마이닝 완벽 가이드" (2023), 위키북스
- 박조은, "모두의 한국어 텍스트 분석" (2023), 길벗
- 전창욱, "텐서플로 2와 머신러닝으로 시작하는 자연어 처리" (2023), 위키북스
- 홉슨 레인, "자연어 처리 인 액션" (2020), 제이펍
- 강병규, "중국어 코퍼스 분석을 위한 검색 프로그램 비교 고찰-WordSmith Tools 6. 0과 AntConc 3. 2. 4를 중심으로", 중국언어연구, 44 (2013)
- 강병규, "N-gram을 활용한 중국 법률 텍스트의 정형 표현 분석–중국 민법전을 중심으로", 中國語文學誌, (84) (2023)
- 김준연, "중국 고대의 ‘사랑’ 개념과 사랑시의 주제", 中國語文論叢, 111 (2022)
- 김준연, "李白 시에 활용된 疊字의 수사적 기능 연구", 중국학보, 89 (2019)
- 이병찬, "한국문집총간 엔그램 분석 프로그램 개발 연구", 韓國漢文學硏究, (77) (2020)
- 이병찬, "한시 유사도 분석 방안 연구", 漢文學論集, 59 (2021)
- 이재훈, "毛詩 疊字에 대하여", 중국어문논총, 1 (1988)
- 林明花, "古代漢語 ‘相’字 代詞 기능 再探", 中國語文學論集, (42) (2007)
- 전가람, "멀리서 읽는 중국 고전시가―왕유와 맹호연을 대상으로", 中國語文學誌, (80) (2022)
- 王小艶, "基于Python编程的"全唐诗"数据分析", 新課程導學, (16) (2022)
- 張景祥, "唐詩字頻熵分析與通俗性定級", 科技資訊, (6) (2009)
- 田 奕, "電腦裏的唐詩", 文學遺産, (5) (1992)
- 陳增杰, "論"漢語大詞典"的修訂", 辭書硏究, (4) (1998)
- 胡俊峰, "唐宋詩之計算機輔助深層研究", 北京大學學報(自然科學版), 37(5) (2001)
- Chao-Lin Liu, "Exploring Chinese Poetry with Digital Assistance: Examples from Linguistic, Literary, and Historical Viewpoints", Journal of Chinese Literature and Culture, 5(2) (2018)
- Martin Paul Eve, "The Digital Humanities and Literary Studies" (2022), Oxford University Press