20세기 전반기 한국어 텍스트의 자동 분류 연구* : 1920-1939년 한국학 관련 신문 기사를 중심으로
Text Classification of Early 20th Century Korean: Focusing on newspaper articles related to Korean Studies from 1920 to 1939
2
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구에서는 1920년부터 1939년까지의 한국어 신문 기사에서 한국학 관련기사를 분류하기 위한 두 가지 실험을 진행하였다. 첫 번째 실험에서는 1920년대, 1930년대, 1920년대-1930년대 자료를 학습한 분류 모델을 만들어 성능을평가하였는데 한자를 한글로 변환한 전처리 방식과 문자 기반의 n-gram 자질을사용했을 때 비교적 높은 성능을 보였다. 두 번째 실험에서는 시기별로 가장 높은 성능을 보이는 모델을 이용해 여러 하위 시기의 자료를 분류해 본 결과1920-1930년대 자료를 학습한 모델이 대부분의 시기에서 가장 높은 성능을 발휘하는 범용 모델임을 확인할 수 있었다
Abstract
In this study, two experiments were conducted to classify articles related to Korean Studies from Korean newspaper articles from 1920 to 1939. In the first experiment, the performance of a classification model trained on 1920s, 1930s, and 1920s-1930s data was evaluated, and the findings showed that the use of pre-processing method converting Chinese characters to Hangul and the character n-gram led to relatively high performance. In the second experiment, the top-performing models from each period were employed to classify data from various sub-periods. The results confirm that the model trained on 1920s and 1930s data is the best performing general-purpose model for most sub-periods.
참고문헌 (9)
- 강범일, "한국어 통시 신문 말뭉치의 구축과 활용", 언어사실과 관점, 54, pp.7~33 (2021), 언어정보연구원[DOI]
- 김판준, "자질선정을 통한 국내 학술지 논문의 자동분류에 관한 연구", 정보관리학회지, 39(1), pp.69~90 (2022), 한국정보관리학회[DOI]
- 이재윤, "자질 선정 기준과 가중치 할당 방식간의 관계를 고려한 문서 자동분류의 개선에 대한 연구", 한국문헌정보학회지, 39(2), pp.123~146 (2005), 한국문헌정보학회
- 이태훈, "일제하 '조선 역사·문화' 관련 기사 목록 1 ,동아일보·조선일보(1930-1940)" (2015), 선인
- 홍정완, "신문으로 읽는 1920년대 식민지 조선의 ‘조선 역사·문화’ - 『동아일보』, 『조선일보』의 ‘조선 역사·문화’ 관련 텍스트 계량 분석을 중심으로 -", 동방학지, (198), pp.1~37 (2022), 국학연구원[DOI]
- A Complete Process of Text Classification System Using State-of-the-Art NLP Models, "Dogra, V.", Computational Intelligence and Neuroscience, 1~26 (2022)
- Li, Q., "A Survey on Text Classification : From Traditional to Deep Learning", ACM Transactions on Intelligent Systems and Technology, 13(2) (2022)
- Palanivinayagam, A., "Twenty Years of Machine-Learning-Based Text Classification: A Systematic Review", Algorithms, 16(5) (2023)
- Piskorski, J., "TF-IDF Character N-grams versus Word Embedding-based Models for Fine-grained Event Classification: A Preliminary Study", Proceedings of the Workshop on Automated Extraction of Socio-political Events from News 2020, pp.26~34 (2020)