한국어 학습 모델별 한국어 쓰기 답안지점수 구간 예측 성능 비교
Comparison of Korean Classification Models’ Korean Essay Score Range Prediction Performance
0
조회
0
다운로드
10
인용
0
참고문헌
키워드
초록
우리는 유학생이 작성한 한국어 쓰기 답안지의 점수 구간을 예측하는 문제에서 세 개의 딥러닝 기반 한국어 언어모델의 예측 성능을 조사한다. 이를 위해 총 304편의 답안지로 구성된 실험 데이터 세트를 구축하였는데, 답안지의 주제는 직업 선택의 기준(‘직업’), 행복한 삶의 조건(‘행복’),돈과 행복(‘경제’), 성공의 정의(‘성공’)로 다양하다. 이들 답안지는 네 개의 점수 구간으로 구분되어 평어 레이블(A, B, C, D)이 매겨졌고, 총 11건의점수 구간 예측 실험이 시행되었다. 구체적으로는 5개의 ‘직업’ 답안지 점수 구간(평어) 예측 실험, 5개의 ‘행복’ 답안지 점수 구간 예측 실험, 1개의혼합 답안지 점수 구간 예측 실험이 시행되었다. 이들 실험에서 세 개의 딥러닝 기반 한국어 언어모델(KoBERT, KcBERT, KR-BERT)이 다양한훈련 데이터로 미세조정되었다. 또 두 개의 전통적인 확률적 기계학습 분류기(나이브 베이즈와 로지스틱 회귀)도 그 성능이 분석되었다. 실험 결과딥러닝 기반 한국어 언어모델이 전통적인 기계학습 분류기보다 우수한 성능을 보였으며, 특히 KR-BERT는 전반적인 평균 예측 정확도가 55.83%로가장 우수한 성능을 보였다. 그 다음은 KcBERT(55.77%)였고 KoBERT(54.91%)가 뒤를 이었다. 나이브 베이즈와 로지스틱 회귀 분류기의 성능은각각 52.52%와 50.28%였다. 학습된 분류기 모두 훈련 데이터의 부족과 데이터 분포의 불균형 때문에 예측 성능이 별로 높지 않았고, 분류기의어휘가 글쓰기 답안지의 오류를 제대로 포착하지 못하는 한계가 있었다. 이 두 가지 한계를 극복하면 분류기의 성능이 향상될 것으로 보인다.
Abstract
We investigate the performance of deep learning-based Korean language models on a task of predicting the score range of Korean essayswritten by foreign students. We construct a data set containing a total of 304 essays, which include essays discussing the criteria for choosinga job (‘job’), conditions of a happy life (‘happ’), relationship between money and happiness (‘econ’), and definition of success (‘succ’). Theseessays were labeled according to four letter grades (A, B, C, and D), and a total of eleven essay score range prediction experiments wereconducted (i.e., five for predicting the score range of ‘job’ essays, five for predicting the score range of ‘happiness’ essays, and one forpredicting the score range of mixed topic essays). Three deep learning-based Korean language models, KoBERT, KcBERT, and KR-BERT,were fine-tuned using various training data. Moreover, two traditional probabilistic machine learning classifiers, naive Bayes and logisticregression, were also evaluated. Experiment results show that deep learning-based Korean language models performed better than the twotraditional classifiers, with KR-BERT performing the best with 55.83% overall average prediction accuracy. A close second was KcBERT (55.77%)followed by KoBERT (54.91%). The performances of naïve Bayes and logistic regression classifiers were 52.52% and 50.28% respectively. Dueto the scarcity of training data and the imbalance in class distribution, the overall prediction performance was not high for all classifiers. Moreover, the classifiers’ vocabulary did not explicitly capture the error features that were helpful in correctly grading the Korean essay. By overcoming these two limitations, we expect the score range prediction performance to improve.
참고문헌 (20)
- H. Cho, "Comparison of automatic score range prediction of Korean essays using KoBERT, Naive Bayes & Logistic Regression", Proceedings of the KIPS Spring Conference 2021, 28(1), pp.501~504 (2021)
- S. Yoo, "The status of Korean as an international language", Hallyu Now : Global Hallyu Issue Magazine, 34, pp.9~16 (2020)
- 박희정, "유의어 사전을 이용한 주관식 문제 채점 시스템 설계 및 구현", 컴퓨터교육학회 논문지, 6(3), pp.207~216 (2003), 한국컴퓨터교육학회
- 박일남, "정답 템플릿 작성 방식에 의한 한국어 서답형 문항 자동채점 시스템", 정보과학회 컴퓨팅의 실제 논문지, 19(12), pp.630~636 (2013), 한국정보과학회
- 강승식, "학생 답안 분석과 정답 템플릿 생성에 의한 한국어 서답형 문항의 자동채점 시스템", 정보과학회 컴퓨팅의 실제 논문지, 22(5), pp.218~224 (2016), 한국정보과학회
- 허정만, "투표 기반 서술형 주관식 답안 자동 채점 모델의 설계 및 구현", 한국컴퓨터정보학회논문지, 18(8), pp.17~25 (2013), 한국컴퓨터정보학회
- 천민아, "준지도학습 방법을 이용한 한국어 서답형 문항 반자동 채점", 인지과학, 26(2), pp.147~165 (2015), 한국인지과학회[DOI]
- 천민아, "기계학습 분류기의 예측확률과 만장일치를 이용한 한국어 서답형 문항 자동채점 시스템", 정보처리학회 논문지, 5(11), pp.527~534 (2016), 한국정보처리학회[DOI]
- 최준영, "자연어처리 모델을 이용한 이커머스 데이터 기반 감성 분석 모델 구축", 한국융합학회논문지, 11(11), pp.33~39 (2020), 한국융합학회[DOI]
- 황상흠, "한국어 기술문서 분석을 위한 BERT 기반의 분류모델", 한국전자거래학회지, 25(1), pp.203~214 (2020), 한국전자거래학회[DOI]
- T. -H. Kim, "Sentiment analysis system by using BERT language model", Proceedings of the KIPS Spring Conference 2020, 27(2), pp.975~977 (2020)
- S. Park, "Sentimental analysis of YouTube Korean comments using KoBERT", Proceedings of Korea Software Congress 2020, pp.1385~1387 (2020)
- Y. -J. Lee, "Joint Learning-based KoBERT for emotion recognition in Korean", Proceedings of Korea Software Congress 2020, pp.568~570 (2020)
- K. H. Park, "Korean daily conversation topics classification using KoBERT", Proceedings of Korea Software Congress 2021, pp.1735~1737 (2021)
- A. -G. Kim, "Topic classification of domestic music using KoBERT", Proceedings of Korea Software Congress 2021, pp.1738~1740 (2021)
- 조희련, "딥러닝 기반 언어모델을 이용한 한국어 학습자 쓰기 평가의 자동 점수 구간 분류 -KoBERT와 KoGPT2를 중심으로-", 한국언어문화학, 18(1), pp.217~241 (2021), 국제한국언어문화학회
- J. Devlin, "BERT:Pre-training of deep bidirectional transformers for language understanding", Proceedings of the 2019 Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp.4171~4186 (2019)
- J. Lee, "KcBERT : Korean comments BERT", Proceedings of the 32nd Annual Conference on Human and Cognitive Language Technology, pp.437~440 (2020)
- "KR-BERT: A small-scale Korean-specific language model" (2020)[URL]
- M. Banko, "Scaling to very very large corpora for natural language disambiguation", Proceedings of the 39th Annual Meeting of the Association for Computational Linguistics, pp.26~33 (2001)