딥러닝 기반 언어모델을 이용한 한국어 학습자 쓰기 평가의 자동 점수 구간 분류 -KoBERT와 KoGPT2를 중심으로-
Automatic Score Range Classification of Korean Essays Using Deep Learning-based Korean Language Models -The Case of KoBERT & KoGPT2-
0
조회
0
다운로드
29
인용
0
참고문헌
키워드
초록
이 연구에서는 '한국어 딥러닝 모델'이 '한국어 학습자의 쓰기 자료에 대한 한국어 교사의 평가 점수'를 어느 정도 유사하게 예측할 수 있는지 살펴보았다. 구체적으로 이 연구에서는 304편의 한국어 쓰기 자료와 각각에 대한 평가 점수를 KoBERT와 KoGPT2로 학습시킨 후 그것이 인간 채점자(한국어 교사)의 평가 점수를 어느 정도 유사하게 예측하는지 실험하였다. 학습 데이터는 주제에 따라 '직업'과 '행복'으로 구분하였고, 점수에 따라 4종 레이블을 부착하였다. 7겹 교차 검증을 통한 실험 결과, KoBERT에서는 '직업' 데이터에서 48.8%, '행복' 데이터에서 65.2%의 분류 정확도를 나타냈다. KoGPT2에서는 같은 데이터에 대해 각각 50.6%와 58.9%의 분류 정확도를 나타냈다. 더불어, 모든 주제를 통합한 데이터에서는 KoBERT와 KoGPT2에 대해 각각 54.5%와 46.5%의 분류 정확도를 확인할 수 있었다. 이 연구를 통해 한국어 쓰기 자료에 대한 자동 채점 시스템의 가능성을 확인할 수 있었다. 향후 GPT-3의 한국어 모델이 개발되는 등의 기술 발전이 이루어진다면, 이 연구에서 시도한 한국어 자동 채점 시스템도 충분히 가능할 것으로 기대한다.
Abstract
Automatic Score Range Classification of Korean Essays Using Deep Learning-based Korean Language Models-The Case of KoBERT & KoGPT2-. We investigate the performance of deep learning-based Korean language models on a task of automatically classifying Korean essays written by foreign students. We construct an experimental data set containing a total of 304 essays, which include essays discussing the criteria for choosing a job (‘job’), conditions of a happy life (‘happiness’), relationship between money and happiness, and definition of success. These essays were divided into four scoring levels, and using this 4-class data set, we fine-tuned two Korean deep learning-based language models, namely, KoBERT and KoGPT2, to use them in the automatic essay classification experiment. The 7-fold cross validation classification accuracies of ‘job’ and ‘happiness’ essays were 48.8% and 65.2% respectively for KoBERT, and 50.6% and 58.9% respectively for KoGPT2. Furthermore, the 7-fold cross validation classification accuracies of the integrated dataset that combined all essays were 54.5% and 46.5% for KoBERT and KoGPT2 respectively.
참고문헌 (16)
- 김성숙, "학문 목적 한국어 쓰기 능력에 대한 분석적 평가의 일반화가능도 검증", 한국어교육, 22(3), pp.29~48 (2011), 국제한국어교육학회[DOI]
- 김성숙, "학습자 참여형 한국어 쓰기 평가 준거 개발", 국제한국어교육학회 춘계학술발표논문집 2016, pp.182~195 (2016), 국제한국어교육학회
- 김진형, "KAIST 김진형 교수에게 듣는 AI 최강의 수업" (2020), 매일경제신문사
- 성원경, "회선 신경망을 활용한 자모 단위 한국형 감성 분석 모델 개발 및 검증", 한국전자거래학회지, 25(1), pp.13~33 (2020), 한국전자거래학회[DOI]
- 안수현, "한국어능력시험(TOPIK) 쓰기 평가의 채점 특성 연구", 한국어교육, 28(1), pp.173~196 (2017), 국제한국어교육학회[DOI]
- 양문호, "스마트폰을 활용한 한국어 쓰기 평가 방안", 한국어교육연구, 11(2), pp.99~116 (2015), 한국어교육연구소
- 양기웅, "한류NOW 편, 34권", pp.9~16 (2020), 한국국제문화교류진흥원
- 이승찬, "웹 기반 텍스트 복잡성 자동 측정 프로그램 개발", 한국어교육, 30(2), pp.163~180 (2019), 국제한국어교육학회[DOI]
- 진정, "한･중 중급 한국어 교재의텍스트 복잡도 비교 분석 연구: 텍스트 내적 요인을 중심으로", 독서연구, (45), pp.101~129 (2017), 한국독서학회[DOI]
- 최준영, "자연어처리 모델을 이용한 이커머스 데이터 기반 감성 분석 모델 구축", 한국융합학회논문지, 11(11), pp.33~39 (2020), 한국융합학회[DOI]
- 황상흠, "한국어 기술문서 분석을 위한 BERT 기반의 분류모델", 한국전자거래학회지, 25(1), pp.203~214 (2020), 한국전자거래학회[DOI]
- Devlin, J, "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding", Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 1, pp.4171~4186 (2019)
- Loshchilov, I, "Decoupled Weight Decay Regularization", Proceedings of the International Conference on Learning Representations (ICLR), pp.1~8 (2019)
- Radford, A, "Language Models are Unsupervised Multitask Learners", OpenAI blog, Vol. 1-8, ~ (2018)
- 박종진, "SK텔레콤 사람과 대화하듯 자연스런 챗봇 기술 고도화", 전자신문, 10~ (2020)
- 최장현, "AWS-SKT, 인공지능의 핵심... 한국어 자연어 처리(NLP) 모델 ‘KoGPT-2’' 오픈 소스로 공개", 인공지능신문, ~ (2020)