순환신경망 장단기 기억(LSTM)을 이용한 자동 채점의 가능성 탐색
Exploring the Feasibility of an Automated Essay Scoring Model Based on LSTM
0
조회
0
다운로드
8
인용
0
참고문헌
키워드
초록
본 연구에서는 순환신경망의 일종인 장단기 기억(Long-Short Term Memory: LSTM)를이용하여 영어 에세이 자동 채점 가능성을 탐색하였다. LSTM은 기존의 순환신경망(Recurrent Neural Network; RNN)이 갖는 장기의존성의 문제를 극복하기 위해 제안된 학습 모델로, 본연구에서는 이러한 LSTM 모델을 활용하여 영어 에세이 데이터를 학습시킨 후, 별도의 평가데이터를 통해 LSTM의 성능을 평가하였다. 이분(二分) 자료의 형태를 갖는 선다형 채점 데이터와달리 에세이 채점 데이터는 다분(多分) 자료의 형태를 가지므로 본 연구에서는 다항 분류가가능하도록 학습 모델을 구축하여 점수를 예측하였으며, 이러한 LSTM 학습 모델을 여섯 가지지표(정확성, 정밀도, 재현율, F1, 카파, 상관계수)로 평가하였다. 그 결과를 살펴보면, 본 연구에서구축한 LSTM 학습 모델이 학생들의 에세이 점수를 양호한 수준에서 예측할 수 있음을 확인하였다. 또한 학습 모델의 성능을 결정하는 주요 요인 중 하나가 데이터의 질과 양임을 감안할 때 향후충분한 양질의 데이터를 구축하여 학습할 경우 자동 채점의 정확성을 보다 향상시킬 수 있을 것으로기대된다. 후속 연구로는 최적의 에세이 자동 채점 알고리듬을 도출하기 위해 향후 다양한순환신경망 모델을 비교 검토하는 실증 연구들이 수행될 필요가 있다.
Abstract
In the present study, the feasibility of an automated essay scoring of English was explored using Long-Short Term Memory (LSTM), a type of Recurrent Neural Network (RNN). LSTM is a deep learning model proposed to overcome the problem of long-term dependence of the existing RNN. In this study, an automated essay scoring model based on LSTM was adopted to score English essay data extracted from the open huge repository of data ‘kaggle,’ and the performance of the model was validated. Unlike multiple-choice scoring data which consisted of binary (true/false) data, essay scoring data had multiple facets, thus the data used for the deep learning model was constructed within a multinomial classification to order to predict scores of those essay data. For its validation, the six indices of ‘accuracy,’ ‘precision,’ ‘recall’, ‘F1-measure,’ ‘kappa,’ and ‘correlation coefficient’ were used. As a result, it turned out that the LSTM model could predict students' essay scores at an appropriate level. The performance of the deep learning model is closely related to the quality and quantity of data, thus it is expected that the accuracy of the automated essay scoring could be improved if sufficient quality data is composed and used for the deep learning process. To derive a more valid and reliable algorithm, it is necessary to conduct further empirical studies by testing various RNN models.
참고문헌 (27)
- 혁신적 포용국가 실현 방안 : 교육분야를중심으로, "김태준", 한국교육개발원, ~ (2020)
- "국민과 함께하는 미래 교육과정 논의 본격 착수- ｢2022 개정 교육과정 추진계획｣발표" (2021)[URL]
- "인공지능시대 교육정책방향과 핵심과제" (2020)[URL]
- 대규모 평가를 위한 서답형 문항 자동채점 방안 연구, "노은희", 한국교육과정평가원, ~, pp.RRE 2012-6 (2012)
- 대규모 평가를 위한 서답형 문항 자동채점 프로그램 정교화 및 시범 적용, "노은희", 한국교육과정평가원, ~, pp.RRE 2013-5 (2013)
- 한국어 서답형 문항 자동채점 프로그램 개발 및 실용성 검증, "노은희", 한국교육과정평가원, ~, pp.RRE 2014-6 (2014)
- 한국어 문장 수준 서답형 문항 자동채점 프로그램 개발 및 적용, "노은희", 한국교육과정평가원, ~, pp.RRE 2015-9 (2015)
- 박세진, "순환신경망을 적용한 초등학교 5학년 과학 서술형 평가 자동채점시스템 개발 및 활용 방안 모색", 교육평가연구, 33(2), pp.297~321 (2020), 한국교육평가학회
- 수업-평가 연계 강화를 통한 서·논술형 평가 내실화 방안안, "박혜영", 한국교육과정평가원, ~, pp.RRE 2019-6 (2019)
- 방성혁, "순환신경망 기반의 사용자 의도 예측 모델", 정보과학회논문지, 45(4), pp.360~369 (2018), 한국정보과학회[DOI]
- 국가영어능력평가시험 쓰기 자동 채점 프로그램 개발, "시기자", 한국교육과정평가원, ~, pp.RRE 2012-10 (2012)
- 신동광, "영어 말하기 자동채점의 현재와 미래", 멀티미디어 언어교육, 18(1), pp.93~114 (2015), 한국멀티미디어언어교육학회[DOI]
- 이용상, "쓰기 자동채점 알고리듬의 성능 비교_최대 엔트로피 기법과 서포트 벡터 회귀 기법", 교육과정평가연구, 16(3), pp.147~165 (2013), 한국교육과정평가원
- 주일택, "양방향 LSTM 순환신경망 기반 주가예측모델", 한국정보전자통신기술학회 논문지, 11(2), pp.204~208 (2018), 한국정보전자통신기술학회
- 서답형 문항 자동채점 프로그램 도입 방안 연구(Ⅰ), "진경애", 한국교육과정평가원, ~, pp.RRE 2006-6 (2006)
- 서답형 문항 자동채점 프로그램 도입 방안 연구(Ⅱ) : 영작문 채점을 중심으로, "진경애", 한국교육과정평가원, ~, pp.RRE 2007-4 (2007)
- 서답형 문항 자동채점 프로그램 도입 방안 연구(Ⅲ), "진경애", 한국교육과정평가원, ~, pp.RRE 2008-6 (2008)
- KICE-Pearson 영어 말하기, 쓰기자동채점 프로그램 타당성 연구, "진경애", 한국교육과정평가원, ~ (2011)
- 하민수, "학습 도구로서의 서술형 평가 그리고 인공지능의 활용: WA3I 프로젝트 사례", 현장과학교육, 13(3), pp.271~282 (2019), 한국현장과학교육학회[DOI]
- Attali, Y., "Automated essay scoring with e-rater V.2.0", Journal of Technology, Learning and Assessment, 4(3), pp.1~21 (2006)
- Hochreiter, S., "Long short-term memory", Neural computation, 9(8), pp.1735~1780 (1997)
- Kumar, V., "Explainable automated essay scoring : Deep Learning really has pedagogical value", Frontiers in Education, 5, pp.1~22 (2020)
- Leacock, C., "C-rater : Automated scoring of short-answer questions", Computers and the Humanities, 37(4), pp.389~405 (2003)
- McCulloch, W. S., "A Logical Calculus of the Ideas Immanent in Nervous Activity", Bulletin of Mathematical Biophysics, 5(4), pp.115~133 (1943)
- Mikolov, T., "Recurrent neural network based language model", Eleventh annual conference of the international speech communication association (2010)
- Page, E. B., "The imminence of grading essays by computer", Phi Delta Kappan, 47(5), pp.238~243 (1966)
- Shewalkar, A., "Performance Evaluation of Deep Neural Networks Applied to Speech Recognition : RNN, LSTM and GRU", Journal of Artificial Intelligence and Soft Computing Research, 9, pp.235~245 (2019)