충분한 데이터 확보가 힘든 상황에서 인공지능 서･논술형 평가 채점모델 구축 방안
Exploring a way to build an AI automated essay scoring model with insufficient data
2
조회
0
다운로드
13
인용
0
참고문헌
키워드
초록
인공지능 기반 서·논술형 답안 자동채점 프로그램이 충분한 성능을 담보하기 위해서는 인공지능 학습을 위한충분한 서·논술형 답안이 확보되어야 하지만 현실적으로 대규모의 서·논술형 답안을 확보하는 것은 매우 어렵다. 따라서 인공지능 학습용 데이터가 불충분한 상황에서 보다 나은 성능을 담보할 수 있는 채점모델 구축 방안을 모색할필요가 있다. 이에 본 연구에서는 사전에 정의된 채점자질을 활용한 채점모델 구축 방안을 제안하고 이를 상대적으로적은 학습 데이터에서 가장 우수한 성능을 보이는 것으로 알려진 초거대 언어모델인 KoBERT를 기반으로 하는 채점모델과 비교하였다. 약 500개의 대학생 서·논술형 답안 데이터를 활용하여 4개의 채점 영역(구성, 내용, 어법, 표현)별로두 채점모델의 성능을 실증적으로 비교한 결과, 모든 채점 영역에서 채점자질을 활용하여 랜덤포레스트로 구축한채점모델이 KoBERT를 기반으로 구축한 채점모델보다 정확도, 정밀도, 재현율, F1 값에서 모두 우위에 있는 것으로나타났다. 특히 사전에 정의된 채점자질을 이용해 학생들의 답안 점수를 분류 예측하는 방법은 학생들의 점수에대한 설명이 가능하다는 장점이 있어 자동채점이 총합적인 평가에 머무르지 않고 형성 평가의 기능까지 확장될수 있을 것으로 기대된다
Abstract
In order for developing an AI-based automated scoring program which could sufficiently perform, it is essential to secure sufficient essay data to be used for AI machine learning. Therefore, it is necessary to find a way to build a scoring model that can guarantee better performance in a situation where there is insufficient data for AI machine learning. In this study, a scoring method using predefined scoring features (RandomForest scoring model) was proposed and compared with a scoring method based on the pre-trained language model KoBERT (KoBERT scoring model), which is known to have the best performance with relatively small amount of learning data. In order to test the feasibility of the RandomForest Scoring model, this study empirically compared the performance of the two scoring models for the four scoring areas including organization, content, usage, and expression by utilizing about 500 college students’ essay data. The results of this study show that the RandomForest scoring model with the pre-defined scoring features in all the scoring areas was found to be superior to the KoBERT scoring model in accuracy, precision, recall, and F1-value. In addition, the RandomForest scoring model is expected to have a advantage that it can be used for the formative evaluation because it is able to explain the performance level based on students' scores.
참고문헌 (16)
- "2022 개정 교육과정 추진계획 발표 보도자료" (2021), 교육부[URL]
- 대규모 평가를 위한 서답형 문항 자동채점 방안 연구, "노은희", 한국교육과정평가원, ~, pp.RRE 2012-6 (2012)
- 대규모 평가를 위한 서답형 문항 자동채점 프로그램 정교화 및 시범 적용, "노은희", 한국교육과정평가원, ~, pp.RRE 2013-5 (2013)
- 한국어 서답형 문항 자동채점 프로그램 개발 및 실용성 검증, "노은희", 한국교육과정평가원, ~, pp.RRE 2014-6 (2014)
- 한국어 문장 수준 서답형 문항 자동채점 프로그램 개발 및 적용, "노은희", 한국교육과정평가원, ~, pp.RRE 2015-9 (2015)
- 박강윤, "순환신경망 장단기 기억(LSTM)을 이용한 자동 채점의 가능성 탐색", 교육과정평가연구, 24(4), pp.223~238 (2021), 한국교육과정평가원
- 박세진, "순환신경망을 적용한 초등학교 5학년 과학 서술형 평가 자동채점시스템 개발 및 활용 방안 모색", 교육평가연구, 33(2), pp.297~321 (2020), 한국교육평가학회
- 이상아, "감정 분석을 위한 BERT 사전학습모델과 추가 자질 모델의 결합", 정보과학회논문지, 48(7), pp.815~824 (2021), 한국정보과학회[DOI]
- 이용상, "한국어 쓰기 평가를 위한 자동채점의 가능성 탐색", 이중언어학, (86), pp.171~191 (2022), 이중언어학회[DOI]
- 조희련, "한국어 학습 모델별 한국어 쓰기 답안지점수 구간 예측 성능 비교", 정보처리학회논문지. 소프트웨어 및 데이터 공학, 11(3), pp.133~140 (2022), 한국정보처리학회
- 해방 100년, 혁신적 포용국가 실현을 위한 대한민국 교육체제의 대전환 방안(II), "최상덕", 경제인문사회연구회, ~ (2022)
- 하민수, "학습 도구로서의 서술형 평가 그리고 인공지능의 활용: WA3I 프로젝트 사례", 현장과학교육, 13(3), pp.271~282 (2019), 한국현장과학교육학회[DOI]
- 황상흠, "한국어 기술문서 분석을 위한 BERT 기반의 분류모델", 한국전자거래학회지, 25(1), pp.203~214 (2020), 한국전자거래학회[DOI]
- Breiman, L., "Random forests", Machine learning, 45(1), pp.5~32 (2001)
- Schonlau, M., "The random forest algorithm for statistical learning", The Stata Journal, 20(1), pp.3~29 (2020)
- Vaswani, A., "Attention is all you need", Advances in neural information processing systems, 30 (2017)