KFL 작문 자동채점을 위한 텍스트 구어성 측정 공식 모델의 성능 비교 연구
Comparison of the performance of text orality formulas in the automated grading of compositions of KFL learners
0
조회
0
다운로드
2
인용
0
참고문헌
키워드
초록
This study compares the performance of the formulas used to measure text orality in classification analysis and multiple regression analysis models on the automated grading of compositions of KFL learners. To this end, a multiple-regression-analysis-based formula was constructed to measure text orality, and the performance of the formula was compared with that of the formula in the classification analysis model of Kang and Baek (2021). The results showed that the outcomes of the classification analysis model were 80% matched with the grading outcomes of the expert group, while the multiple regression analysis model was 92% matched, indicating that the performance of the multiple regression analysis model was better. In addition, this study suggests that in order to enhance the accuracy of the formula under the multiple regression analysis model, weights should be assigned according to the level of orality of each grammatical element and vocabulary item.
Abstract
This study compares the performance of the formulas used to measure text orality in classification analysis and multiple regression analysis models on the automated grading of compositions of KFL learners. To this end, a multiple-regression-analysis-based formula was constructed to measure text orality, and the performance of the formula was compared with that of the formula in the classification analysis model of Kang and Baek (2021). The results showed that the outcomes of the classification analysis model were 80% matched with the grading outcomes of the expert group, while the multiple regression analysis model was 92% matched, indicating that the performance of the multiple regression analysis model was better. In addition, this study suggests that in order to enhance the accuracy of the formula under the multiple regression analysis model, weights should be assigned according to the level of orality of each grammatical element and vocabulary item.
참고문헌 (17)
- 강혜림, "한국어 교육을 위한 구어성 문법 목록 선정에 관한 연구 ―연결 표현을 중심으로―", 우리말연구, (58), pp.171~194 (2019), 우리말학회[DOI]
- 강혜림, "한국어 교육을 위한 구어성 조사 선정 연구", 영주어문, 44, pp.282~300 (2020), 영주어문학회[DOI]
- 강혜림, "한국어 문법 교육의 표현 항목에 대한 구어성 측정 및 등급화 연구", 한국어교육, 31(3), pp.23~46 (2020), 국제한국어교육학회[DOI]
- 강혜림, "한국어 작문 평가를 위한 텍스트 구어성 측정 공식 개발 연구", 한국어교육, 32(4), pp.1~29 (2021), 국제한국어교육학회[DOI]
- 김성숙, "학문 목적 한국어 쓰기 능력에 대한 분석적 평가의 일반화가능도 검증", 한국어교육, 22(3), pp.29~48 (2011), 국제한국어교육학회[DOI]
- 김수현, "한국어 학습자의 쓰기 수행 평가 신뢰도 분석 - 다국면 라쉬 모형을 사용하여", 한국어 의미학, 61, pp.1~31 (2018), 한국어의미학회
- 배진영, "구어·문어 사용역에 따른 어휘 사용 양상 연구-접속부사를 중심으로-", 한국사전학, (23), pp.95~129 (2014), 한국사전학회[DOI]
- 서상규, "구어 말뭉치 설계의 몇 가지 조건", 언어사실과 관점, 14, pp.5~29 (2005)
- 안의정, "학습자 작문 교육을 위한 텍스트의 구어성 측정 연구", 어문론총, (67), pp.39~65 (2016), 한국문학언어학회[DOI]
- 안수현, "한국어능력시험(TOPIK) 쓰기 평가의 채점 특성 연구", 한국어교육, 28(1), pp.173~196 (2017), 국제한국어교육학회[DOI]
- 윤혜경, "한국어 교육용 구어 어휘 선정 연구 - 초급 수준의 일반명사를 중심으로", 인문과학연구, (50), pp.65~87 (2016), 인문과학연구소
- 이상하, "국가수준 학업성취도 평가 서답형 문항에 대한 자동채점의 실용성 분석", 교육과정평가연구, 18(1), pp.185~208 (2015), 한국교육과정평가원
- 이은하, "학문 목적 한국어 쓰기 수행 평가의 채점자 신뢰도 검증 - 다국면 Rasch 모형을 활용하여 -", 새국어교육, (103), pp.311~354 (2015), 한국국어교육학회[DOI]
- 이용상, "한국어 쓰기 평가를 위한 자동채점의 가능성 탐색", 이중언어학, (86), pp.171~191 (2022), 이중언어학회[DOI]
- 이정희, "한국어 학습자의 서술형 답안 자동 채점 모델 설계", 석사, pp.2021
- 조희련, "딥러닝 기반 언어모델을 이용한 한국어 학습자 쓰기 평가의 자동 점수 구간 분류 -KoBERT와 KoGPT2를 중심으로-", 한국언어문화학, 18(1), pp.217~241 (2021), 국제한국언어문화학회
- Xi, X., "A comparison of two scoring methods for an automated speech scoring system", Language Testing, 29(3), pp.371~394 (2012)