한국어 글쓰기 자동채점 및 피드백 프로그램(Ask1.0) 개발 연구
A Study on the Development of an Automated Scoring and Feedback Program for Korean Writing (Ask1.0)
1
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구에서는 한국어 글쓰기 자동채점 및 피드백 프로그램인 Ask1.0의 개발 과정과 성능, 주요 기능을 소개하였다. Ask1.0에서는 고등학생의 논설문 476편을 데이터로 활용하여 랜덤 포레스트 알고리듬 기반의 채점 모델을 구축하고 채점 결과를 인간 채점과 비교하였다. 채점 모형의 성능은 내용, 조직, 표현 영역에서 .58~.63의 정확도를 보였으며, 채점에 영향을 미친 자질 중에는 ‘어휘 총점’이나 ‘추상화 지수’처럼 어휘 기반 자질의 중요도가 높게 나타났다. Ask1.0에서 피드백은 관련 자질 추출 후, A등급(쓰기 수준 상) 데이터의 평균값을 지표로 설정하여 추출된 자질을 지표와 비교하는 방식으로 제시하였고 내용, 조직, 표현 영역별로 주요 피드백 자질을 설정함으로써 학생 글에서 보완해야할 구체적 정보를 제시하고자 하였다. 본 연구는 소규모 데이터 환경에서 최적의 채점 모형을 구축하고 이를 기반으로 쓰기 수행에 실질적 도움이 되는 피드백을 제공하고자 하였다는 점에서 의의가 있다. 후속 연구에서는 학습 데이터의 질과 양을 제고하고, 현장 적용을 통해 프로그램 효과성 검증 및 추후 개선 사항을 확인할 것이다.
Abstract
In this study, we introduced the development process, performance, and main features of Ask1.0, an automated grading and feedback program for Korean writing. Ask1.0 built a scoring model based on a random forest algorithm using 476 high school students' essays as data, and compared the scoring results with human scoring. The scoring model's performance showed an accuracy of .58~.63 in content, organization, and expression, and vocabulary-based features such as 'vocabulary total score' and 'abstraction index' were the most important features that influenced the scoring. In Ask1.0, feedback was provided by extracting relevant features and comparing the extracted features with the average value of the A-grade (writing level) data as an indicator, and by setting key feedback features for each content, organization, and expression area, we aimed to provide specific information on what needs to be improved in student writing. The significance of this study is that it sought to build an optimal scoring model in a small-scale data environment and provide practical feedback on writing performance based on it. Subsequent studies will improve the quality and quantity of training data, and field applications will be conducted to verify the effectiveness of the program and identify further improvements.
참고문헌 (34)
- 교육부, "2022 개정 교육과정 추진계획", 교육부 보도자료 2021.4.20, ~ (2021)
- 교육부, "미래 사회를 대비하는 2028 대학입시제도 개편안", 교육부 보도자료 2023.12.27, ~ (2023)
- 권태현, "쓰기 교수·학습을 위한 자동 피드백 방안 연구", 국어교육, 181, pp.73~118 (2023)
- 김승주, "텍스트마이닝을 활용한 논증적 글쓰기 자동채점 자질 추출 및 타당화 연구", 석사, pp.2019
- 국제 통용 한국어 표준 교육과정 적용 연구, "김중섭", 국립국어원, ~, pp.연구 보고서 2017-01-54 (2017)
- 남미정, "한국어 쓰기 자동채점을 위한 언어 자질 탐색 연구", 박사, pp.2023
- 대규모 평가를 위한 서답형 문항 자동채점 방안 연구, "노은희", 한국교육과정평가원, ~, pp.RRE 2012-6 (2012)
- 한국어 서답형 문항 자동채점 프로그램 개발 및 실용성 검증, "노은희", 한국교육과정평가원, ~, pp.RRE 2014-6 (2014)
- 한국어 문장 수준 서답형 문항 자동채점프로그램 개발 및 적용, "노은희", 한국교육과정평가원, ~, pp.RRE 2015-9 (2015)
- 한국어 문장 수준 서답형 문항 자동채점 프로그램 고도화 및 적용, "노은희", 한국교육과정평가원, ~, pp.RRE 2016-11 (2016)
- 박강윤, "한국어 에세이 문항 자동채점을 위한 딥러닝 알고리듬 탐색", 교육평가연구, 35(3), pp.465~488 (2022)
- 컴퓨터 기반 서·논술형 평가를 위한 자동채점 방안 설계(Ⅰ), "박종임", 한국교육과정평가원, ~, pp.RRE 2022-6 (2022)
- 박종임, "랜덤 포레스트 알고리듬을 활용한 한국어 에세이 자동채점 개발 연구", Brain, Digital & Learning, 13(2), pp.131~146 (2023)
- 평가를 활용한 초·중등학생의 글쓰기 능력 신장 방안 연구(Ⅰ) : 평가틀과 예시문항 개발, "박혜영", 한국교육과정평가원, ~, pp.RRE 2020-9 (2020)
- 변경가, "계량적 작문 평가를 위한 자동 작문 평가의 기준 분석 연구", 석사, 국어교육학과, pp.2013
- 신동광, "채점자질의 적용이 영어 자동채점 모델의 성능에 미치는 영향", 교원교육, 38(6), pp.73~91 (2022)
- 이용상, "충분한 데이터 확보가 힘든 상황에서 인공지능 서 논술형평가 채점모델 구축 방안", 교육문화연구, 28(5), pp.25~42 (2022)
- 이용상, "한국어 쓰기 평가를 위한 자동채점의 가능성 탐색", 이중언어학, 86, pp.171~191 (2022)
- 이용상, "한국어 논·서술 답안 자동채점 프로그램 PASTA-Ⅰ개발", 교육평가연구, 36(4), pp.711~730 (2023)
- 최승식, "고등학생의 작문능력 실태 조사 연구", 리터러시연구, 9(4), pp.89~123 (2018)
- 하민수, "학습 지원 도구로서의 서술형 평가 그리고 인공지능의 활용: WA3I 프로젝트 사례", 현장과학교육, 13(3), pp.271~282 (2019)
- Anderson, J., "Artificial intelligence and the future of humans", Pew Research Center, 10(12) (2018)
- Fitzgerald, J., "Textual cohesion and coherence in children's writing", Research in the Teaching of English, pp.263~280 (1986)
- Foltz, P. W., "Handbook of automated essay evaluation", pp.68~88 (2013)
- Graesser, A. C., "Coh-Metrix:Analysis of text on cohesion and language", Behavior research methods, instruments, & computers, 36(2), pp.193~202 (2004)
- Graham, S., "Writing : Importance, development, and instruction", Reading and writing, 26, pp.1~15 (2013)
- Kobayashi, Y., "Automated Scoring of L2 Spoken English with Random Forests", Journal of Pan-Pacific Association of Applied Linguistics, 20(1), pp.55~73 (2016)
- Kumar, V., "Explainable Automated Essay Scoring: Deep Learning Really has Pedagogical Value", Frontiers in education, 5, pp.572367~ (2020), Frontiers Media SA
- Kumar, V. S., "Automated essay scoring and the deep learning black box : How are rubric scores determined?", International Journal of Artifcial Intelligence in Education, 31(3), pp.538~584 (2021)
- Lim, H., "Review of the software CRITERION", Language Learning & Technology, 16(2), pp.38~45 (2012)
- Mikk, J., "Sentence length for revealing the cognitive load reversal effect in text comprehension", Educational Studies, 34(2), pp.119~127 (2008)
- Nippold, M. A., "Defining abstract entities: Development in pre-adolescents, adolescents, and young adults", Journal of Speech, Language, and Hearing Research, 42(2), pp.473~481 (1999)
- Page, E. B., "The computer moves into essay grading : Updating the ancient test", Phi delta kappan, 76(7), pp.561~565 (1995)
- Sweet, L. E., "Writing Assessment in Middle School Students: Analyzing Spelling Within a Multidimensional Language Framework", pp.2022