본문 바로가기
KERD
논문KCI 등재

채점자질을 활용한 인공지능 기반 글쓰기 자동채점 방안 탐색

Exploring Artificial Intelligence-based Automated Essay Scoring Methods Using the Scoring Feature

최숙기|김길재|박종임|박강윤
청람어문교육학회 (Cheongram Korean Language Education Association)|2023.11|청람어문교육 (Journal of CheongRam Korean Language Education)|제96호|pp. 135-172|DOI 10.26589/jockle..96.202311.135

0

조회

0

다운로드

4

인용

0

참고문헌

키워드

인공지능Artificial Intelligence머신러닝Machine Learning한국어 글쓰기 자동채점채점자질Korean Automated Essay ScoringScoring Feature

초록

본 연구에서는 한국어 글쓰기 자동채점에서 채점자질을 활용하는 방안을 탐색하기 위해서 ‘형태소 수준 빈도 자질’을 비롯하여 ‘어휘‧문장 수준 심층 자질’을 개발하여 적용하였다. 본 연구의 결과 형태소 수준 빈도 자질만을 활용한 모델과 형태소 수준 빈도 자질 외에 심층 자질을 추가한 모델의 성능은 유사하게 나타났다. 또한 전체 채점자질 중 최적의 채점자질 집합을 사용한 모델이 가장 높은 성능값을 보였다. 이러한 연구 결과를 통해 다음과 같은 시사점을 도출할 수 있다. 첫째, 형태소 빈도와 같이 기초적인 언어 자질이라도 글의 수준을 예측하는 데에 효율적으로 활용할 수 있다. 둘째, 한국어 텍스트 분석에 유효한 어휘, 문장, 글 수준의 심층 자질 개발 및 추출에 관한 연구들이 활성화될 필요가 있다. 셋째, 글쓰기 채점자질을 개발하기 위해서는 텍스트 분석 이론, 쓰기 발달 이론, 수사학, 국어학 등의 다양한 관련 이론들을 종합적으로 탐색할 필요가 있다. 넷째, 특정 글 유형이나 과제에 특화된 채점자질 외에 다양한 글 유형이나 과제를 포괄할 수 있는 범용 채점자질이 개발될 필요가 있다. 다섯째, 글의 세부적인 채점 범주별로 채점자질을 탐색할 필요가 있다.

Abstract

This study explored methods to utilize rater characteristics in the automated scoring of Korean writing. To this, we developed and applied 'morpheme-level frequency features' and 'lexical-sentence level deep features‘. The results of this study revealed that the performance of a model using only the morpheme-level frequency features was similar to that of a model incorporating additional deep features. Additionally, the model utilizing the optimal set of scoring features exhibited the highest performance. From these findings, the following implications can be drawn: 1. Basic linguistic features such as morpheme frequency can be effectively used to predict the quality of writing. 2. There is a need to promote research on the development and extraction of deep features at the vocabulary, sentence, and text levels that are effective for analyzing Korean text. 3. Developing writing scoring features requires a comprehensive exploration of various relevant theories, including text analysis theory, writing development theory, rhetoric, and Korean linguistics. 4. Beyond features specialized for specific types of texts or tasks, there is a need to develop generic scoring features that can cover a wide range of text types and tasks. 5. It's essential to explore scoring features for each specific grading category in writing.

참고문헌 (59)

  1. 김경민, "머신러닝을 활용한 한계대학 예측 요인 탐색 연구: 랜덤 포레스트 모형을 중심으로", 교육재정경제연구, 32(1), pp.1~30 (2023), 한국교육재정경제학회[DOI]
  2. 남미정, "한국어 쓰기 자동 채점을 위한 언어 자질 탐색 연구", 언어사실과 관점, 57, pp.9~32 (2022), 언어정보연구원[DOI]
  3. 대규모 평가를 위한 서답형 문항 자동채점 방안 연구, "노은희", 한국교육과정평가원, ~, pp.연구보고 RRE 2012-6 (2012)
  4. 대규모 평가를 위한 서답형 문항 자동채점 프로그램 정교화 및 시범 적용, "노은희", 한국교육과정평가원, ~, pp.연구보고 RRE 2013-5 (2013)
  5. 한국어 서답형 문항 자동채점 프로그램 개발 및 실용성 검증, "노은희", 한국교육과정평가원, ~, pp.연구보고 RRE 2014-6 (2014)
  6. 한국어 문장 수준 서답형 문항 자동채점프로그램 개발 및 적용, "노은희", 한국교육과정평가원, ~, pp.연구보고 RRE 2015-9 (2015)
  7. 한국어 문장 수준 서답형 문항자동채점 프로그램 고도화 및 적용, "노은희", 한국교육과정평가원, ~, pp.연구보고 RRE 2016-11 (2016)
  8. 박소영, "이직을 경험한 근로자의 직장만족도 유형 분류 및 영향요인 탐색: 머신러닝 기법 적용", 직업능력개발연구, 22(3), pp.157~188 (2019), 한국직업능력연구원[DOI]
  9. 박소영, "중학생의 진로 결정 예측변수 탐색 : 머신러닝 기법 적용", 아시아교육연구, 21(3), pp.727~753 (2020), 교육연구소[DOI]
  10. 컴퓨터 기반 서‧논술형평가를 위한 자동채점 방안 설계(Ⅰ), "박종임", 한국교육과정평가원, ~, pp.연구보고 RRE 2022-6 (2022)
  11. 박종임, "랜덤포레스트 알고리듬을 활용한 한국어 에세이 자동채점 모델 개발 연구", Brain, Digital, & Learning, 13(2), pp.131~146 (2023), 뇌·AI기반교육연구소[DOI]
  12. 서지범, "머신러닝과 설명가능한 인공지능 SHAP을 활용한 사범대 과학교육 전공생의 전공만족도 및 학업만족도 영향요인 탐색", 과학교육연구지, 47(1), pp.37~51 (2023), 과학교육연구소[DOI]
  13. 안도연, "학업성취도 예측 요인 분석 및 인공지능 예측 모델 개발 - 블렌디드 수학 수업을 중심으로", 수학교육, 61(2), pp.257~271 (2022), 한국수학교육학회[DOI]
  14. 엄용환, "데이터 마이닝에서 Cohen의 kappa를 이용한 분류정확도 측정", 한국컴퓨터정보학회논문지, 18(1), pp.177~183 (2013), 한국컴퓨터정보학회
  15. 윤지영, "머신러닝 기법을 활용한 고령자 경제활동 및 임금근로 여부에 미치는 영향 요인 탐색", 기업교육과인재연구, 25(1), pp.1~29 (2023), 한국기업교육학회
  16. 이빛나, "피드백 효과에 대한 메타분석: 피드백, 학습과제 및 학습자 특성에 따른 차이", 교육평가연구, 31(3), pp.501~529 (2018), 한국교육평가학회[DOI]
  17. 이상하, "국가수준 학업성취도 평가 서답형 문항에 대한 자동채점의 실용성 분석", 교육과정평가연구, 18(1), pp.185~208 (2015), 한국교육과정평가원
  18. 임한려, "랜덤포레스트를 이용한 대학 졸업자의 대학원 진학 예측 요인 분석", 進路敎育硏究, 36(1), pp.163~187 (2023), 한국진로교육학회
  19. 장은아, "고등학생의 학업무기력에 영향을 미치는 주요 예측변인 탐색: 랜덤포레스트와 SHAP 적용", 교육학연구, 61(1), pp.31~63 (2023), 한국교육학회[DOI]
  20. 조경진, "잠재프로파일 분석과 랜덤 포레스트를 활용한 교사-유아 상호작용 예측요인 탐색", 유아교육연구, 42(5), pp.315~335 (2022), 한국유아교육학회[DOI]
  21. 조민호, "회귀분석과 딥러닝의 예측 정확성에 대한 비교 그리고 딥러닝 모델 최적화를 위한 기법들의 중요성에 대한 실증적 분석", 한국전자통신학회 논문지, 18(2), pp.299~304 (2023), 한국전자통신학회
  22. 조헌국, "머신 러닝을 활용한 이러닝 학습 환경에서의 학습자 성취 예측 모형 탐색", 학습자중심교과교육연구, 18(21), pp.553~572 (2018), 학습자중심교과교육학회[DOI]
  23. 최숙기, "중등학생의 자료 통합적 글쓰기에 나타난 자료 글 차용하기 수행 양상 연구 - 인용과 환언을 중심으로-", 작문연구, (38), pp.201~245 (2018), 한국작문학회[DOI]
  24. Bailly, A., "Effects of dataset size and interactions on the prediction performance of logistic regression and deep learning models", Computer Methods and Programs in Biomedicine, 213, pp.106504~ (2022)
  25. Methodological approaches to online scoring of essays, "Chung, G. K.", Center for the Study of Evaluation, National Center for Research on Evaluation, Standards, and Student Testing, Graduate School of Education & Information Studies, University of California, Los Angeles, ~ (1997)
  26. Crossley, S. A., "Using human judgments to examine the validity of automated grammar, syntax, and mechanical errors in writing", Journal of Writing Research, 11(2), pp.251~270 (2019)
  27. Dascalu, M., "Modeling comprehension processes via automated analyses of dialogism", 39th Annual Meeting of the Cognitive Science Society (CogSci 2017) (2017), Cognitive Science Society
  28. Do, H., "Prompt-and Trait Relation-aware Cross-prompt Essay Trait Scoring", Findings of the Association for Computational Linguistics: ACL 2023, pp.1538~1551 (2023), Association for Computational Linguistics
  29. Doshi-Velez, F., "Towards A Rigorous Science of Interpretable Machine Learning", arxiv:1702.08608, ~ (2017)
  30. Goodfellow, I., "Deep learning" (2016), MIT Press
  31. Graesser, A. C., "Computational analyses of multilevel discourse comprehension", Topics in Cognitive Science, 3(2), pp.371~398 (2011)
  32. Graesser, A. C., "Coh-Metrix:Analysis of text on cohesion and language", Behavioral Research Methods, Instruments, and Computers, 36, pp.193~202 (2004)
  33. Guidotti, R., "A Survey of Methods for Explaining Black Box Models", ACM Computing Surveys(CSUR), 51, pp.1~42 (2018)
  34. Gunning, D., "DARPA’s explainableAI(XAI) program: A retrospective", Applied AI Letters, 2(4) (2021)[DOI]
  35. Hattie, J., "The power of feedback", Review of Educational Research, 77(1), pp.81~112 (2007)
  36. Grammatical Structures Written at Three Grade Levels, "Hunt, K. W.", National Council of Teachers of English, ~, pp.Research Report No.3 (1965)
  37. Issacson, S., "Communication skills and classroom success: Assessment methodologoies for language-learning disabled students" (1985), College Hill Press
  38. Lexical diversity and lexical density in speech and writing: A developmental perspective, "Johansson, V.", Lund University, Department of Linguistics and Phonetics, 61~79, pp.Working papers 53 (2008)
  39. Kumar, V. S., "Automated essay scoring and the deep learning black box : How are rubric scores determined?", International Journal of Artificial Intelligence in Education, 31, pp.538~584 (2021)
  40. Kyle, K., "Measuring syntactic development in L2 writing: Fine grained indices of syntactic complexity and usage-based indices of syntactic sophistication", Doctor, pp.2016
  41. Latifi, S., "Automated scoring of junior and senior high essays using Coh-Metrix features : Implications for large-scale language testing", Language Testing, 38(1), pp.62~85 (2021)[DOI]
  42. Mathias, S., "Can neural networks automatically score essay traits?", Proceedings of the Fifteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp.85~91 (2020)
  43. McNamara D. S., "Automated evaluation of text and discourse with Coh-Metrix" (2014), Cambridge University Press
  44. Mitchell, T., "Machine Learning" (1997), McGraw Hill
  45. Murphy, K. P., "Machine Learning: A Probabilistic Perspective" (2012), The MIT Press
  46. Nguyen, H., "Argument mining for improving the automated scoring of persuasive essays", Proceedings of the AAAI Conference on Artificial Intelligence, 9, pp.5892~5899 (2018)
  47. Nielsen, M. A., "Neural networks and deep learning" (2015), Determination Press
  48. Owens, R., "Language development: An introduction" (2012), Pearson
  49. Page, E. B., "The imminence of grading essays by computer", Phi Delta Kappan, 48, pp.238~243 (1966)
  50. Page, E. B., "Computer grading of student prose, using modern concepts and software", Journal of Experimental Education, 62(2), pp.127~142 (1994)
  51. Page, E. B., "Automated essay scoring: A cross-disciplinary perspective", pp.43~54 (2003), Lawrence Erlbaum Associates, Inc
  52. Persing, I., "Modeling Thesis Clarity in Student Essays", Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics(Long Papers), 1, pp.260~269 (2013), Association for Computational Linguistics
  53. Persing, I., "Modeling Organization in Student Essays", Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, pp.229~239 (2010), Association for Computational Linguistics
  54. Ramesh, D., "An automated essay scoring systems : a systematic literature review", Artificial Intelligence Review, 55, pp.2495~2527 (2022)[DOI]
  55. Ridley, R., "Automated Cross-prompt Scoring of Essay Traits", Proceedings of the AAAI Conference on Artificial Intelligence, 35(15), pp.13745~13753 (2021)
  56. Selvaraju, R. R., "Grad-CAM : Visual Explanations from Deep Networks via Gradient-Based Localization", International Journal of Computer Vision, 128(2), pp.336~359 (2019)[DOI]
  57. Wachsmuth, H., "Using Argument Mining to Assess the Argumentation Quality of Essays", Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp.1680~1691 (2016)
  58. West-Smith, P., "Trustworthy automated essay scoring without explicit construct validity", 2018 AAAI Spring Symposium Series (2018)
  59. Woods, B., "Formative essay feedback using predictive scoring models", Proceedings of the 23rd ACM SIGKDD international conference on knowledge discovery and data mining, pp.2071~2080 (2017)

관련 논문AI추천

채점 자질 설계를 통한 지도 학습 기반 작문 자동 채점의 타당도 확보 방안 탐색김승주청람어문교육학회 · 청람어문교육2019 · 제69호한국어 쓰기 자동 채점을 위한 언어 자질 탐색 연구남미정, 원미진언어정보연구원 · 언어사실과 관점2022 · 제57권 논증적 글쓰기 과제의 자동 채점을 위한 N-gram 자질의 활용 가능성 탐색김승주한국작문학회 · 작문연구2019 · 제41호임베딩 기법을 활용한 한국어 학습자 쓰기 자동채점을 위한 자질 연구이진언어정보연구원 · 언어사실과 관점2025 · 제64권 랜덤포레스트 알고리듬을 활용한 한국어 에세이 자동채점 모델 개발 연구박종임, 최숙기뇌·AI기반교육연구소 · Brain, Digital, & Learning2023 · 제13권 제2호한국어 글쓰기 자동채점 및 피드백 프로그램(Ask1.0) 개발 연구권태현청람어문교육학회 · 청람어문교육2024 · 제100호

이 간행물의 다른 논문 (7건)

변혁적 역량이 추구하는 인간상과 국어교육의 접근법 탐색이재기pp. 7-56국어 교과서 논증 텍스트의 ‘반론 예상 및 대응’ 양상서영진pp. 57-102토의 기반의 탐구 활동을 중심으로 한 교과 어휘 학습 프로그램 개발 연구전지혜, 정하은, 노들pp. 103-134대단위 쓰기 평가 설계를 위한 평가 체제 검토 -SAT essay와 GRE Analytical Writing을 중심으로-오규설pp. 173-214국어 교사에 대한 인식과 만족도가 고1학생의 수업 태도 및 학업성취도에 미치는 영향박찬흥pp. 215-235
원문 보기