본문 바로가기
KERD
논문KCI 등재

교실 단위 작문 평가에서 활용 가능한 작문 자동 채점 프로그램의 설계 방안에 대한 연구 - 인지공학적 설계 접근과 채점자의 인지 부하 요인을 고려하여 -

A Study on the Design Method of an Automated Writing Evaluation(AWE) System that Can be Used in Classroom-Based Writing Assessment - Considering the Rater’s Cognitive Load Factor and the Cognitive Eng

김승주
청람어문교육학회 (Cheongram Korean Language Education Association)|2021.09|청람어문교육 (Journal of CheongRam Korean Language Education)|제83호|pp. 157-203|DOI 10.26589/jockle..83.202109.157

0

조회

0

다운로드

10

인용

0

참고문헌

키워드

Cognitive Engineering작문 자동 채점쓰기 자동 채점채점자 인지 부하평가자 인지 부하작문 자동 채점 프로그램 설계쓰기 자동 채점 시스템 설계인지공학적 설계Automated Writing Evaluation(AWE)Rater‘s Cognitive LoadDesigning Automated Writing Evaluation(AWE) SystemAutomated Writing Evaluation(AWE) Software

초록

그간 국외에서 개발된 글 단위 작문 자동 채점 프로그램은 교실 단위 작문 평가 상황에서 활용이 제한적이라 알려져 있다. 그 이유는 기본적으로 기존 작문 자동 채점 프로그램의 설계 방식에 기인한다. 이에 본 연구에서는 이를 개선하기 위한 대안으로서 인지공학적 설계 방식에 따라 작문 자동 채점 프로그램을 개발할 것을 제안하고자 하였다. 이에 인지공학적 설계 접근에 따라 채점자의 인지 과정, 그리고 채점 과정에서 채점자 인지 부하와 관련한 선행 연구를 살펴본 결과 (1)텍스트 이해 과정, (2)텍스트 평가 과정, (3)평가 결과 정교화 과정 등의 채점 세부 과정별 인지 부하 요소를 탐색하였으며, 이를 바탕으로 채점자의 인지 부하를 경감하기 위해 필요한 프로그램의 주요 기능으로서 (1)주요 내용 요소에 대한 텍스트 자동 분석 및 표시 기능, (2)주요 표현 요소에 대한 텍스트 자동 분석 및 표시 기능, (3)관련 채점 기준 노출 기능, (4)채점 근거 저장 기능, (5)비슷한 수준의 글 검색 기능 등을 제안하였다. 또한 구체적으로 채점 프로그램의 UI/UX 설계 사례를 제안하였다.

Abstract

It is known that the Automated Writing Evaluation(AWE) system developed overseas has limited use in the classroom-based writing assessment situation. The reason is primarily due to the design method of the existing AWE systems. Therefore, in this study, as an alternative to improve this, it was proposed to develop an AWE system according to a cognitive engineering design method. Accordingly, according to the cognitive engineering design approach, the cognitive load factors for each detailed scoring process were extracted by exploring the prior studies on the scorer's cognitive process and the scorer's cognitive load during the scoring process. Also, based on this, the main functions of the program necessary to reduce the cognitive load of the scorer are (1) automatic text analysis and display function for main content elements, (2) automatic text analysis and display function for main expression elements, (3) ) related grading standards exposure function, (4) scoring basis storage function, and (5) similar level text search function were proposed. Finally, a specific design example of the scoring program was proposed.

참고문헌 (63)

  1. 교육부, "인공지능 기초 원리, 이제 거점형 일반고에서 배운다", 교육부보도자료, ~ (2020)
  2. 교육부, "국민과 함께하는 미래 교육과정 논의 본격 착수 - ｢2022 개정 교육과정 추진계획｣발표 -", 교육부 보도자료, ~ (2021)
  3. 김승주, "논증적 글쓰기 자동 평가 시스템 개발을 위한 논증 주석 코퍼스 구축 방안 탐색", 청람어문교육, (76), pp.129~164 (2020), 청람어문교육학회[DOI]
  4. "김인중이 전하는 딥러닝의 세계<3> AI의 불완전성에 대하여" (2021)[URL]
  5. 대규모 평가를 위한 서답형 문항 자동 채점 프로그램 정교화 및 시범 적용(RRE 2013-5), "노은희", 한국교육과정평가원, ~ (2013)
  6. 한국어 문장 수준 서답형 문항 자동 채점 프로그램 고도화 개발 및 적용(RRE 2016-11), "노은희", 한국교육과정평가원, ~ (2016)
  7. 한국어 문장 수준 서답형 문항 자동 채점 프로그램 개발 및 적용(RRE 2015-9), "노은희", 한국교육과정평가원, ~ (2015)
  8. 대규모 평가를 위한 서답형 문항 자동 채점 방안 연구(RRE 2012-6), "노은희", 한국교육과정평가원, ~ (2012)
  9. 한국어 서답형 문항 자동채점 프로그램 개발 및 실용성 검증(RRE 2014-6), "노은희", 한국교육과정평가원, ~ (2014)
  10. 백유진, "국어 교사의 사고구술 분석을 통한 학생 논설문 채점 편향의 원인탐색", 박사, pp.2021
  11. 서울특별시교육청, "AI 기반 융합 혁신미래교육 중장기 발전 계획(‘21~’25)", 서울특별시교육청 교육혁신과 보도자료, ~ (2021)
  12. "AI가 "왜?"라는 질문에 답을 하려면" (2021)[URL]
  13. 이경건, "인공지능 기반 자동평가의 현재와 미래: 서술형 문항에 관한 문헌 고찰과 그 너머", 교육공학연구, 36(2), pp.353~382 (2020), 한국교육공학회[DOI]
  14. "초대형 인공지능 모델의 한계와 기대" (2021)[URL]
  15. 2021년 기술과 산업을 전망하며, "한상기", 1~5, pp.한국인터넷진흥원정기레포트 11 (2020)
  16. Anderson, J. R., "인지심리학과 그 응용" (2012), 이화여자대학교출판부
  17. Baddeley, A., "Working memory, thought, and action (Vol. 45)" (2007), OuP Oxford
  18. Bejar, I. I., "Rater cognition: Implications for validity", Educational Measurement : Issues and Practice, 31(3), pp.2~9 (2012)
  19. Chen, C. F. E., "Beyond the design of automated writing evaluation : Pedagogical practices and perceived learning effectiveness in EFL writing classes", Language Learning &Technology, 12(2), pp.94~112 (2008)
  20. Cowan, N., "The magical mystery four: How is working memory capacity limited, and why?", Current directions in psychological science, 19(1), pp.51~57 (2010)
  21. Scoring TOEFL essays and TOEFL 2000 prototype writing tasks: An investigation into raters'decision making and development of a preliminary analytic framework, "Cumming, A. H.", Educational Testing Service, ~ (2001)
  22. Deane, P., "On the relation between automated essay scoring and modern views of the writing construct", Assessing Writing, 18(1), pp.7~24 (2013)
  23. Dias, R. D., "Physiological synchronization and entropy as measures of team cognitive load", Journal of biomedical informatics, 96, pp.103250~ (2019)
  24. Dikli, S., "Automated Essay Scoring feedback for second language writers : How does it compare to instructor feedback?", Assessing writing, 22, pp.1~17 (2014)
  25. Enright, M. K., "Complementing human judgment of essays written by English language learners with e-rater® scoring", Language Testing, 27(3), pp.317~334 (2010)
  26. Foltz, P. W., "Handbook of Automated Scoring", pp.2020, Chapman and Hall
  27. Freedman, S. W., "Research on writing: Principles and methods", pp.75~98 (1983)
  28. Grimes, D., "Utility in a fallible tool: A multi-site case study of automated writing evaluation", The Journal of Technology, Learning and Assessment, 8(6) (2010)
  29. Hettinger, A. Z., "Cognitive engineering and health informatics : applications and intersections", Journal of Biomedical Informatics, 67, pp.21~33 (2017)
  30. Janssen, C. P., "History and future of human-automation interaction", International Journal of Human-Computer Studies, 131, pp.99~107 (2019)
  31. Jaunzemis, A. D., "Cognitive Systems Engineering Applied to Decision Support in Space Situational Awareness", Journal of Cognitive Engineering and Decision Making, 14(1), pp.3~33 (2020)
  32. Klein, J., "The effect of variations in handwriting and print on evaluation of student essays", Assessing writing, 10(2), pp.134~148 (2005)
  33. Knoch, U., "Rating scales for diagnostic assessment of writing : What should they look like and where should the criteria come from?", Assessing Writing, 16(2), pp.81~96 (2011)
  34. Kumar, V. S., "Automated Essay Scoring and the Deep Learning Black Box: How Are Rubric Scores Determined?", International Journal of Artificial Intelligence in Education, pp.1~47 (2020)
  35. Leckie, G., "Rater effects on essay scoring : A multilevel analysis of severity drift, central tendency, and rater experience", Journal of Educational Measurement, 48(4), pp.399~418 (2011)
  36. Li, J., "Rethinking the role of automated writing evaluation(AWE)feedback in ESL writing instruction", Journal of Second Language Writing, 27, pp.1~18 (2015)
  37. Link, S., "Impact of automated writing evaluation on teacher feedback, student revision, and writing improvement", Computer Assisted Language Learning, pp.1~30 (2020)
  38. Milanovic, M., "Performance Testing, Cognition and Assessment: Selected Papers from the 15th Language Research Testing Colloquium, Cambridge and Arnhem(Vol. 3)", pp.92~ (1996), Cambridge University Press
  39. Neisser, U., "Selective looking : Attending to visually specified events", Cognitive psychology, 7(4), pp.480~494 (1975)
  40. Noyes, J. M., "VDT versus paper-based text : Reply to Mayes, Sims and Koonce", International Journal of Industrial Ergonomics, 31(6), pp.411~423 (2003)
  41. O'hara, K., "A comparison of reading paper and on-line documents", Proceedings of the ACM SIGCHI Conference on Human factors in computing systems, pp.335~342 (1997)
  42. Paulson, E., "Insight from the Eyes: the Science of Effective Reading Instruction" (2003), Heinemann
  43. Perelman, L., "Towards a new NAPLAN: Testing to the teaching", Communications, ~ (2018)
  44. Powers, D. E., "Validating automated essay scoring: A (modest) refinement of the “gold standard”", Applied Measurement in Education, 28(2), pp.130~142 (2015)
  45. Ramineni, C., "Automated essay scoring : Psychometric guidelines and practices", Assessing Writing, 18(1), pp.25~39 (2013)
  46. "NAPLAN: Robot marking of school tests scrapped by educ ation ministers" (2018)[URL]
  47. "NAPLAN's writing test is 'bizarre' but here's how kids can get top marks" (2018)[URL]
  48. Schneider, C., "Handbook of Automated Scoring", pp.2020, Chapman and Hall
  49. Shermis, M. D., "Handbook of automated essay evaluation:Current applications and new directions" (2013), Routledge
  50. Stevenson, M., "A critical interpretative synthesis: The integration of Automated Writing Evaluation into classroom writing instruction", Computers and Composition, 42, pp.1~16 (2016)
  51. Strukelj, A., "One page of text: Eye movements during regular and thorough reading, skimming, and spell checking", Journal of Eye Movement Research, 11(1) (2018)
  52. Wang, P. L., "Effects of an Automated Writing Evaluation Program: Student Experiences and Perceptions", Electronic Journal of Foreign Language Teaching, 12(1) (2015)
  53. Ware, P., "Computer-generated feedback on student writing", Tesol Quarterly, 45(4), pp.769~774 (2011)
  54. Warschauer, M., "New tools for teaching writing", Language learning & technology, 14(1), pp.3~8 (2010)
  55. Weigle, S. C., "English language learners and automated scoring of essays : Critical considerations", Assessing Writing, 18(1), pp.85~99 (2013)
  56. Wilson, M., "An examination of variation in rater severity over time: A study in rater drift", Objective measurement : Theory into practice, 5, pp.113~134 (2000)
  57. Wolfe, E. W., "The relationship between essay reading style and scoring proficiency in a psychometric scoring system", Assessing Writing, 4(1), pp.83~106 (1997)
  58. Wood, S. W., "Handbook of Automated Scoring", pp.2020, Chapman and Hall
  59. Wästlund, E., "Effects of VDT and paper presentation on consumption and production of information : Psychological and physiological factors", Computers in human behavior, 21(2), pp.377~394 (2005)
  60. Yan, D., "Handbook of automated scoring:Theory into practice" (2020), CRC Press
  61. Yerkes, R. M., "Punishment: Issues and experiments", pp.27~41 (1908)
  62. Zenati, M. A., "Cognitive engineering to improve patient safety and outcomes in cardiothoracic surgery", Seminars in thoracic and cardiovascular surgery, 32(1), pp.1~7 (2020), WB Saunders
  63. Zhang, M., "Contrasting automated and human scoring of essays", R & D Connections, 21(2), pp.1~11 (2013)

관련 논문AI추천

작문 채점에서의 인지적 과정 모형에 대한 이론적 고찰박종임청람어문교육학회 · 청람어문교육2014 · 제52호채점 자질 설계를 통한 지도 학습 기반 작문 자동 채점의 타당도 확보 방안 탐색김승주청람어문교육학회 · 청람어문교육2019 · 제69호학생 글 채점 누적에 따른 국어교사의 인지 부담 변화정분의한국작문학회 · 작문연구2019 · 제42호AI 기반 KFL 작문 자동 채점 모델 설계 방향백재파우리말학회 · 우리말연구2023 · 제73호Exploring the Influence of Automated Writing Evaluation on Teacher Feedback and Student Writing PerformanceHee-Kyung Lee, Pyung-hwa Jung아시아테플 · Journal of Asia TEFL2024 · 제21권 제3호국어교사의 쓰기평가 신뢰도에 영향을 미치는 인지 과정 특성 분석윤금준청람어문교육학회 · 청람어문교육2021 · 제79호

이 간행물의 다른 논문 (12건)

LDA를 활용한 아동문학 연구 동향 분석 - KCI 등록 논문을 중심으로 -하근희pp. 7-38쓰기 윤리로서의 '인용' 교육 내용 개선 방안 연구 - 2015 개정 교육과정과 중학교 국어 교과서 분석을 중심으로이소라, 류수경pp. 39-67모국어를 활용한 말하기 수업이 외국인 학습자의 말하기 효능감에 미치는 효과 연구이경훈, 박찬흥pp. 69-95한‧중 근대 편지 쓰기 교육에 대한 고찰 -한·중 편지 쓰기 교재 분석을 중심으로-김소연pp. 97-127서·논술형 수능 도입을 대비한 2022 개정 국어과 교육과정의 개정 방향 탐색최숙기pp. 129-156
원문 보기