본문 바로가기
KERD
논문KCI 등재

영어 쓰기에서 자동 쓰기 평가 시스템(AWE)의 효과적 활용을 위한 교수전략 개발 연구

Development of Teaching Strategies for the Effective Use of Automated Writing Evaluation(AWE) in English Writing

임은선|임철일|이진연
한국교육정보미디어학회 (Korea Association for Educational Information and Media)|2023.06|교육정보미디어연구 (Journal of Korean Association for Educational Information and Media)|제29권 제2호|pp. 395-423

1

조회

0

다운로드

5

인용

0

참고문헌

키워드

English writing영어 쓰기교수전략설계개발연구Design and development researchTeaching strategiesAWE글쓰기 자동 평가AWE 활용 단계Automated writing evaluationAWE utilization stage
주제분류교육학

초록

영어 교육에서 쓰기는 의사소통 역량 함양에 있어 필수적인 학습 영역이지만, 쓰기 교육에 대한 중요성은 간과되고 있다. 이에 대한 원인으로 교수자들이 시간적 한계로 인해 모든 학습자의 쓰기 결과물에 대해 개별적 피드백을 적시에 제공하기 어렵다는 점이 지적된다. 인공지능 기술을 기반으로 하는 자동 쓰기 평가 시스템(Automated Wrting Evalaution, AWE)은 학습자에게 개인화된 채점 및 피드백을 실시간으로 제공할 수 있다는 점에서 이러한 교육적 문제를 해결할 수 있는 가능성을 지닌다. 그러나 AWE는 시스템의 기술적 오류, 불충분한 피드백 제공 등의 한계를 지니고 있으므로 AWE를 효과적으로 활용하기 위해서는 교수설계적 처치에 대한 연구가 필요하다. 따라서 본 연구에서는 Richey와 Klein(2007)의 설계․개발 연구 중 모형 연구(유형2)를 적용하여 실제 영어 교육 현장에서 AWE의 효과적인 활용을 위한 교수전략을 개발하고 그 타당성을 검증하는 것을 목적으로 한다. 연구 결과 영어 쓰기에서의 AWE의 효과적 활용을 위한 8개의 초기 교수전략 및 23개의 하위 상세지침을 개발되었으며, 총 3차례의 전문가 타당화를 통한 내적 타당성 검증, 5주 간의 현장 적용을 통한 외적 타당성 검증을 실시하였다. 내적 타당화 결과, 타당성, 설명력, 유용성, 보편성, 이해도 측면에서 모두 높은 평정 결과를 확인할 수 있었으며, CVI와 IRA가 모두 1.00점으로 교수전략이 타당함을 확인하였다. 외적 타당화 결과, 본 교수전략을 적용한 수업에 대한 학습자들의 높은 만족도(M=4.44)가 나타났으며, 특히 ‘쓰기 중’ 단계의 교수전략에 대해 학습자들이 높게 동의함을 확인하였다. 내적 및 외적 타당화 결과를 바탕으로 최종적으로 8개의 교수전략과 27개의 하위 상세지침을 개발하였다.

Abstract

In English education, writing is an essential learning area for fostering communication skills, but the importance of writing education is overlooked. As a cause, it is pointed out that it is difficult for instructors to provide individual feedback on all learners’ writing processes and results in a timely, due to time limitations. Automated Writing Evaluation(AWE) has the potential to solve these educational problems, in that it can provide learners with personalized feedback and scoring. However, since AWE has limitations such as technical errors and insufficient feedback, research on instructional design research is needed to effectively utilize AWE. Therefore, this study aims to develop teaching strategies for the effective use of AWE in the actual English writing education field and verify their validity, by using model research(Type 2) of design and development research. As a result, eight initial teaching strategies and 23 sub-detailed guidelines were developed. As a result of internal validation through three times of expert validation, high evaluation results are confirmed in terms of validity, explanation, usefulness, and understanding, and both CVI and IRA were 1.00 point, confirming that the teaching strategies are valid. As a result of external validation through field application, learners’ high satisfaction with the class applying these teaching strategies was found(M=4.44), and in particular, learners agreed highly with the teaching strategy at the ‘during writing’ stage. Based on the results of internal and external validation, eight teaching strategies and 27 sub-detailed guidelines were finally developed.

참고문헌 (64)

  1. 권소라, "요약하기와 관점 바꾸어 글쓰기 활동이 고등학생의 영어 읽기와 쓰기 능력 및 학습 태도에 미치는 영향", 석사, 영어교육, pp.2007
  2. 김근재, "초등학교에서의 피지컬 컴퓨팅 도구를 활용한 메이커 교육 수업 모형 개발 연구", 교육공학연구, 35(3), pp.687~728 (2019), 한국교육공학회[DOI]
  3. 김병선, "비대면 온라인 교양 영어 수업에서 대학생들의 영화 활용 자기주도학습 경험에 관한 질적 연구", 영어교과교육, 20(1), pp.61~85 (2021), 한국영어교과교육학회[DOI]
  4. 김승주, "교실 단위 작문 평가에서 활용 가능한 작문 자동 채점 프로그램의 설계 방안에 대한 연구 - 인지공학적 설계 접근과 채점자의 인지 부하 요인을 고려하여 -", 청람어문교육, (83), pp.157~203 (2021), 청람어문교육학회[DOI]
  5. 김영자, "한국 대학생의 수준별 영어쓰기 전략 연구", 영어영문학, 17(1), pp.69~98 (2012), 미래영어영문학회[DOI]
  6. 김혜경, "AI 기반 영작문 학습도구에 대한 대학생 학습자 인식: Google Translate, Naver Papago, 그리고 Grammarly를 중심으로", 현대영어교육, 22(4), pp.90~100 (2021), 현대영어교육학회[DOI]
  7. 나일주, "웹기반 가상교육 프로그램 설계를 위한 활동모형 개발", 교육공학연구, 17(2), pp.27~52 (2001)
  8. 민주영, "한국 대학생의 영작문 피드백 활동에 관한 인식: 자기검토 및 동료 피드백과 컴퓨터 피드백", 영어학, 20, pp.335~362 (2020), 한국영어학회[DOI]
  9. 신영헌, "대학생의 영어 글쓰기 능력 향상을 위한 교양영어수업 연구", 교양교육연구, 12(4), pp.37~65 (2018), 한국교양교육학회
  10. 신종호, "대학 수업에서의 AI 기반 적응형 학습 시스템 활용에 관한 탐색적 연구", 교육정보미디어연구, 27(4), pp.1545~1570 (2021), 한국교육정보미디어학회[DOI]
  11. 심보경, "대학생 글쓰기·말하기 능력의 상관성", 언어학 연구, (31), pp.115~133 (2014), 한국중원언어학회[DOI]
  12. 유인근, "초등 국어과 글쓰기 교육을 위한 AI 문장 생성 웹 서비스 개발", 교과교육학연구, 27(2), pp.210~221 (2023), 교과교육연구소[DOI]
  13. 이경건, "인공지능 기반 자동평가의 현재와 미래: 서술형 문항에 관한 문헌 고찰과 그 너머", 교육공학연구, 36(2), pp.353~382 (2020), 한국교육공학회[DOI]
  14. 임철일, "교수설계 이론과 모형" (2012), 교육과학사
  15. 임철일, "인공지능과 교사 그리고 수업 설계", pp.49~76 (2022), 교육과학사
  16. 임희주, "영어쓰기에서 AWE 프로그램 활용에 대한 대학생의 인식 및 태도 연구", 한국콘텐츠학회 논문지, 20(5), pp.37~45 (2020), 한국콘텐츠학회[DOI]
  17. 장성민, "챗GPT가 바꾸어 놓은 작문교육의 미래 - 인공지능 시대, 작문교육의 대응을 중심으로 -", 작문연구, (56), pp.7~34 (2023), 한국작문학회[DOI]
  18. 주미란, "영어 자동쓰기평가(AWE) 사용만족도가 자기효능감을 매개로 학업성취감에 미치는 영향: PLS-SEM 모델 분석", 디지털융복합연구, 19(9), pp.1~8 (2021), 한국디지털정책학회[DOI]
  19. 진송화, "예체능계열 학습자들의 영어글쓰기와 피드백에 대한 인식", 언어학, 29(2), pp.115~141 (2021), 대한언어학회[DOI]
  20. 최서연, "인공지능 교육시스템 기반 초등학교 수학 수업 설계모형 개발", 석사, pp.2022
  21. 탁진영, "쓰기에 대한 의식도 및 쓰기 중심 교양영어 수업의 방법 · 만족도 조사: 영어 원어민 교수와 한국인 영어 비원어민 교수 수업을 중심으로", 영미어문학, (105), pp.323~349 (2012), 한국영미어문학회
  22. Abel, S., "Designing personalised, automated feedback to develop students research writing skills", Proceedings of the 35th International Conference of Innovation, Practice and Research in the use of Educational Technologies in Tertiary Education, pp.15~24 (2018)
  23. Ambarwati, E. K., "Indonesian University Students’ Appropriating Grammarly for Formative Feedback", ELT in Focus, 4(1), pp.1~11 (2021)
  24. Brown, H. D., "Teaching principles" (2015), Pearson Education
  25. Byrne, D, "Teaching Writing Skills" (1988), Longman
  26. Chen, C. F. E., "Beyond the design of automated writing evaluation-Pedagogical practices and perceived learning effectiveness in EFL writing classes", Language Learning & Technology, 12(2), pp.94~112 (2008)
  27. Curran, M. J., "Faculty Perceptions of Project Essay Grade(Peg)Software", Issues in Information Systems, 15(1), pp.71~80 (2014)
  28. Dou, W. N, "Study on Learning Strategies of College English Writing Based on Online Automatic Evaluation System", Proceedings of the 2021 9th International Conference on Information and Education Technology, pp.52~56 (2021)
  29. Fahmi, M. A., "EFL students’ perception on the use of Grammarly and teacher feedback", Journal of English Educators Society, 6(1), pp.18~25 (2021)
  30. Fajriati, R. D., "Grammarly and Web-based Language Learning(WBLL)in Teaching Basic Grammar", The Journal of Educational Development, 9(1), pp.13~20 (2021)
  31. Feng, H. H, "Designing, implementing, and evaluating an automated writing evaluation tool for improving EFL graduate students’ abstract writing- A case in Taiwan", doctor, pp.2015
  32. Ghufron, M. A., "The role of Grammarly in assessing English as a Foreign Language(EFL)writing", Lingua Cultura, 12(4), pp.395~403 (2018)
  33. Godwin-Jones, R., "Partnering with AI: Intelligent writing assistance and instructed language learning", Lang. Learn. Technol, 26, pp.5~24 (2022)
  34. Artificial intelligence in education, "Holmes, W.", Center for Curriculum Redesign, ~ (2019)
  35. Hussein, M. A., "Automated language essay scoring systems: A literature review", PeerJ Comput Sci, 5, pp.e208~ (2019)[DOI]
  36. Jingxin, G., "Tapping the Potential of Pigai Automated Writing Evaluation (AWE)Program to Give Feedback on EFL Writing", Universal Journal of Educational Research, 8(12B), pp.8334~8343 (2020)
  37. Khoshnevisan, B., "The affordances and constraints of automatic writing evaluation(AWE)tools-A case for Grammarly", ARTESOL EFL Journal, 2(2), pp.12~25 (2019)
  38. Klebanov, B. B., "Automated Evaluation of Writing–50 Years and Counting", Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp.7796~7810 (2020)
  39. Knight, S., "AcaWriter : A learning analytics tool for formative feedback on academic writing", Journal of Writing Research, 12(1), pp.141~186 (2020)
  40. Koltovskaia, S., "Student engagement with automated written corrective feedback(AWCF)provided by Grammarly : A multiple case study", Assessing Writing, 44(2020), pp.1~12 (2020)
  41. Li, J., "Rethinking the role of automated writing evaluation(AWE)feedback in ESL writing instruction", Journal of Second Language Writing, 27, pp.1~18 (2015)
  42. Li, Z., "Teachers in automated writing evaluation(AWE)system-supported ESL writing classes-Perception, implementation, and influence", System, 99, pp.102505~ (2021)
  43. Link, S., "Towards Better ESL Practices for Implementing Automated Writing Evaluation", CALICO Journal, 31(3), pp.323~344 (2014)
  44. Link, S., "Impact of automated writing evaluation on teacher feedback, student revision, and writing improvement", Computer Assisted Language Learning, 35(4), pp.605~634 (2022)
  45. Liu, S., "Investigating the Application of Automated Writing Evaluation to Chinese Undergraduate English Majors: A Case Study of “WriteToLearn”", Calico Journal, 33(1), pp.71~91 (2016)
  46. Macnaught, L., "Designing student participation in synchronous writing instruction", International Journal of TESOL Studies, 2(2), pp.89~111 (2020)
  47. Mohsen, M. A., "The Effectivness of using a Hybrid Mode of Automated Writing Evaluation System on EFL Students’ Writing", Teaching English with Technology, 19(1), pp.118~131 (2019)
  48. Palermo, C., "Implementing automated writing evaluation in different instructional contexts : A mixed-methods study", Journal of Writing Research, 12(1), pp.63~108 (2020)
  49. Paré, A, "The Routledge Doctoral Student’s Companion", pp.125~133 (2010), Routledge
  50. Parra G, L., "Automated Writing Evaluation Tools in the Improvement of the Writing Skill", International Journal of Instruction, 12(2), pp.209~226 (2019)
  51. Qu, W, "Research on the application of automatic scoring system in college English writing", Proceedings of the 2016 International Conference on Economics, Social Science, Arts, Education and Management Engineering, pp.694~698 (2016)
  52. Richey, R. C., "Design and development research: Methods, strategies, and issues" (2014), Routledge
  53. Shidiq, M., "The use of artificial intelligence-based chat-gpt and its challenges for the world of education;from the viewpoint of the development of creative writing skills", Proceedings of International Conference on Education, Society and Humanity, pp.353~357 (2023)
  54. Smith, L. J., "Grading Written Projects: What Approaches Do Students Find Most Helpful?", Journal of Education for Business, 83(6), pp.325~330 (2010)
  55. Stevenson, M., "A Critical Interpretative Synthesis : The Integration of Automated Writing Evaluation into Classroom Writing Instruction", Computers and Composition, 42, pp.1~16 (2016)
  56. Tang, J., "Automated writing evaluation in an EFL setting-Lessons from China", JALT CALL Journal, 13(2), pp.117~146 (2017)
  57. Thi, N. K., "How teacher and Grammarly feedback complement one another in Myanmar EFL students’ writing", The Asia-Pacific Education Researcher, 31(6), pp.767~779 (2022)
  58. Waer, H., "The effect of integrating automated writing evaluation on EFL writing apprehension and grammatical knowledge", Innovation in Language Learning and Teaching, 17(1), pp.47~71 (2021)
  59. Warschauer, M., "Automated writing assessment in the classroom", Pedagogies : An International Journal, 3(1), pp.22~36 (2008)
  60. Wilson, J., "Automated Writing Evaluation and Feedback : Multiple Metrics of Efficacy", Journal of Educational Computing Research, 58(1), pp.87~125 (2019)
  61. Woodworth, J., "Perspectives on using automated writing evaluation systems to provide written corrective feedback in the ESL classroom", TESL Canada journal, 37(2), pp.234~247 (2020)
  62. Yao, Y., "Perceptions of the inclusion of Automatic Writing Evaluation in peer assessment on EFL writers’ language mindsets and motivation: A short-term longitudinal study", Assessing Writing, 50, pp.100568~ (2021)
  63. Yulianti, E., "Utilizing Grammarly in Teaching Writing Recount Text Through Genre Based Approach", International Journal of Science, Technology and Society, 6(1), pp.1~5 (2018)
  64. Zhang, S., "Review of automated writing evaluation systems", Journal of China Computer-Assisted Language Learning, 1(1), pp.170~176 (2021)

관련 논문AI추천

인공지능․디지털 도구를 활용한 중등 영어 글쓰기 교육에서 교수자-학습자-인공지능 협업 수업 설계 전략 개발박성경, 엄태연, 임철일, 홍수민한국교육정보미디어학회 · 교육정보미디어연구2025 · 제31권 제3호영어작문의 과정적 글쓰기에서 자동작문평가(Automated Essay Scoring)의 효과최재호한국교육정보미디어학회 · 교육정보미디어연구2011 · 제17권 제2호Exploring the Influence of Automated Writing Evaluation on Teacher Feedback and Student Writing PerformanceHee-Kyung Lee, Pyung-hwa Jung아시아테플 · Journal of Asia TEFL2024 · 제21권 제3호생성형 AI 기반 한국어 글쓰기 피드백의 질 평가 도구 개발 및 타당화 연구최숙기청람어문교육학회 · 청람어문교육2025 · 제103호대학 글쓰기 수업에서 학생 인식 기반 AI 피드백의 효용성 연구정유남한국교양교육학회 · 교양교육연구2024 · 제18권 제5호교양 글쓰기 교육 강화를 위한 자동평가 적용 사례 : K 대학 사례를 중심으로고경민, 신동광, 이용상, 이효신교육연구소 · 교육문화연구2025 · 제31권 제4호

이 간행물의 다른 논문 (7건)

국내 예비교사 대상 TPACK 향상 교육 프로그램의 효과에 관한 메타분석정슬기, 진서연, 박인우pp. 311-333실시간 온라인 학습에서 비디오 조절의 원인 탐색조영환, 신부경, 문서연, 윤여름pp. 335-363APEC 국제교육협력사업을 위한 교육정책가의 교육정보화 역량모델 개발 연구윤헌철, 이은배, 이지연pp. 365-394예비 중등교원의 인공지능 역량 향상을 위한 교육과정 체계 개발 방향 탐색송길태, 박성경, 한형종, 정예일, 임철일, 채지윤, 이은서, 이진연pp. 425-454메타버스 활용 수업을 위한 메타버스 플랫폼 사용성 평가 요소 도출박현경, 신현덕, 장명희, 장선영, 김상희, 노광현, 위의전pp. 455-483
원문 보기