본문 바로가기
KERD
논문KCI 등재

ChatGPT 피드백과 동료 피드백이 중학생 글쓰기 능력에 미치는 영향

Effects of ChatGPT feedback and peer feedback on middle school students' writing skills

이상수|손은지|이유나
한국교육방법학회 (The Korean Journal Of Educational Methodology Studies)|2024.05|교육방법연구 (The Korean Journal of Educational Methodology Studies)|제36권 제2호|pp. 111-137|DOI 10.17927/tkjems.2024.36.2.111

1

조회

0

다운로드

4

인용

0

참고문헌

키워드

피드백feedbackChatGPT동료 피드백글쓰기 능력Peer feedbackwriting skills
주제분류교육학

초록

학생의 글쓰기 능력을 증진하기 위해서는 학생 자신의 글에 대한 즉각적이면서 의미 있는 맞춤형 피드백을 받아야 한다. 하지만 학교 현장에서 한 명의 교사가 여러 학생의 글에 대해 읽고 맞춤형 피드백을 제공하기 위해서는 많은 시간적 제약이 있다. 이를 극복하기 위해 활용된 동료 피드백의 경우는 전문성의 부족으로 피드백의 정확성과 피드백의 목적이 갖는 의미 있는 맞춤형 피드백을 제공하지 못하는 점 등의 문제점을 가지고 있다. 이런 관점에서 이 연구는 ChatGPT를 이용하여 동료 피드백을 대안으로 활용하되 교사만큼 전문적이면서 맞춤형 피드백을 제공할 수 있는지를 검증하는 데 목적이 있다. 부산에 소재한 D중학교 1학년 116명을 대상으로 글쓰기 능력에 ChatGPT 피드백과 동료 피드백 간의 효과 차이를 검증한 결과, ChatGPT 피드백이 동료 피드백의 대안 전략으로 활용할 수 있음을 확인할 수 있었다. 학생들의 심층 면담 자료와 소감일지를 분석한 결과 첫째 피드백의 전문성과 구체성 측면에서는 ChatGPT 피드백이 동료 피드백보다 글쓰기 능력 향상에 도움이 되는 도구로 활용할 수 있다는 점, 둘째 공감 등의 관계성 측면에서 ChatGPT 피드백보다 동료 피드백을 선호하였고 셋째, 재미와 즐거움 등의 참여 동기 측면에서는 동료 피드백과 ChatGPT 피드백에 대해서 상반되는 반응을 보였으며 넷째, 피드백의 길이와 복잡성 측면에서는 동료 피드백을 선호하는 것으로 나타났다. 결론적으로 이 연구를 통해 글쓰기 교육에서 피드백 전략으로서 ChatGPT 피드백과 동료 피드백의 활용 여부는 학습자의 특성이나 수업의 목적에 따라 두 가지 전략을 선택적으로 활용하거나 동시에 사용하는 것이 효과적일 수 있음을 보여주었고 ChatGPT 피드백과 동료 피드백은 서로 보완적인 역할을 할 수 있으며, 이를 통해 보다 효과적인 학습 환경을 조성할 수 있다는 점을 시사한다.

Abstract

To improve students’ writing skills, students need to receive immediate, meaningful, and personalized feedback on their writing. However, there are many time constraints for a single teacher to read and provide personalized feedback on multiple students' writing in a school setting. Peer feedback, which has been used to overcome this problem, suffers from a lack of expertise, which limits the accuracy of the feedback and the ability to provide meaningful and personalized feedback. Therefore, this study aims to verify whether ChatGPT can be used as an alternative to peer feedback and provide customized feedback as professional as a teacher. We tested the difference in effectiveness between ChatGPT feedback and peer feedback on writing skills of 116 first graders at D Middle School in Busan, Korea, and found that ChatGPT feedback can be utilized as an alternative strategy to peer feedback. The analysis of students' in-depth interviews and reflective journals showed that, first, ChatGPT feedback can be used as a tool to help students improve their writing skills more than peer feedback in terms of expertise and specificity of feedback; second, students preferred peer feedback to ChatGPT feedback in terms of relationality such as empathy; third, students had conflicting responses to peer feedback and ChatGPT feedback in terms of motivation to participate such as fun and enjoyment; and fourth, students preferred peer feedback in terms of length and complexity of feedback. In conclusion, this study shows that the use of ChatGPT feedback and peer feedback as feedback strategies in writing education can be effective depending on the characteristics of the learners and the purpose of the lesson, and that both strategies can be used selectively or simultaneously, suggesting that ChatGPT feedback and peer feedback can play complementary roles and create a more effective learning environment.

참고문헌 (78)

  1. 강동훈, "챗지피티(ChatGPT)의 등장과 국어교육의 대응", 국어문학, 82, pp.469~496 (2023)
  2. 권태현, "인공지능 시대의 글쓰기와 작문 교육의 방향 탐색-생성형 인공지능의 교육적 활용을 중심으로", 한민족문화연구, 83, pp.137~174 (2023)
  3. 기혜선, "대학생의 챗 GPT 활용 글쓰기 경험 탐색", 문화와융합, 45(9), pp.853~868 (2023)
  4. 김낙현, "대학 글쓰기 교육의 효과적인 첨삭지도 방법에 대한 고찰", 교양교육연구, 6(2), pp.323~348 (2012)
  5. 김남복, "고등학생의 설득적 글쓰기에 대한 교사 피드백 양상 분석", 학습자중심교과교육연구, 22(20), pp.1049~1076 (2022)
  6. 김태호, "국어교육에서 AI 의 수용 방향", 청람어문교육, 93, pp.7~27 (2023)
  7. 박영목, "중등학교 글쓰기 교육의 새로운 방향", 작문연구, 5, pp.267~287 (2007)
  8. 배혜진, "글쓰기 효능감 향상을 위한 교과 운영 및 피드백 방안", 교양교육연구, 16(5), pp.101~112 (2022)
  9. 서영진, "작문 활동에서 동료 피드백 의견의 유형별 타당도 연구", 국어교육학연구, 44, pp.369~395 (2012)
  10. 손달임, "교양 글쓰기 수업에서 ChatGPT 의 활용 가능성과 한계", 사고와표현, 16(2), pp.33~65 (2023)
  11. 신선경, "지식 융합 시대의 대학 글쓰기 교육의 방향", 사고와표현, 5(2), pp.41~66 (2012)
  12. 오선경, "대학 교양 글쓰기에서의 챗 GPT 활용 사례와 학습자 인식 연구", 교양교육연구, 17(3), pp.11~23 (2023)
  13. 이상수, "대화 분석을 통한 사회정서역량 측정 애플리케이션 개발-ChatGPT API 를 이용하여", 교육혁신연구, 33(3), pp.55~78 (2023)
  14. 이은자, "논술 첨삭 피드백의 문제점", 새국어교육, 80, pp.361~382 (2008)
  15. 이지용, "대학 교양 글쓰기 수업 방안 연구-동료 피드백을 중심으로", 어문론집, 80, pp.485~504 (2019)
  16. "피드백에 대한 모든 것(2)–효과적인 피드백의 20가지 특징. 교육을 바꾸는 사람들" (2020), 이찬승[URL]
  17. 장성민, "챗 GPT 가 바꾸어 놓은 작문교육의 미래-인공지능 시대, 작문교육의 대응을 중심으로", 작문연구, 56, pp.7~34 (2023)
  18. 정제영, "챗GPT 교육혁명" (2020), 포르체
  19. 최윤희, "동료 및 자기 평가 피드백을 통한 대학생 말하기 교육 방안", 한국콘텐츠학회논문지, 20(1), pp.573~580 (2020)
  20. 홍래성, "인공지능 시대의 리터러시에 관한 시론적 탐색―ChatGPT, 글쓰기 능력, 대학 글쓰기 교육 등에 초점을 맞추어", 비평문학, 89, pp.53~85 (2023)
  21. Allee-Herndon, K. A., "Let’s talk play! Exploring the possible benefits of play-based pedagogy on language and literacy learning in two title I kindergarten classrooms", Early Childhood Education Journal, 50(1), pp.119~132 (2021)
  22. "ChatGPT and AI presentation and Q&A" (2023)[URL]
  23. Arora, A., "Enhancing Writing Skills through Chatgpt: an Experimental Study in the Context of Ergonomics", Limbaj şi context. Revista internaţională de lingvistică, semiotică şi ştiinţă literară, 16(1), pp.93~104 (2024)
  24. Ayers, J. W., "Comparing physician and artificial intelligence chatbot responses to patient questions posted to a public social media forum", JAMA Internal Medicine, 183(6), pp.589~596 (2023)
  25. Baidoo-Anu, D., "Education in the era of generative artificial intelligence(AI) : Understanding the potential benefits of ChatGPT in promoting teaching and learning", Journal of AI, 7(1), pp.52~62 (2023)
  26. Belkhir, A., "Beyond information: Is chatgpt empathetic enough?", Proceedings of the 14th International Conference on Recent Advances in Natural Language Processing, pp.159~169 (2023)
  27. "The AI Revolution in Education: Will AI Replace or Assist Teachers in Higher Education?" (2023)[URL]
  29. Cho, K., "Student revision with peer and expert reviewing", Learning and Instruction, 20(4), pp.328~338 (2010)
  30. Connell, J. P., "Competence, autonomy, and relatedness: A motivational analysis of self-system processes", Self processes in development: Minnesota Symposium on Child Psychology, 23, pp.43~77 (1991), University of Chicago Press
  31. Creswell, J. W., "Designing and Conducting Mixed Methods Research" (2011), Sage Publications
  32. Deng, J., "The benefits and challenges of ChatGPT : An overview", Frontiers in Computing and Intelligent Systems, 2(2), pp.81~83 (2022)
  33. Dwivedi, Y. K., ""So what if ChatGPT wrote it?"Multidisciplinary perspectives on opportunities, challenges and implications of generative conversational AI for research, practice and policy", International Journal of Information Management, 71, pp.102642~ (2023)[DOI]
  34. Elo, S., "The qualitative content analysis process", Journal of Advanced Nursing, 62(1), pp.107~115 (2008)
  35. Elyoseph, Z., "ChatGPT outperforms humans in emotional awareness evaluations", Frontiers in Psychology, 14, pp.1199058~ (2023)[DOI]
  36. Farr, R., "Portfolio and Performance Assessment: Helping Students Evaluate Their Progress as Readers and Writers" (1994), Harcourt Brace and Company
  37. Farrokhnia, M., "A SWOT analysis of ChatGPT: Implications for educational practice and research", Innovations in Education and Teaching International, pp.1~15 (2023)
  38. Feng, Y., "Investigating Code Generation Performance of Chat-GPT with Crowdsourcing Social Data", Proceedings of the 47th IEEE Computer Software and Applications Conference, pp.1~10 (2023)
  39. Gallagher, K., "180 days: Two teachers and the quest to engage and empower adolescents" (2018), Heinemann
  40. Graneheim U.H., "Qualitative content analysis in nursing research: concepts, procedures and measures to achieve trustworthiness", Nurse Education Today, 24, pp.105~112 (2004)
  41. ""I think this is the most disruptive technology" : Exploring sentiments of ChatGPT early adopters using Twitter data" (2022)[URL]
  42. Hawanti, S., "AI chatbot-based learning : alleviating students’ anxiety in english writing classroom", Bulletin of Social Informatics Theory and Application, 7(2), pp.182~192 (2023)[DOI]
  43. Hattie, J., "The power of feedback", Review of educational research, 77(1), pp.81~112 (2007)
  44. "A Teacher's Prompt Guide to ChatGPT aligned with 'What Works Best' Guide" (2023)[URL]
  45. Jansen, B. J., "Employing large language models in survey research", Natural Language Processing Journal, 4, pp.100020~ (2023)
  46. Kasneci, E., "ChatGPT for good? on opportunities and challenges of large language models for education", Learning and Individual Differences, 103, pp.102274~ (2023)[DOI]
  47. Kocoń, J., "ChatGPT : Jack of all trades, master of none", Information Fusion, 99, pp.1~37 (2023)
  48. Klemens, M., M., "The effect of using a chatbot for enhancing writing skills for language learning in a classroom", Proceedings of INTCESS 2024- 11th International Conference on Education & Social Sciences, pp.38~44 (2024)
  49. Kumar, A. H., "Analysis of ChatGPT tool to assess the potential of its utility for academic writing in biomedical domain", Biology, Engineering, Medicine and Science Reports, 9(1), pp.24~30 (2023)
  50. Lamott, A., "Bird by bird: Some instructions on writing and life" (1994), Anchor Books
  51. "Leveraging Large Language Models for Generating Responses to Patient Messages" (2023)[URL]
  52. Mandouit, L., "Investigating how students receive, interpret, and respond to teacher feedback", doctor, pp.2020
  53. McGee, P, "Feedback that moves writers forward: How to escape correcting mode to transform student writing" (2017), Corwin Press
  54. Mhlanga, D, "FinTech and Artificial Intelligence for Sustainable Development: The Role of Smart Technologies in Achieving Development Goals", pp.387~409 (2023), Springer Nature Switzerland
  55. Narciss, S., "How to design informative tutoring feedback for multimedia learning", Instructional design for multimedia learning, 181195~ (2004)
  56. "Learning gain differences between ChatGPT and human tutor generated algebra hints" (2023)[URL]
  57. Pickell, T. R., "Five Ideas for How Professors Can Deal with GPT-3... For Now", Faculty Publications -George Fox School of Technology, 432~ (2023)
  58. "Engineering education in the era of ChatGPT: Promise and pitfalls of generative AI for education" (2022)[URL]
  60. Rahman, M. M., "ChatGPT for education and research : Opportunities, threats, and strategies", Applied Sciences, 13(9), pp.5783~ (2023)
  61. Rollinson, P., "Using peer feedback in the ESL writing class", ELT Journal, 59(1), pp.23~30 (2005)[DOI]
  62. Rudolph, J., "ChatGPT: Bullshit spewer or the end of traditional assessments in higher education?", Journal of Applied Learning and Teaching, 6(1), pp.342~363 (2023)
  63. Shute, V. J., "Focus on formative feedback", Review of educational research, 78(1), pp.153~189 (2008)
  64. Sim, J., "The kappa statistic in reliability studies : use, interpretation, and sample size requirements", Physical therapy, 85(3), pp.257~268 (2005)
  65. Slavin, R. E, "Cooperative learning : theory, research, and practice" (2000), Allyn And Bacon
  66. "An analysis of the automatic bug fixing performance of ChatGPT" (2023)[URL]
  67. Su, J., "Unlocking the Power of ChatGPT : A Framework for Applying Generative AI in Education", ECNU Review of Education, 6(3) (2023)[DOI]
  68. Sucipto, S., "The Power of Feedback to Enhance Writing Skill", Proceedings of ISELT FBS Universitas Negeri Padang, 2, pp.423~429 (2014)
  70. "Educational research and AI-generated writing:Confronting the coming tsunami" (2023)[URL]
  71. Topping, K. J., "Trends in Peer Learning", Educational Psychology, 25(6), pp.631~645 (2007)
  72. Tsai, K. C., "Play, Imagination, and Creativity: A Brief Literature Review", Journal of Education and Learning, 1(2), pp.15~20 (2012)
  73. "Improving students’ writing through feedback" (2020)[URL]
  74. Whalen, J., "ChatGPT : Challenges, opportunities, and implications for teacher education", Contemporary Issues in Technology and Teacher Education, 23(1), pp.1~23 (2023)
  75. Yang, J., "Harnessing the power of llms in practice : A survey on chatgpt and beyond", ACM Transactions on Knowledge Discovery from Data, 18(6), pp.1~32 (2024)
  76. Zhai, X., "ChatGPT for Next Generation Science Learning", SSRN Electronic Journal (2023)[DOI]
  77. Zhang, S., "Reexamining the affective advantage of peer feedback in the ESL writing class", Journal of Second Language Writing, 4(3), pp.209~222 (1995)
  78. "Is ChatGPT Equipped with Emotional Dialogue Capabilities?" (2023)[URL]

관련 논문AI추천

과정 중심 영어 글쓰기 수업에서 피드백 유형에 대한 학습자 인식 비교 연구 －동료, 교수자, ChatGPT 피드백을 중심으로이수림한국교양교육학회 · 교양교육연구2025 · 제19권 제6호고등학생 영어 쓰기 피드백 도구로서 ChatGPT의 활용 효과김해동, 심다래한국멀티미디어언어교육학회 · 멀티미디어 언어교육2024 · 제27권 제1호ChatGPT의 피드백을 통한 한국어 작문 교육－교사 피드백 비교를 통하여－손녕요, 신중진동아시아문화연구소 · 동아시아문화연구2025 · 제101호챗GPT 피드백이 대학생들 영작문 과제 수행과 학습자 인식에 미치는 영향유경아주시경교양교육연구소 · 대학교양교육연구2024 · 제9권 제3호A Comparative study of ChatGPT feedback and teacher feedback in middle school English writing classes김정희, 오미숙, 이유화팬코리아영어교육학회 · 영어교육연구2025 · 제37권 제1호중학생의 쓰기에 제시된 동료 피드백의 유형과 수용 양상 연구 - 중학교 2학년 학생을 대상으로한경숙한국작문학회 · 작문연구2014 · 제23호

이 간행물의 다른 논문 (2건)

신규교사의 직무수행준비도에 따른 교사효능감과 직무만족도의 차이 검증윤가영, 장재홍, 신주랑pp. 89-110초･중등학교 학생의 가치와 학업 변인 간 관계 탐색박용한, 오문정, 고한나pp. 139-170
원문 보기