본문 바로가기
KERD
논문KCI 등재

챗GPT를 활용한 맞춤형 피드백 생성 및 효과 분석

Personalized Feedback with ChatGPT: A Study on its Generation and Effectiveness

한정윤|구예리|김수진
한국교육정보미디어학회 (Korea Association for Educational Information and Media)|2023.12|교육정보미디어연구 (Journal of Korean Association for Educational Information and Media)|제29권 제4호|pp. 1123-1151

0

조회

0

다운로드

12

인용

0

참고문헌

키워드

ChatGPT챗GPT생성형 AIGenerative AI맞춤형 교육맞춤형 피드백Personalized LearningAI 활용 교육AI in EducationPersonalized Feedback
주제분류교육학

초록

디지털 전환 시대의 교육 혁신을 위해 인공지능(AI) 기반 맞춤형 교육의 중요성이 강조되는 가운데, 본 연구에서는 맞춤형 피드백 생성을 위한 챗GPT의 활용 가능성을 탐색한다. 이에 본 연구는 챗GPT를 활용한 맞춤형 피드백의 생성 및 적용 방법론을 탐색하고, 이러한 피드백에 대한 사용자의 인식 및 태도와 교육적 효과를 조사하는 것을 목적으로 하였다. 이를 위해 먼저 순환적이고 반복적인 과정을 통해 맞춤형 피드백 생성을 위한 프롬프트(prompt)를 개발하고 교사의 검토를 거쳐 맞춤형 피드백을 학생에게 제공하는 방안을 제안한다. 이를 통해 제작된 두 종류의 맞춤형 피드백(서면 피드백, SMS 피드백)은 113명의 학생들에게 4주 동안 총 6회 제공되었다. 그 결과 챗GPT로 생성된 맞춤형 피드백에 대한 학생의 높은 사용성 평가 결과가 확인되었으며, LMS 데이터를 통해 파악한 학생들의 온라인 학습 참여도 또한 유의미한 수준으로 향상되었음을 파악할 수 있었다. 아울러 심층 집단 면담을 통해 맞춤형 피드백에 대한 학생과 교사의 인식 및 태도를 조사하였다. 그 결과 학생들은 맞춤형 피드백을 제공받고 학습이 긍정적으로 변화했다고 응답했으며, 피드백의 내용에 대한 높은 사회적 실재감과 함께 지속사용의도를 보였다. 아울러 교사들은 이러한 자동화된 피드백이 편리하고 업무 경감에 도움이 된다고 응답했으며, 피드백 제공 이후 학생들의 높아진 학습 참여도를 체감함과 동시에 이러한 피드백이 매개체가 되어 학생들과 새로운 라포가 형성되었다고 응답하였다. 한편 이들은 발전된 기술에 대한 놀라움과 함께 교사의 역할 변화에 대한 우려 섞인 기대를 나타냈다. 이러한 연구 결과를 바탕으로 챗GPT를 활용한 맞춤형 교육 실현에 있어서 본 연구의 의의와 시사점을 논의하였다.

Abstract

The purpose of this study is to examine the feasibility of generating personalized feedback with ChatGPT and to investigate user perceptions and the effectiveness of the feedback. To this end, this study suggests a cyclical and iterative process to optimize prompts for generating personalized feedback and also proposes including the teacher's confirmation before the provision of feedback. Two types of personalized feedback(handout and SMS) were provided to 113 students six times over four weeks. The results showed that students highly rated the usability of the personalized feedback generated by ChatGPT, with a significant increase in online learning participation. Additionally, in-depth group interviews were conducted to investigate the perceptions and attitudes of students and teachers toward the ChatGPT-generated feedback. The findings indicated that students experienced positive changes in their learning following the receipt of personalized feedback, and they reported a high level of social presence and intention to continue using the feedback. Teachers perceived that the automated feedback was convenient and helpful to ease their workload. They also recognized increased student engagement following the feedback, and enhanced rapport with students due to this mediated feedback. On the other hand, teachers showed both expectations and concerns about changing their roles. Based on these findings, we discussed the significance and implications of this study for personalized education using generative AI such as ChatGPT.

참고문헌 (54)

  1. 교육부, "초․중등학교 교육과정 총론(교육부 고시 제2022-33호)", ~ (2022)
  2. 2023년 교육부 업무 추진계획, "교육부", ~ (2023)
  3. 김미량, "교육용 웹 사이트 평가를 위한 준거의 개발 및 적용", 컴퓨터교육학회 논문지, 6(1), pp.41~54 (2003), 한국컴퓨터교육학회
  4. 김진솔, "대학 온라인 컴퓨터 실습수업을 위한 실재감 설계원리 개발연구", 학습자중심교과교육연구, 22(6), pp.417~435 (2022), 학습자중심교과교육학회[DOI]
  5. 민윤정, "학습용 챗봇의 이용에 대한 영향 요인 연구: 기술수형모형(TAM)을 중심으로", 석사, pp.2020
  6. 이빛나, "피드백 효과에 대한 메타분석: 피드백, 학습과제 및 학습자 특성에 따른 차이", 교육평가연구, 31(3), pp.501~529 (2018), 한국교육평가학회[DOI]
  7. 이은원, "웹 기반 교육용 소프트웨어의 사용성 평가기준 연구", 과학교육논총, 17, pp.61~170 (2004)
  8. 임규연, "자동화된 피드백에 대한 체계적 문헌 고찰: 2013-2022년 국내 연구를 중심으로", 교육정보미디어연구, 29(2), pp.511~540 (2023), 한국교육정보미디어학회
  9. 임동수, "관광산업의 모바일 챗봇 품질이 사회적실재감, 공급자신뢰, 지속적 사용의도에 미치는 영향 연구 : 개인혁신성과 의인화 조절변수 중심으로", 기업경영연구, 29(2), pp.207~235 (2022), 한국기업경영학회
  10. 임정훈, "스마트교육 콘텐츠 품질인증기준 개발 연구", 교육정보미디어연구, 20(3), pp.327~353 (2014), 한국교육정보미디어학회
  11. 이러닝 콘텐츠 품질인증 컨설팅 핸드북, "정보통신산업진흥원", ~ (2011)
  12. 조영환, "학습분석 기반 적응적 협력학습 지원에 대한 학습자의 인식", 교육정보미디어연구, 25(1), pp.25~57 (2019), 한국교육정보미디어학회[DOI]
  13. 조지영, "교수 실재감, 인지적 실재감, 사회적 실재감이 초등학교 영어학습자의 이러닝 영어 학습 프로그램 만족도와 영어 성취도에 미치는 영향", 석사, 영어교육학과, pp.2014
  14. 진굉위, "전자상거래 라이브채팅의 유형이 소비자가 지각하는 판매자에 대한 사회적 실재감과 신뢰에 미치는 영향", 지식경영연구, 22(1), pp.287~308 (2021), 한국지식경영학회[DOI]
  15. 진성희, "온라인 토론활동 참여정보에 대한 피드백 유형이 학습참여 및 학습성과에 미치는 영향", 교육공학연구, 36(3), pp.561~588 (2020), 한국교육공학회[DOI]
  16. 진성희, "온라인 그룹 토론활동에서 참여정보에 대한 자동화 피드백과 토론의견 평가에 대한 교수자 피드백의 교육적 효과 비교", 교육공학연구, 37(4), pp.861~888 (2021), 한국교육공학회[DOI]
  17. 최미애, "디지털교과서 지속 활용을 위한 영향요인 분석 : 연구학교 교사와 학생 인식 조사", 박사, 컴퓨터교육, pp.2011
  18. 2023학년도 방송통신고등학교 운영요람, "한국교육개발원", ~ (2023)
  19. 2023학년도 1학기 전국 방송통신고등학교 현황 자료집, "한국교육개발원", ~ (2023)
  20. 방송중․고 머신러닝 예측모델기반 맞춤형 피드백 제공 방안 연구, "한정윤", 한국교육개발원, ~ (2022)
  21. 함윤희, "자기주도학습 지원을 위한 디지털교과서 대시보드 프로토타입 개발 연구", 교육공학연구, 36(1), pp.1~31 (2020), 한국교육공학회[DOI]
  22. 허희진, "AI 기반 패션 챗봇 서비스에 대한 소비자 수용의도-챗봇의 준사회적 실재감 특성을 중심으로-", 한국의류학회지, 46(3), pp.464~480 (2022), 한국의류학회[DOI]
  23. Baidoo-Anu, D., "Education in the era of generative artificial intelligence (AI): Understanding the potential benefits of ChatGPT in promoting teaching and learning" (2023)
  24. Brinko, K. T., "The practice of giving feedback to improve teaching: What is effective?", The Journal of Higher Education, 64(5), pp.574~593 (1993)
  25. Charney, D., "Goal setting and procedure selection in acquiring computer skills : A comparison of tutorials, problem solving, and learner exploration", Cognition and instruction, 7(4), pp.323~342 (1990)
  26. Deeva, G., "A review of automated feedback systems for learners : Classification framework, challenges and opportunities", Computers & Education, 162, pp.104094~ (2021)
  27. Diziol, D., "E-collaborative knowledge construction: learning from computer-supported and virtual environments", pp.162~179 (2010), IGI Global
  28. Grassini, S., "Shaping the future of education : exploring the potential and consequences of AI and ChatGPT in educational settings", Education Sciences, 13(7), pp.692~ (2023)
  29. Grieve, R., "Student perceptions of marker personality and intelligence : The effect of emoticons in online assignment feedback", Learning and individual differences, 69, pp.232~238 (2019)
  30. Hakimi, L., "The ethics of using digital trace data in education : A thematic review of the research landscape", Review of Educational Research, 91(5), pp.671~717 (2021)
  31. Hattie, J., "The power of feedback", Review of educational research, 77(1), pp.81~112 (2007)
  32. Henderson, M., "Conditions that enable effective feedback", Higher Education Research & Development, 38(7), pp.1401~1416 (2019)
  33. Jebara, T, "Machine learning: discriminative and generative Vol. 755" (2012), Springer Science & Business Media
  34. Kasneci, E., "ChatGPT for good? On opportunities and challenges of large language models for education", Learning and Individual Differences, 103, pp.102274~ (2023)
  35. Lim, L. A., "Students’ sense-making of personalised feedback based on learning analytics", Australasian Journal of Educational Technology, 36(6), pp.15~33 (2020)
  36. Lim, L. A., "Students’ perceptions of, and emotional responses to, personalised learning analytics-based feedback : an exploratory study of four courses", Assessment & Evaluation in Higher Education, 46(3), pp.339~359 (2021)
  37. Lim, W. M., "Generative AI and the future of education : Ragnarök or reformation? A paradoxical perspective from management educators", The International Journal of Management Education, 21(2), pp.100790~ (2023)
  38. Mayer, R. E., "Using multimedia for e-learning", Journal of Computer Assisted Learning, 33(5), pp.403~423 (2017)
  39. McMillan, J. H, "Classroom assessment: Principles and practice for effective standards-based instruction" (2014), Pearson
  40. Miao, F., "AI and education: A guidance for policymakers" (2021), UNESCO Publishing
  41. Mory, E. H, "Handbook of research on educational communications and technology", pp.738~776 (2013), Routledge
  42. Pardo, A., "Using learning analytics to scale the provision of personalised feedback", British Journal of Educational Technology, 50(1), pp.128~138 (2019)
  43. Patel, A., "Creatively malicious prompt engineering" (2023), WithSecure Intelligence
  44. Peres, R., "On ChatGPT and beyond : How generative artificial intelligence may affect research, teaching, and practice", International Journal of Research in Marketing, 40(2), pp.269~275 (2023)
  45. Poulos, A., "Effectiveness of feedback : The students’ perspective", Assessment & Evaluation in Higher Education, 33(2), pp.143~154 (2008)
  46. Sadler, D. R., "Formative assessment and the design of instructional systems", Instructional science, 18(2), pp.119~144 (1989)
  47. Sætra, H. S., "Generative AI : Here to stay, but for good?", Technology in Society, 75, pp.102372~ (2023)
  48. SRI Education, "Using technology to personalize learning in K-12 Schools" (2018), Menlo Park
  49. Swan, K., "On the nature and development of social presence in online course discussions", Journal of Asynchronous learning networks, 9(3), pp.115~136 (2005)
  50. Thurlings, M., "Understanding feedback : A learning theory perspective", Educational Research Review, 9, pp.1~15 (2013)
  51. To, J., "Using learner-centred feedback design to promote students’ engagement with feedback", Higher Education Research & Development, 41(4), pp.1309~1324 (2022)
  52. Wang, H., "Improving the Usability and Effectiveness of Online Learning: How Can Avatars help?", Proceedings of the Human Factors and Ergonomics Society Annual Meeting, 49(7), pp.769~773 (2005)
  53. White, J., "A prompt pattern catalog to enhance prompt engineering with chatgpt", ~ (2023)
  54. "OpenAI Chat completion API 활용 가이드"[URL]

관련 논문AI추천

예비교사의 수업설계 역량 증진을 위한 생성형 AI기반 맞춤형 피드백의 효과 탐색이가영, 허선영한국열린교육학회 · 열린교육연구2024 · 제32권 제2호AI 피드백 기능을 활용한 AI 코스웨어 기반 맞춤형 평가전략 탐색홍광표교육발전연구소 · 교육혁신연구2025 · 제35권 제2호생성형 AI(Generative AI) 피드백 활용 학습 효과에 대한 메타분석박인우, 심희수한국교육정보미디어학회 · 교육정보미디어연구2025 · 제31권 제2호대학 수업에서의 ChatGPT 활용: 국내 연구에 대한 체계적 문헌고찰김준원, 박하영, 정다현, 정수정, 정효경교육발전연구소 · 교육혁신연구2025 · 제35권 제3호예비교사의 수업설계 역량 제고를 위한 수업 지도안 개선 GPTs 개발김현준, 김현지한국교육공학회 · 교육공학연구2025 · 제41권 제3호챗GPT 피드백이 대학생들 영작문 과제 수행과 학습자 인식에 미치는 영향유경아주시경교양교육연구소 · 대학교양교육연구2024 · 제9권 제3호

이 간행물의 다른 논문 (17건)

디지털 기술을 활용한 교사의 교육활동지원에 대한 요구분석진성희, 임동관, 유미나, 김성욱pp. 761-789수학, 과학 교육용 저작 도구에 대한 교사들의 사용성 평가 연구: STEAMuP의 사례를 중심으로이송희, 김영인, 박찬희, 이경화pp. 791-819대학교육에서 하이브리드 학습 운영을 위한 개념 모형 및 교수설계전략 개발 연구홍수민, 박성경, 한형종, 임은선, 김한휘, 임철일pp. 821-850잠재집단분석을 활용한 대학생의 디지털 리터러시 유형 분류 및 특성 분석강은하pp. 851-871대학생의 아바타 기반 실시간 온라인 토론 경험에 대한 미디어 생태학적 고찰최진, 임지은pp. 873-901
원문 보기