ChatGPT vs Gemini : 생성형AI를 활용한 자동 채점 및 피드백의 가능성과 한계
ChatGPT vs. Gemini: The Potential and Limitations of Generative AI in Automated Scoring and Feedback
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구는 생성형 AI를 활용한 자동 채점 및 피드백 생성의 신뢰도와 타당성을 분석하고, 이를 국어교육 분야에서 활용할 가능성과 한계를 탐구하였다. 이를 위해 GPT-4o, GPT-o1, Gemini 1.5, Gemini 1.5 Pro 네 가지 생성형 AI 모델과 인간 채점자를 대상으로 논술글에 대해 반복 채점과 피드백 생성을 수행하였으며, 점수와 피드백의 신뢰도를 정량적으로 평가하였다. 연구 결과, 생성형 AI는 일정 수준의 점수 일관성과 의미적 피드백 일관성을 보여주며 국어교육에서 자동 채점 및 피드백 생성 도구로 활용될 가능성을 시사하였다. 그러나 일부 모델에서는 점수 편향과 피드백 일관성 부족이 나타나, 생성형 AI의 활용을 위해서는 이러한 한계를 보완할 필요가 있다. 또한, 인간 채점과 점수 분포의 차이가 존재하여, 생성형 AI를 단독으로 활용하기보다는 교사의 보조 도구로 활용하는 것이 적절하다는 결론을 도출하였다. 본 연구는 생성형 AI를 국어교육에 도입하기 위해 필요한 기초 자료를 제공하였다. 향후 연구에서는 다양한 글과 프롬프트, 파라미터 수정에 따른 채점 결과와 피드백의 교육적 효과성을 평가하여, 실제 교육 현장에서의 활용 가능성을 높이기 위한 방안을 모색할 필요가 있다.
Abstract
This study analyzed the reliability and validity of automated scoring and feedback generation using generative artificial intelligence (AI) and explored its potential and limitations in the field of Korean language education. For this purpose, four generative AI models—GPT-4o, GPT-o1, Gemini 1.5, and Gemini 1.5 Pro—along with human raters, were employed to repeatedly score and generate feedback on identical texts. The reliability of the scores and feedback was quantitatively assessed. The findings indicate that generative AI demonstrates a certain level of scoring consistency and semantic feedback coherence, suggesting its potential as a tool for automated scoring and feedback generation in Korean language education. However, some models showed issues such as scoring bias and inconsistencies in feedback generation, highlighting the need to address these limitations for effective application. Additionally, differences in score distributions between AI models and human raters suggest that generative AI should be utilized as a supplementary tool for educators rather than a stand-alone solution. This study provides foundational insights into the potential and limitations of generative AI in education, specifically in the context of Korean language learning. Future research should conduct additional analyses using diverse texts and prompts while evaluating the educational effectiveness of AI-generated feedback to enhance its practical application in real-world educational settings.