ChatGPT를 활용한 한국어 고급 학습자의 작문 채점의 신뢰도 분석 연구
A Study on the Reliability of Composition Scoring of Advanced Korean Learners Using ChatGPT
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구는 한국어 작문 평가에 거대 언어 모델 기반의 AI 챗봇을 어떻게 활용할 수 있는지 제안하기 위해 선행적으로 ChatGPT 자동채점의 신뢰도를 검토하고 ChatGPT 채점의 특성을 이해하기 위해 진행되었다. ChatGPT4o를 활용하여 작문 자동채점을 한 결과, 총체적 채점보다는 분석적 채점에서 채점의 신뢰도 및 정확도가 높았다. 또한 분석적 채점에서 평가항목별 확인 결과, ‘문법’과 같은 언어 표층적 항목에 대해서는 ChatGPT 간 반복 채점의 신뢰도가 높았으며 인간 채점과의 일치도도 높아 정확도가 높은 편이었다. 그러나 ‘내용의 독창성’이나 ‘독자에 대한 고려’와 같이 글의 내용을 이해하고 평가해야 하는 항목에서는 채점 신뢰도와 정확도 모두 낮게 나타났다. 한편, ChatGPT는 다른 인간 채점자 4명과 비교했을 때 채점 엄격성 측면에서 가장 관대한 채점을 하는 것으로 나타났다. 이와 같은 결과를 기반으로 한국어 고급 학습자의 작문에 AI를 활용할 때는 분석적 채점 방법으로 채점하는 것이 바람직하며, 내용 평가보다는 언어 표층적 항목에 대해 채점을 진행하고 도움을 받는 것이 효과적이라 할 수 있다.
Abstract
With the rapid advancement of artificial intelligence(AI), there have been increasing efforts to apply AI in the field of foreign language education to enhance educational effectiveness. This study aims to explore the potential application of AI in Korean writing assessment by examining the reliability and characteristics of AI-based automated scoring. Using ChatGPT-4 for automatic scoring, the study found that analytical scoring demonstrated higher reliability and accuracy compared to holistic scoring. Furthermore, an analysis of individual assessment items within the analytical scoring rubric revealed that ChatGPT showed higher reliability and closer agreement with human raters for surface-level language features, such as “grammar” and “sentence errors,” with improved scoring accuracy in these areas. However, for items that require understanding and evaluating the content of the writing, such as “originality of content” or “consideration for the reader,” both reliability and accuracy were lower, with less agreement across repeated scores and lower agreement with human raters. Additionally, ChatGPT exhibited a more lenient scoring approach compared to the four human raters. Based on these findings, it is recommended to use an analytical scoring rubric when employing AI for advanced Korean learners' writing, and it is more effective to in evaluating linguistic features, such as grammar and expression, rather than content evaluation.
참고문헌 (38)
- 강승혜, "한국어 평가론" (2006), 태학사
- 김성숙, "학문 목적 기초 한국어 쓰기 능력 평가 척도 개발과 타당성 검증", 박사, 국어국문학, pp.2011
- 김정숙, "한국어 쓰기 능력 평가 방안-종합적 채점과 분석적 채점 결과를 중심으로", 이중언어학, 43, pp.81~99 (2010), 이중언어학회
- 김정숙, "한국어능력시험의 등급별 합격점수 및 채점 기준 설정 방안 연구" (2005), 한국교육과정평가원
- 金正子, "쓰기 評價 方法 연구 : 評價基準의 設定과 그 適用을 중심으로", 석사, 국어교육학, pp.1992
- 남미정, "한국어 쓰기 자동 채점을 위한 언어 자질 탐색 연구", 박사, pp.2023
- 남미정, "한국어 쓰기 자동 채점을 위한 언어 자질 탐색 연구", 언어사실과 관점, 57, pp.9~32 (2022), 연세대학교 언어정보연구원
- 서수현, "요인 분석을 통한 쓰기 평가의 준거 설정에 대한 연구", 박사, 국어교육, pp.2008
- 이용상, "한국어 쓰기 평가를 위한 자동채점의 가능성탐색", 이중언어학, 86, pp.171~191 (2022), 이중언어학회
- 이인혜, "한국어 쓰기 평가의 채점 방식에 따른 채점자 신뢰도 연구 : 종합적 채점 및 분석적 채점을 중심으로", 석사, 국어국문학과, pp.2012
- 이재승, "글쓰기 교육의 원리와 방법:과정 중심 접근" (2002), 교육과학사
- 이지연, "챗GPT를 활용한 영어 작문 평가", 현대영미어문학, 42(1), pp.189~212 (2024), 현대영미어문학회
- 이진, "한국어 학습자 쓰기 자동채점을 위한 자질 연구-내용 및 구조 관련 채점 자질을 중심으로", 국제어문, (99), pp.433~471 (2023), 국제어문학회
- 장소영, "언어교육평가 연구를 위한 FACETS 프로그램" (2009), 글로벌콘텐츠
- 조항록, "한국어 배치고사 개발 사례 연구 : 연세대학교 학국어학당의 배치고사를 중심으로", 외국어로서의 한국어교육, 27, pp.417~493 (2002), 연세대학교 언어연구교육원 한국어학당
- 조희련, "딥러닝 기반 언어모델을 이용한한국어학습자 쓰기 평가의 자동 점수 구간 분류 : KoBERT와 KoGPT2를중심으로", 한국언어문화학, 18(1), pp.217~241 (2021), 국제한국언어문화학회
- 함은혜, "GPT-4를 활용한 과학탐구역량 자동채점의 특성 분석", 교육정보미디어연구, 30(3), pp.713~742 (2024), 한국교육정보미디어학회
- 허영수, "한국어 고급 학습자의 쓰기 능력 평가를 위한 평가 준거 개발 연구", 박사, pp.2023
- Attali, Y., "Handbook of automated essay evaluation: Current applications and new directions", pp.181~198 (2013), Routledge
- Bachman, "Language Testing in Practice: Designing and Developing Useful Language Tests (Vol. 1)" (1996), Oxford University
- Brown, "Language Assessment: Principles and Classroom Practices" (2004), Longman
- Brown, "A categorical instrument for scoring second language writing skills", Language Learning, 34(4), pp.21~42 (1984)
- Burstein, J., "Handbook of Automated Essay Evaluation" (2013), Routledge
- Canale, "Theoretical bases of communicative approaches to second language teaching and testing", Applied Linguistics, 1(1), pp.1~47 (1980)
- Dikli, S., "An Overview of Automated Scoring of Essays", The Journal of Technology, Learning, and Assessment, 5(1), pp.4~35 (2006)
- Jacobs, Holly L., "Testing ESL composition: A practical approach" (1981), Newbury House
- KyungTae Lim, "Neural automated writing evaluation for Korean L2 writing", Natural Language Engineering, pp.1~23 (2022)[DOI]
- Landis, "The measurement of observer agreement for categorical data", Biometrics, 33, pp.159~174 (1977)
- Mayer Christian W. F., "Prompt text classifications with transformer models! An exemplary introduction to prompt-based learning with large language models", Journal of Research on Technology in Education, 55(1), pp.125~141 (2023)[DOI]
- McNamara, "Measuring second language performance" (1996), Addison Wesley Longman
- Mizumoto, A, "Exploring the potential of using an AI language model for automated essay scoring", Research Methods in Applied Linguistics, 2(2) (2023)[DOI]
- T. P. Tate, "Computers and Education: Artificial Intelligence" (2024), Elsevier
- Walter, S. D., "Sample size and optimal designs for reliability studies", Statistics in Medicine, 17, pp.101~110 (1998)
- Weigle, S. W., "Effects of training on raters of ESL compositions", Language Testing, 11(2), pp.197~223 (1994)
- Weir, J., "Communicative language testing" (1990), Prentice Hall Regents
- 네이버 두산백과, "거대 언어 모델(Large Language Model)", ~ (2024)
- "한경 경제용어사전", 할루시네이션(Hallucination), ~ (2024)