GPT-4를 활용한 과학탐구역량 자동채점의 특성 분석
Characteristics of GPT-4 automated scoring of scientific inquiry competency
2
조회
0
다운로드
5
인용
0
참고문헌
키워드
초록
이 연구는 GPT-4기반 자동채점시스템을 활용한 과학탐구역량 채점자료가 인간전문가의 채점자료와어떻게 다른지를 비교․분석한 것이다. 이를 위해 연구진이 개발한 GPT-4기반 자동채점시스템을 활용하여 초등학생 과학탐구활동보고서 322개를 평가하였으며, 산출된 채점자료의 내적 구조가 인간 채점자료의 내적 구조와 유사한지, 과학탐구역량에 대한 이론적 가정을 지지하는지를 검토하였다. 주요 연구결과는 다음과 같다. 첫째, GPT-4를 활용한 채점은 인간 채점과 비교하여 관대하였으며, 특히 난이도가 높은 채점항목에 대해서 더 관대한 경향을 보였다. 둘째, 채점의 일관성과 채점항목 간 내적일치도는 인간 채점보다 높은 경향을 보였다. 셋째, 다국면 채점자 모형 분석 결과, GPT-4 채점 자료를 인간 채점 자료와 통합하는 경우, 채점항목의 난이도에서 변동이 크게 나타났으며, 인간채점자의 내적적합도와 외적적합도를 상당히 손상시키는 것으로 나타나, GPT-4 채점 결과와 인간채점 결과의 비교가능성이 지지되지 않았다. 연구 결과를 바탕으로, GPT-4를 활용한 자동채점의 한계, 가능성과 과제를논의하였다.
Abstract
This study aims to examine the effectiveness of GPT-4 in automated scoring system compared to human experts when assessing students’ scientific inquiry reports. A total of 322 elementary students’ science inquiry reports were evaluated using a GPT-4-based automated scoring system as well as by a group of human experts. The two sets of scoring data were compared to examine whether the internal structure of the GPT-scoring data resembled that of human scoring, and whether it aligned with theoretical expectations of scientific inquiry skills. The key findings are as follows: First, GPT-4’s scoring was generally more lenient, particularly with more challenging criteria. Second, GPT-4 demonstrated higher consistency in scoring and internal consistency among items than human scoring. Third, the many-faceted Rasch model showed significant discrepancies in item difficulty when integrating GPT-4 scoring data with human scoring data, adversely affecting the internal and external fit of human raters, which suggests that the comparability between GPT-4 and human scoring outcomes is limited. Based on these findings, the limitations, possibilities, and challenges of using GPT-4 for automated scoring are discussed
참고문헌 (34)
- 디지털 인재양성 종합방안, "관계부처 합동", ~ (2022)
- 교육부, "2015 개정 교육과정", ~ (2015)
- 교육부, "2022 개정 초․중등학교 및 특수교육 교육과정 확정․발표", 교육부, ~ (2022)
- 디지털 기반 교육혁신 방안, "교육부", ~ (2023)
- 2024년 주요정책 추진 계획, "교육부", ~ (2024)
- 김덕영, "학생의 열린 과학 탐구 보고서 작성을 돕기 위한 점검표 개발", 한국과학교육학회지, 36(6), pp.1075~1083 (2015)
- 김현정, "탐구보고서에 기반한 화학교사의 과학 역량 평가 실태 분석", 대한화학회지, 65(3), pp.209~218 (2021)
- 대규모 평가를 위한 서답형 문항 자동채점 방안 연구, "노은희", 한국교육과정평가원, ~ (2012)
- 한국어 서답형 문항 자동채점 프로그램 개발 및 실용성 검증, "노은희", 한국교육과정평가원, ~ (2014)
- 2023년 국민의 글쓰기 능력 진단 체계 개발, "민병곤", 국립국어원, ~ (2023)
- 박소영, "ChatGPT를 활용한 AI 글쓰기 의사소통 역량 평가 도구 개발에 대한 연구 : 기술전문가와의 상호소통을 중심으로", 실천공학교육논문지, 16(1), pp.1~11 (2024)
- 박소영, "ChatGPT-4의 과학적 탐구 역량 평가 가능성 탐색 : 인간평가자와의 비교를 중심으로", 교육학연구, 61(4), pp.299~332 (2023)
- 박찬솔, "탐구적 과학 글쓰기를 통한 데이터 기반 과학 탐구학습이 초등학생의 과학과핵심역량에 미치는 영향", 교사교육연구, 59(2), pp.245~258 (2020)
- 수업-평가 연계 강화를 통한 서․논술형 평가내실화 방안, "박혜영", 한국교육과정평가원, ~ (2019)
- 미래사회 대비 교육과정, 교수학습, 교육평가 비전 연구(Ⅲ): 초중등학교의 교육평가 방향을 중심으로, "박혜영", 한국교육과정평가원, ~ (2018)
- 백순근, "수행평가의 원리" (2000), 교육과학사
- 백유진, "논술문 채점에 나타난 국어 교사의 채점 편향의 특성 분석 : 텍스트 특징에 따른 채점편향 분석을 중심으로", 청람어문교육, 76, pp.67~101 (2020)
- 이만형, "전문가의 형태소 분류를 활용한 과학 자동 채점", 한국과학교육학회지, 40(3), pp.321~336 (2020)
- 이만형, "기계 학습을 활용한 논증 수준 자동 채점 및 논증 패턴 분석", 한국과학교육학회지, 41(3), pp.203~220 (2021)
- 이용상, "한국어 쓰기 평가를 위한 자동채점의 가능성 탐색", 이중언어학, 86, pp.171~191 (2022)
- 이용상, "한국어 논서술답안 자동채점 프로그램 PASTA-Ⅰ 개발", 교육평가연구, 36(4), pp.711~730 (2023)
- 지은림, "논술고사의 신뢰성에 영향을 미치는 채점자 특성 분석", 교육평가연구, 21(2), pp.97~113 (2008)
- 서답형 문항 자동채점 프로그램 도입 방안 연구(I), "진경애", 한국교육과정평가원, ~ (2006)
- 하민수, "학습지원 도구로서의 서술형 평가 그리고 인공지능의 활용 : WA3I 프로젝트 사례", 현장과학교육, 13(3), pp.271~282 (2019)
- 한진영, "문제중심학습과 챗 GPT : 프롬프트와 문제해결력에 대한 탐색", 교양학연구, 26, pp.111~145 (2024)
- 함은혜, "텍스트 마이닝 기법을 활용한 대학생 세계이해 논술형 평가 답안의 수행 수준별 특성 분석", 교육평가연구, 35(4), pp.687~717 (2022)
- 함은혜, "초등학생 과학 탐구과제 수행 특성 분석 및 채점기준개발", 한국과학교육학회지, 42(2), pp.239~252 (2022)
- Andrich, D., "A course in Rasch measurement theory: measuring in the educational, social, and health sciences" (2019), Springer
- Guo. W., "The effects of rating designs on rater classification accuracy and rater measurement precision in large-scale mixed-format assessments", Applied Psychological Measurement, 47(2), pp.91~105 (2023)
- Raykov, T., "Thanks coefficient alpha, we still need you!", ucational and Psychological Measurement, 79(1), pp.200~210 (2019)
- (2023)[URL]
- Sijtsma, K., "On the use, the misuse, and the very limited usefulness of cronbach’s alpha", Psychometrika, 74(1), pp.107~120 (2009)