ChatGTP API 활용 인공지능 논･서술형 자동채점 프로그램 개발 실행연구
Action Research on the Development Program of ChatGPT Automated Scoring Method Program for Essay Evaluation
0
조회
0
다운로드
4
인용
0
참고문헌
키워드
초록
연구목적: 인공지능 기술이 급격히 발달하면서 교육 분야에 인공지능을 적용하는 논의가 이어지고 있다. 본 연구는 인공지능을 활용하여 정답이 없는 논･서술형 문항을 자동채점 하는 프로그램을 개발하고, 그 개발 과정을 기록 및 해석하기 위해 수행되었다. 연구방법: 연구자와 실천가가 일체화 되는 참여적 실행연구 방법을 활용하였으며, OpenAI가 주최하는 해커톤 대회에 참여하여 전문가들의 피드백을 받으며 프로그램 프로토타입을 개발하였다. 연구결과: 교사가 설정한 루브릭에 따라 논･서술형 답안을 채점하고 평가 점수 및 평가 의견을 제공하는 「평가하는 AI(v1.0)」을 개발하였다. 또한 해커톤 대회 동안 전문가들의 코멘트를 반영하여 개인별 특성을 가진 AI평가교사를 생성하여 교차 채점이 가능한 「평가하는 AI(v2.0)」를 개발하였다. 논의 및 결론: 본 실행연구를 통하여 인공지능이 평가 루브릭을 이해하고 평가 루브릭을 반영하여 채점할 수 있다는 점, 학교 교사와 유사한 특성의 AI평가교사를 설계할 수 있다는 점, 다수의 AI평가교사를 생성하고 교차 채점을 진행함으로써 오류를 줄일 수 있다는 점, AI평가교사의 채점자 내 신뢰도가 높다는 점 등을 논의하였다. 아울러, 대규모 논･서술형 평가 상황에서 AI의 딥러닝 구동 방식을 활용하여 대량의 답안을 먼저 AI에게 학습시킨 후 본 평가를 진행하는 실행연구, 교사가 수업에서 AI 자동채점 프로그램을 활용하는 수업 실행연구, 질적 자료를 코딩하는 프로토타입 개발 실행연구 등의 후속 연구를 제언하였다.
Abstract
Purpose: With the rapid development of AI technology, discussions on applying AI in the field of education are ongoing. This research aims to develop a program utilizing AI for the automatic scoring of essay-type items without definite answers. Method: The research was the participatory action research method, which integrates researchers and practitioners. Participation in OpenAI-sponsored Hackathon competitions allowed for continuous improvement of the program prototype based on feedback from experts. Results: 「Evaluative AI(v1.0)」 was developed, capable of generating assessment scores and comments for essay-type answers according to user-defined rubrics. Additionally, 「Evaluative AI(v2.0)」 was developed to reflect experts’ comments at the Hackathon competition, creating ‘AI evaluation teachers’ with individual characteristics, and comparing scores with human scorers. Conclusion: Through the research, several possibilities were proposed: the ability of AI to understand evaluation rubrics and score by reflecting them, the ability to design ‘AI evaluation teachers’ similar to school teachers, the high intra-rater reliability of ‘AI evaluation teacher’; and the reduction of errors through cross-evaluating by multiple ‘AI evaluation teachers’. In addition, a couple of suggestions for the future action research were proposed: research that first train AI a large number of essay-type answers before conducting main essay evaluations, research exploring how teachers utilize AI automatic scoring programs in class, and research for developing the program prototype for coding qualitative data.
참고문헌 (40)
- 강지영, "국내 교육관련 실행연구(action research)동향 분석", 아시아교육연구, 12(3), pp.197~224 (2011)
- 교육부, "인공지능(AI) 디지털교과서로 1:1 맞춤 교육시대 연다", ~ (2023)
- 교육부, "AI 디지털교과서 개발 가이드라인" (2023), 한국교육학술정보원
- 대규모 평가를 위한 서답형 문항 자동채점 방안 연구, "노은희", 한국교육과정평가원, ~ (2012)
- 대규모 평가를 위한 서답형 문항 자동채점 프로그램 정교화 및 시범 적용, "노은희", 한국교육과정평가원, ~ (2013)
- 한국어 서답형 문항 자동채점 프로그램 개발 및실용성 검증, "노은희", 한국교육과정평가원, ~ (2014)
- 한국어 문장 수준 서답형 문항 자동채점 프로그램 개발 및 적용, "노은희", 한국교육과정평가원, ~ (2015)
- 한국어 문장 수준 서답형 문항 자동채점 프로그램고도화 개발 및 적용, "노은희", 한국교육과정평가원, ~ (2016)
- 컴퓨터 기반 서･논술형 평가를 위한 자동채점 방안 설계(Ⅰ), "박종임", 한국교육과정평가원, ~ (2022)
- 컴퓨터 기반 서･논술형 평가를 위한 자동채점 방안 설계(Ⅱ), "박종임", 한국교육과정평가원, ~ (2023)
- 백순근, "수행평가 : 이론적 측면" (2002), 교육과학사
- 성정원, "ChatGPT를 활용한 서･논술형 평가 자동 채점 가능성 탐색 : 세계지리 서･논술형평가를 중심으로", 한국지리학회지, 12(3), pp.415~432 (2023)
- 성태제, "논술형 고사와 예체능계 실기고사를 위한 채점자 간 신뢰도 추정", 교육평가연구, 7(1), pp.43~56 (1994)
- 성태제, "타당도와 신뢰도" (2002), 학지사
- 국가영어능력평가시험 쓰기 자동채점 프로그램 개발, "시기자", 한국교육과정평가원, ~ (2012)
- 국가영어능력평가시험 쓰기 자동채점 프로그램 개발, "시기자", 한국교육과정평가원, ~ (2013)
- 신철균, "교육행정학 연구방법론 핸드북, 제12장", pp.524~561 (2023), 학지사
- 이경건, "인공지능 기반 자동평가의 현재와 미래 : 서술형 문항에 관한 문헌 고찰과그 너머", 교육공학연구, 36(2), pp.353~382 (2020)[DOI]
- 미래 사회 대비 핵심역량 함양을 위한 국가교육과정 구성, "이근호", 한국교육과정평가원, ~ (2012)
- 이상수, "대화 분석을 통한 사회정서역량 측정 애플리케이션 개발 –ChatGPT API를 이용하여-", 교육혁신연구, 33(3), pp.55~78 (2023)[DOI]
- 이상은, "비교교육의 관점에서 살펴본 한국 핵심역량 교육정책의 특징과 과제 : 초･중등교육을 중심으로", 교육학연구, 55(1), pp.67~95 (2017)
- 이용숙, "실행연구방법" (2005), 학지사
- 이창현, "IT 과학영재를 위한 다양한 API를 활용하는 프로그램 개발 : 다자간 협업 가상공간을 지원하는 학생팀 프로젝트 관리시스템", 과학영재교육, 12(2), pp.117~126 (2020)[DOI]
- 이형빈, "교육과정-수업-평가 어떻게 혁신할 것인가" (2015), 맘에드림
- 이형빈, "수업의 문제 상황 해결을 위한 수업 실행연구의 개념 및 방법 탐색", 교육과정연구, 41(4), pp.83~108 (2023)[DOI]
- 국제 바칼로레아(IB)의 국내 도입 현황 및 과제, "임유나", 한국교육개발원, ~ (2023)
- 임종헌, "과정 중심 평가의 특징과 의미에 관한 연구 : 자유학기제 과정 중심 평가를 중심으로", 한국교육, 45(3), pp.31~59 (2018)
- 인공지능(AI)기반 에듀테크의 학교 현장 적용을 위한 협력적 실행연구, "주정흔", 서울특별시교육청교육연구정보원, ~ (2021)
- 지은림, "논술고사의 신뢰성에 영향을 미치는 채점자 특성 분석", 교육평가연구, 21(2), pp.97~113 (2008)
- 서답형 문항 자동채점 프로그램 도입 방안 연구(Ⅰ), "진경애", 한국교육과정평가원, ~ (2006)
- 서답형 문항 자동채점 프로그램도입 방안 연구(Ⅱ), "진경애", 한국교육과정평가원, ~ (2007)
- 서답형 문항 자동채점 프로그램 도입 방안 연구(Ⅲ), "진경애", 한국교육과정평가원, ~ (2008)
- 최숙기, "인공지능 시대의 작문 평가를 위한 ChatGPT 활용 방안 연구", 청람어문교육, 95, pp.65~109 (2023)
- 하민수, "Development of an Unsupervised LearningBased Automated Evaluation System of Descriptive Assessment", Brain, Digital, & Learning, 13(4), pp.339~351 (2023)
- 학교 교육에서의 인공지능(AI)활용방안 탐색, "홍선주", 한국교육과정평가원, ~ (2020)
- Adelman, C., "Kurt Lewin and the Origins of Action Research", Educational Action Research, 1(1), pp.7~24 (1993)
- Themes in education: Action Research, "Ferrance, E.", Northeast and Islands Regional Educational Laboratory at Brown University, ~ (2000)
- Mac Naughton, G., "유아교육에서 실행연구하기" (2013), 창지사
- Dai, W., "Can Large Language Models Provide Feedback to Students? A Case Study on ChatGPT", 2023 IEEE International Conference on Advanced Learning Technologies(ICALT), pp.323~325 (2023)
- Zhou, X., "Implementation and Evaluation of an Automatic Scoring System for Experimental Reports Based on ChatGPT", 2017 12th International Conference on Computer Science and Education (ICCSE), pp.717~721 (2017)