논술형 평가 전문성 강화를 위한 AI 자동채점 기반 평가자 협의 모델 개발: 교사-AI 협업을 중심으로
Calibrating human and machine: Developing an AI-assisted rater discussion model for automated writing evaluation(AWE)
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구는 평가 공정성과 신뢰도 확보를 위하여 AI를 활용한 교사-AI 협업 기반의 평가자 협의 모델을 개발 및 검증하고자 하였다. 모델 개발 단계에서는 AI로 ChatGPT의 GPT-o3를 활용, <화법과 작문>의 논술형 평가 과제를 기준으로 프롬프트 설계 및 채점을 시행하였다. 모델 검증 단계에서는 교사 3인과 AI가 고등학교 3학년 222명의 논술형 평가 답안 중 예비 채점 25편, 본 채점 50편을 샘플로채점하였다. 이후, 국어 교사 8인을 대상으로 본 모델의 적합성 검증 FGI를 실시하였다. 양적 분석에는 채점 기준표의 설계 및 정교화, 예비 채점, 본 채점, 피드백 제공의 전 과정을 3단계로 구조화하고채점 결과에 대한 Cronbach’s α, Rasch 내적합도(infit), 완전일치도 및 근접일치도 분석을 시행하였다. 그결과, 교사-AI 간의 실제적인 프롬프트 설계를 제시함과 함께 본 채점 단계에서 AI 자동채점과 인간평가자의 완전일치도가 53.2~68%, 근접일치도가 95.3~98%로 분포함을 확인하였다. MFRM은 GPT o3 가 0.94로 적합한 채점자로 기능함을 확인하였다. FGI 분석 결과, 교사들은 단독 과목 운영 보조, 협의 효율성 제고, 평가 공정성 강화 측면에서 긍정적이라고 평가하였다. 그러나 교사의 AI 사용 역량편차가 존재하는 점, 교사 주도성 약화가 우려되는 점, 모델 자체의 복잡성과 AI 결과의 오류 가능성이 존재하는 점 등이 우려 사항으로 지적되었다. 이에, 본 연구는 생성형 AI를 교사 판단을 보완하는후행적 조언자로 위치시켜 교사의 평가 전문성을 보장하는 방향을 강조하고, 인간–비인간 주체 사이의 다원적 협의 개념을 제안하였다. 추가로 AI의 ‘메타 평가자’ 가능성과 평가 유형별 적합성, 그리고기술 활용 격차 해소 방안의 필요성을 제언하였다.
Abstract
This study developed and validated a teacher-AI collaborative rater-moderation model to enhance fairness and reliability in essay assessment. In the development phase, GPT-o3 was employed for automated writing evaluation(AWE), designing prompts and evaluating writing tasks from the high-school course Speech and Writing. For validation, three teachers and the AI scored samples from Grade-12 students’ essays—25 for pilot scoring and 50 for operational scoring—and a focus group interview(FGI) with eight Korean-language teachers assessed the model’s applicability. Operational scoring showed exact agreement between AI and human raters of 53.2–68.0% and adjacent agreement of 95.3–98.0%, while Multi-Facet Rasch Measurement confirmed GPT-o3 as a well-fitting rater(infit=0.94). FGI findings noted benefits in supporting single-teacher course operation, improving the efficiency of rater discussions, and enhancing fairness, alongside concerns about disparities in AI literacy, potential weakening of teacher agency, model complexity, and the risk of AI-generated errors. The study positions Human-AI collaboration as a framework in which generative AI functions as a post-hoc advisor complementing teachers’ professional judgment and calls for exploring AI’s potential as a “meta-rater,” identifying writing assessment types best suited to AI collaboration, and addressing inequities in access and proficiency.