교양 글쓰기 교육 강화를 위한 자동평가 적용 사례 : K 대학 사례를 중심으로
Application of an Automated Scoring System to Enhance College Writing Education : A Case Study of K University
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구에서는 교양 글쓰기 교육의 내실화를 위한 자동평가의 유용성과 신뢰성을 확인하기 위해 K 대학의 글쓰기진단평가에 자동평가를 적용한 사례를 분석하였다. K대학 교양 글쓰기 진단평가는 ‘주장하기’와 ‘요약하기’의 2개문항으로 구성되었으며, 본 연구에서는 이들 2개 문항에 대한 학생들의 글쓰기 답안을 ‘과제 수행’, ‘내용 구성’, ‘언어 사용’의 3가지 채점 영역으로 나누어 인공지능 기반 자동평가 프로그램인 ‘PASTA’로 채점을 실시하고 그결과를 분석하였다. K 대학의 글쓰기 진단평가에 활용된 자동평가 모델의 성능을 우선 검증한 결과 타 시험의 인간채점자 간의 일치도 및 유사 일치도와 비교할 때 유사하거나 오히려 높은 수준인 것으로 나타나 본 연구의 자동평가의신뢰성을 확인할 수 있었다. 자동평가 프로그램 ‘PASTA’는 학생들의 글쓰기 답안을 자동채점 해주고 그 결과를입체적으로 제시하면서 동시에 개인별 피드백을 주기 때문에 글쓰기 수업에서 평가도구로 유용하게 활용될 수 있음을보여주었다. 더불어 자동평가 시스템을 글쓰기 수업에 적용할 경우 교수자의 채점 부담을 경감시키고 학생들에게좀 더 많은 글쓰기 평가 기회를 제공할 수 있어 글쓰기 수업 내실화에 기여할 것으로 기대된다. K 대학의 글쓰기자동평가 결과를 분석한 결과 학생들의 글쓰기 학습 경험 여부가 학생들의 글쓰기 능력 차이를 유발하는 의미 있는변수로 나타났으며, 또한 학습 기간이 1주일 이내인 학생들과 1주일 이상인 학생들 간에 글쓰기 능력에 차이가 있는것으로 나타나 글쓰기 교육이 지속적으로 이루어 질 때 학생들의 글쓰기 능력이 향상될 수 있음을 실증적으로 보여주었다
Abstract
This study investigates the effectiveness and reliability of an AI-based automated scoring system in K University’s college writing evaluation. The assessment included two tasks—argumentative writing and summarization—and students’ responses were scored across three domains: task completion, content organization, and language use. An automated scoring program, PASTA, was utilized to assess student writing. The performance of the automated scoring model was validated by comparing its results with those of human raters. The findings showed that the agreement and near-agreement rates were comparable to, or even higher than, those observed in human-to-human scoring in similar assessments, demonstrating the reliability of the automated scoring model. Additionally, PASTA was found to be a useful tool in writing classes, as it provided various evaluation results and personalized feedback to students. The use of the automated scoring system was shown to reduce instructors' grading workload while increasing opportunities for students to engage in written evaluations. Furthermore, analysis revealed that students with prior writing experience outperformed those without such experience, and that students with more than one week of writing experience scored significantly higher than those with less experience. These results offer empirical evidence that sustained writing education contributes to improved student writing performance.