논술형 평가에서 AI 협업 기반 채점자 협의와 전통적 채점자 협의의 양상 비교
Comparing AI-Collaboration-Based Rater Discussion and Traditional Rater Discussion in Essay Assessment
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구는 논술형 평가 상황에서 AI 협업 기반 채점자 협의와 전통적 채점자 협의를 비교·분석하여 채점 신뢰도 확보와 채점자 부담 완화 방안을 실증적으로 탐색하는 데 목적이 있다. 이를 위해 설명적 순차 설계에 따라 먼저 양적 연구를 실시하고, 그 결과를 토대로 질적 연구를 진행하였다. 양적 연구에서는 개별 채점 결과를 확인한 뒤, 협의 후 결과를 Rasch 분석하여 집단별 채점자의 엄격성과 일관성을 비교하고 협의 시간과 난도를 확인하였다. 질적 연구에서는 반구조화된 심층 인터뷰를 통해 평가 과정의 어려움, 협의 특징, AI 활용 인식을 탐색하였다. 연구 결과, 전통적 협의 집단은 채점 기준 해석 차이에 따른 불일치와 관계적 긴장을 어려움으로 인식하였으나, 타 채점자의 관점 공유와 채점 경향 성찰의 긍정적 효과도 확인되었다. 반면 AI 협의 집단은 AI 점수가 합의의 기준점으로 작용해 초기 기준 설정과 채점자 간 중재를 용이하게 했으나, 과도한 의존으로 협의가 점수 중심으로 축소될 위험성이 나타났다. 또한 AI 협의 집단은 전통적 협의보다 시간을 더 길게 소요하고 난도를 높게 인식하였는데, 이는 AI의 채점 근거와 피드백이 추가적 쟁점을 제공해 논의의 심층성을 높이는 동시에 채점자 부담을 가중시킨 결과였다. 종합하면, AI 협업 기반 채점자 협의는 전통적 협의를 대체하기보다 보완할 때 채점 신뢰도와 협의의 심층성 제고에 기여할 수 있음을 확인하였다. 이를 바탕으로 학교 현장에서 AI 협업 기반 채점자 협의 모델 도입 시 고려사항을 제언하였다.
Abstract
This study empirically explores ways to enhance scoring reliability and reduce rater burden by comparing AI-collaboration-based and traditional rater discussions in essay assessment. Using an explanatory sequential design, quantitative and qualitative methods were employed. In the quantitative phase, individual scores were analyzed using Rasch modeling to compare raters’ severity, consistency, consultation time, and perceived difficulty. The qualitative phase involved semi-structured interviews on assessment challenges, group-specific consultation characteristics, and raters’ experiences with AI use. Findings revealed that the traditional group identified discrepancies in rubric interpretation and relational tension but also valued sharing perspectives and reflecting on scoring. In contrast, AI-collaboration provided benchmarks for consensus and mediated differences but risked overreliance and score-centered negotiation. It also entailed longer discussion time and higher perceived difficulty, as AI feedback introduced additional evidence and points of contention, increasing cognitive load while deepening deliberation. The study concludes that AI-collaboration discussion should complement rather than replace traditional discussion, contributing to scoring reliability and reflective deliberation in school assessment. Based on these findings, considerations are proposed for implementing AI-collaboration-based rater discussion models in school assessment practices.