어휘 풍요도 지표를 활용한 고등학생 논설문 자동 채점 방안 연구
A Study on Automated Scoring Methods for High School Students' Argumentative Essays Using Lexical Richness Indicators
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 연구는 고등학생 논설문에서 산출한 어휘 풍요도 지표가 교사 채점 점수와 어떤 관련성을 갖는지 분석하고, 자동 채점의 가능성을 검토하였다. 이를 위해 고등학교 2학년 학생의 논설문 232편을 대상으로 17개 어휘 다양도 지표와 어휘 밀도를 산출하고, 교사 채점 점수와의 상관분석 및 다중회귀분석을 실시하였다. 그 결과 단일 지표로는 NDW가 총점과 가장 높은 상관(r=627, p<.001)을 보였다. NDW는 총점 분산의 약 39%를 설명하였으며, 학생 글의 수준을 57.8%의 정확도로 판별하였다. 최적 모형은 NDW와 Yule’s I의 조합으로 총점 분산의 48.4%를 설명하고, 65.5%의 수준 판별 정확도를 달성하여 단일 지표보다 우수한 성능을 보였다. 이를 통해 간명한 어휘 지표의 조합을 통해 고등학생 논설문의 자동 채점과 수준 변별이 실용적 수준에서 가능함을 실증하였다. 이는 교사의 평가 부담 경감에 기여할 수 있을 것이다.
Abstract
This study examines the relationship between lexical richness indices derived from high school argumentative essays and teacher scores, and explores the feasibility of automated scoring. We analyzed 232 argumentative essays written by 11th-grade students, computing 17 lexical diversity indices and lexical density, followed by correlation analysis and multiple regression analysis with teacher scores. Results showed that NDW demonstrated the highest correlation with total scores (r=.627, p<.001) among single indices. NDW explained approximately 39% of the total score variance and discriminated students' writing proficiency levels with 57.8% accuracy. The optimal model combining NDW and Yule's I explained 48.4% of the total score variance and achieved 65.5% accuracy in level discrimination, outperforming single indices. These findings empirically demonstrate that automated scoring and level discrimination of high school argumentative essays is feasible at a practical level through a parsimonious combination of lexical indices. This could contribute to reducing teachers' assessment burden.