대규모 평가 서답형 문항 채점을 위한 문장 수준 자동채점 프로그램의 정확성 분석
Analysis on the Accuracy of Automated Scoring for Korean Large-scale Assessments
0
조회
0
다운로드
12
인용
0
참고문헌
키워드
초록
본 연구는 문장 수준의 답안 작성을 요구하는 서답형 문항의 답안을 자동채점 프로그램으로정확히 채점할 수 있는지 점검하고자 한다. 2014년 국가수준 학업성취도 평가의 국어․사회․과학 교과 서답형 6문항을 대상으로 문장 수준 자동채점 프로그램을 시범 적용하고, 교과전문가가부여한 점수와 비교하여 채점 결과의 정확성을 분석함으로써 자동채점의 인간채점 대체 가능성을 검증하였다. 자동채점 결과의 정확성에 대한 통계량 모두 자동채점 과정에 채점자가 개입하는 경우가 개입하지 않는 경우보다 더 높은 수치를 보였는데, 인간채점 점수와 자동채점 점수간 완전일치도는 96～99%, 카파계수는 0.76～0.99, 상관계수는 0.82～0.99, 정확률은 90～99%로서전반적으로 문장 수준 자동채점 프로그램의 정확성은 매우 높았다. 한편, 기존 프로토타입을 보강한 채점 프로그램의 정확성 변화를 살펴보면, 채점자가 미개입하는 경우 인간채점과의 완전일치도, 카파계수, 상관계수, 정확률 평균은 기존 프로토타입 대비 각각 87%에서 96%로, 0.73에서0.86로, 0.86에서 0.89로, 74%에서 83%로 높아졌다. 또한 자동채점과 인간채점 점수 간의 불일치답안을 중심으로 교과별ㆍ문항별 채점 결과를 질적 분석한 결과, 학생 답안 유형 수, 채점기준의조건과 점수 범주 등의 문항 특성에 따라 정확성이 다르게 나타남을 확인하였다. 이러한 분석결과를 바탕으로 문장 수준 자동채점 프로그램을 적용한 대규모 평가 서답형 문항의 채점 설계를 제안하였다.
Abstract
In order to effectively manage the scoring of constructed-response (CR) items for Korean large-scale assessments, this study aims to implement the automatic scoring (AS) system for sentence-level responses based on the prototype designed in 2014 and to score CR items for the National Assessment of Educational Achievement (NAEA) 2014 using the AS system. We scored answers to six CR items of Korean language, social studies, and science in the NAEA 2014 using the AS system for sentence-level responses. The scores from the AS system were highly consistent with the scores by human scoring showing 96.1 to 99.7% of the exact agreement and 0.82 to 0.99 of correlation coefficients between the scores from two scoring methods. The exact agreements for the AS system this year were higher than those for the prototype. This result means that the performance of the AS system has been improved. The AS program for Korean CR items is designed a human-machine collaborative and stepwise scoring method to guarantee the accuracy of scoring. This study provides evidence that automated scoring might be a reliable and efficient and could serve as a useful complement to human scoring for a large-scale assessment.
참고문헌 (23)
- 강원석, "질의문 유형 분석을 통한 서답형 자동 채점 시스템", 한국콘텐츠학회 논문지, 11(2), pp.13~21 (2011), 한국콘텐츠학회
- 교육과학기술부, "2009 개정 교육과정 총론(교육과학기술부 고시 제 2009-41호)", ~ (2009)
- 교육부, "초․중등학교 교육과정 총론(교육부 고시 제 2015-74호)", ~ (2015)
- 권오영, "웹 기반 주관식 평가문항 채점 알고리즘 설계 및 구현", 석사, 전자계산교육, pp.2004
- 김수영, "레이블이 없는 문서를 이용한 SVM 기반의 점증적 지도학습", 한국정보과학회 학술발표논문집, 29(1B), pp.301~303 (2002)
- 대규모 평가를 위한 서답형 문항 자동채점 방안 연구, "노은희", 한국교육과정평가원, ~, pp.연구보고 RRE 2012-6 (2012)
- 대규모 평가를 위한 서답형 문항 자동채점 프로그램 정교화 및 시범 적용, "노은희", 한국교육과정평가원, ~, pp.연구보고 RRE 2013-5 (2013)
- 한국어 서답형 문항 자동채점 프로그램 개발 및 실용성 검증, "노은희", 한국교육과정평가원, ~, pp.연구보고 RRE 2014-6 (2014)
- 한국어 문장 수준 서답형 문항 자동채점 프로그램 개발 및 적용, "노은희", 한국교육과정평가원, ~, pp.연구보고 RRE 2015-9 (2015)
- 박희정, "유의어 사전을 이용한 주관식 문제 채점 시스템 설계 및 구현", 컴퓨터교육학회 논문지, 6(3), pp.207~216 (2003), 한국컴퓨터교육학회
- 신현정, "앙상블 학습알고리즘의 일반화 성능 비교: OLA, Bagging, Boosting", 한국정보과학회 학술발표논문집, 27(1B), pp.226~228 (2000)
- 정동경, "벡터유사도와 시소러스를 이용한 주관식 답안의 채점방법", 석사, 컴퓨터교육, pp.2002
- 조우진, "의미커널과 한글 워드넷에 기반한 지능형 채점 시스템", 석사, 컴퓨터공학, pp.2006
- Burrows, S., "The Eras and Trends of Automatic Short Answer Grading", International Journal of Artificial Intelligence in Education, 25(1), pp.60~117 (2015)
- Chapelle, O., "Semi-supervised Learning" (2006), The MIT Press
- Harrington, P., "Machine Learning in Action" (2012), Manning Publications
- "Ethical Implementation of an Automated Essay Scoring (AES)System: A Case Study of Student and Instructor Use, Satisfaction, and Perceptions of AES in a Business Law Course" (2013)[URL]
- The AS Decision Matrix: Using Program Stakes and Item Type to Make Informed Decisions about Automated Scoring Implementations, "Lottridge, S. M.", Pacific Metrics Corporation, ~ (2013)
- Rubin, T. N., "Statistical Topic Models for Multi-label Document Classification", Machine Learning, 88(1-2), pp.157~208 (2012)
- Shermis, M. D., "Innovative Assessment for the 21st Century", pp.167~185 (2010), Springer
- Shermis, M. D., "Handbook of Automated Essay Evaluation:Current Applications and New Directions" (2013), Routledge
- "Pricing Study: Machine Scoring of Student Essays" (2014)[URL]
- Zhang, M., "Contrasting Automated and Human Scoring of Essays", ETS R&D Connections, 21 (2013)