기초학력 진단평가 서답형 문항의 자동채점 가능성 탐색
The Application of Automatic Scoring Program to Supply-Type Items of Basic Competency Test
0
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
본 연구의 목적은 초등학교 3학년 기초학습 진단평가의 서답형 문항을 대상으로, 2012년에 한국교육과정평가원에서 개발한 한국어 단어ㆍ구 수준 서답형 자동채점 프로그램을 적용하여 자동채점 가능성을 탐색하려는 것이다. 이를 위해 읽기, 쓰기 서답형 문항 중 11문항을 선정하고 각 506∼929명의 답안 자료를 대상으로 자동채점 프로그램을 적용하여 자동채점 단계별 정답 수, 오답 수, 미채점 수, 채점 비율을 계산하였다. 이와 함께 각 문항별로 Kappa계수와 상관계수를 계산하여 제시하였다. 한국어 서답형 자동채점 프로그램을 활용하여 채점한 결과 초3 기초학습 진단평가의 단어ㆍ구 수준의 단답형 문항은 대부분 자동채점이 가능한 것으로 나타났다. 즉, 초3 기초학습 진단평가의 단어ㆍ구 수준의 한국어 서답형 문항에 대한 자동채점 프로그램의 채점 비율과 채점자와의 일치도는 적정한 수준이었고, 일부 채점 오류가 있었으나 그 비율은 적은 편이었다. 채점 오류 중 가장 많은 것은 철자 오류이고, 나머지는 유사어를 인지하지 못하거나 다른 기호나 용어가 포함되어 있는 경우가 대부분이었다. 초3 기초학습 진단평가에 자동채점 프로그램을 적용할 경우, 담임교사들이 직접 채점하므로 맞춤형 교수학습이 가능하도록 학생별 정ㆍ오답 처리 결과를 피드백할 수 있는 기능을 추가하고, 교사들이 자동채점 프로그램을 쉽게 활용할 수 있도록 편의성이 높은 인터페이스를 추가로 개발할 것을 제안하였다.
Abstract
The purpose of this study is to explore possibility of automatic scoring supply‐type items of the Grade 3 National Diagnostic Assessment of Basic Competency (NDABC) to reduce scoring burden, to improve scoring efficacy and scoring reliability. This study presented scoring rates, scoring errors, and Kappa(correlation) coefficients of scores between human scoring and automatic scoring in order to ensure scoring reliability. We also analyzed the sources of scoring errors, where the automatic scoring program fails. We used automatic scoring program developed by the Korea Institute for Curriculum and Evaluation (KICE). The results showed that the scoring rate was very high(91.5∼100%), and that the Kappa coefficients depend on items. The numbers of scoring error were 1∼42. The sources of scoring errors were caused by spelling errors, the non-recognition of analogous terms and symbols. This study presented two suggestions as following. First an automatic scoring program for NDABC should be supplemented to give feedback and information about wrong answer to teachers and students. Second the program should focus on providing convenient interface for teachers.
참고문헌 (19)
- 강원석, "질의문 유형 분석을 통한 서답형 자동 채점 시스템", 한국콘텐츠학회 논문지, 11(2), pp.13~21 (2011), 한국콘텐츠학회
- 대규모 평가를 위한 서답형 문항 자동채점 방안 연구, "노은희", 한국교육과정평가원, ~, pp.연구보고 RRE 2012-6 (2012)
- 3R's 기초학습 부진 선별 도구 개발 연구, "김명화", 한국교육과정평가원, ~, pp.연구보고 CRE 2011-10 (2011)
- 박도순, "교육평가-이해와 적용" (2007), 교육과학사
- 학업성취도 평가 서답형 문항 컴퓨터 채점화 방안 연구, "성태제", 한국교육과정평가원, ~, pp.연구보고 CRE 2010-1 (2010)
- 정동경, "벡터유사도와 시소러스를 이용한 주관식 답안의 채점방법", 석사, 컴퓨터교육, pp.2002
- 조우진, "의미커널과 한글 워드넷에 기반한 지능형 채점 시스템", 석사, 컴퓨터공학, pp.2006
- 반재천, "2011년 기초학력 향상도 평가의 분류일관성, 기초학력 도달 비율, 그리고 하위 단계 성취 정도와 학년말 기초학력 도달간 관계", 한국교육평가학회 추계학술대회 발표논문 (2012)
- Bejar, I. I., "A methodology for scoring open-ended architectural design problems", Journal of Applied Psychology, 76, pp.522~532 (1991)
- Burstein, J., "Automated essay scoring for nonnative English speakers", Proceedings Joint Symposium of the Association of Computational Linguistics and the International Association of Language Learning Technologies, pp.68~75 (1999)
- Burstein, J. C., "Automated essay evaluation with natural language processing", Paper Presented at the Annual Meeting of the American Educational Research Association (2001)
- Chung, G. K., "Issues in the reliability and validity of automated scoring of constructed responses, In Automated essay scoring: A cross-disciplinary perspective" (2003), Lawrence
- Clauser, B. E., "Development of a scoring algorithm to replace expert rating for scoring a complex performance-based assessment", Applied Measurement of Education, 10, pp.345~358 (1997)
- Jiang, J., "Automated scoring research over 40 Years : Looking back and ahead", Journal of Artificial Intelligence, 5(1), pp.56~63 (2012)
- Landauer, T. K., "The intelligent essay assessor: Putting knowledge to the test", Proceedings of the Association of Test Publishers Conference on Computer-Based Testing: Emerging Technologies and Opportunities for Diverse Application (2001)
- Nichols, P. D., "Evidence for the interpretation and use of scores from an automated essay scorer", Proceedings of the Annual Meeting of the American Educational Research Association(AERA) (2004)
- Page, E. B., "Project essay grade: PEG, In Automated essay scoring: A cross-disciplinary perspective", pp.43~54 (2003), Lawrence Erlbaum Associates
- Williamson, D. M., ""Mental Model"comparison of automated and human scoring", Journal of Educational Measurement, 36, pp.158~184 (1999)
- Yang, Y., "A review of strategies for validating computer-automated scoring", Applied Measurement of Education, 15, pp.391~412 (2002)