준지도학습 방법을 이용한 한국어 서답형 문항 반자동 채점
Semi-Automatic Scoring for Short Korean Free-Text Responses Using Semi-Supervised Learning
0
조회
0
다운로드
6
인용
0
참고문헌
키워드
초록
서답형 문항은 학생들의 종합적인 사고력을 평가할 수 있다는 장점이 있으나, 채점 비용이 많이 들고 채점자의 주관이 개입될 수 있다는 단점이 있다. 이런 단점을 개선하기 위해 영어권에서는 자동채점 시스템을 개발하여 사용하고 있으나, 한국어의 경우에는 아직 여전히 연구 단계에 있다. 본 논문에서는 준지도학습 방법을 이용한 한국어 서답형 문항의 채점 시스템을 제안한다. 제안된 시스템은 모범답안을 초기 모델로 학생답안의 일부를 채점하고 그 결과를 이용해서 점진적으로 학생답안의 채점을 늘려가는 준지도학습 방법을 이용한다. 제안된 시스템을 평가하기 위해서 2013학년도 학업성취도 평가의 국어 및 사회 과목의 서답형 문항을 사용했다. 채점 시간과 일관성에 관해서 매우 좋은 결과를 얻었다. 그 결과 채점 시간을 크게 단출할 수 있었으며 다양한 채점 방법을 적용하여 객관성을 확보한다면 현장에서 바로 적용할 수 있을 것으로 기대된다.
Abstract
Through short-answer questions, we can reflect the depth of students’ understanding and higher-order thinking skills. Scoring for short-answer questions may take long time and may be an issue on consistency of grading. To alleviate such the suffering, automated scoring systems are widely used in Europe and America, but are in the initial stage in research in Korea. In this paper, we propose a semi-automatic scoring system for short Korean free-text responses using semi-supervised learning. First of all, based on the similarity score between students’ answers and model answers, the proposed system grades students’ answers and the scored answers with high reliability have been included in the model answers through the thorough test. This process repeats until all answers are scored. The proposed system is used experimentally in Korean and social studies in Nationwide Scholastic Achievement Test. We have confirmed that the processing time and the consistency of grades are promisingly improved. Using the system, various assessment methods have got to be developed and comparative studies need to be performed before applying to school fields.
참고문헌 (26)
- 2014학년도 대학수학능력시험체제 개발을 위한 기초 연구, "이양락", 한국교육과정평가원, ~, pp.한국교육과정평가원 연구보고서 대수능 CAT 2010-3 (2010)
- 진경애, "영작문 자동 채점 시스템 개발 연구", 영어어문교육, 13(1), pp.235~259 (2007), 한국영어어문교육학회
- S. Dikli, "An Overview of Automated Scoring of Essays", The Journal of Technology, Learning, and Assessment, 5(1), pp.5~35 (2006)
- E. Jang, "KASS: Korean Automatic Scoring System for Short-answer Questions", Proceedings of the 6th International Conference on Computer Supported Education, pp.226~230
- Y. Chen, "An Unsupervised Automated Essay-Scoring System", IEEE Intelligent Systems, pp.61~67 (2010)
- C. Leacock, "C-rater: Automated Scoring of Short-Answer Questions", Computers and the Humanities, 37, pp.389~405 (2003)
- 박일남, "정답 템플릿 작성 방식에 의한 한국어 서답형 문항 자동채점 시스템", 정보과학회 컴퓨팅의 실제 논문지, 19(12), pp.630~636 (2013), 한국정보과학회
- Automated Essay Scoring with E-rator v.2.0, "Y. Attali", ~, pp.ETS Research Report RR-04-45 (2005)
- L. M. Rudner, "An Evaluation of the IntelliMetricSM Essay Scoring System", The Journal of Technology, Learning, and Assessment, 4(4) (2006)
- ETS Automated Scoring Technologies, "ETS", ETS, ~ (2010)
- 최동경, "벡터 유사도와 시소러스를 이용한 주관식 답안의 채점 방법", 석사, pp.2001
- 박희정, "유의어 사전을 이용한 주관식 문제 채점 시스템 설계 및 구현", 컴퓨터교육학회 논문지, 6(3), pp.207~216 (2003), 한국컴퓨터교육학회
- 강원석, "질의문 유형 분석을 통한 서답형 자동 채점 시스템", 한국콘텐츠학회 논문지, 11(2), pp.13~21 (2011), 한국콘텐츠학회
- 조우진, "의미커널과 한글 워드넷에 기반한 지능형 채점 시스템", 정보처리학회논문지. 컴퓨터 및 통신시스템, 12(7), pp.539~546 (2005), 한국정보처리학회
- 한국어 서답형 문항 자동채점 프로그램 개발 및 실용성검증, "노은희", 한국교육과정평가원, ~, pp.한국교육과정평가원, 연구보고서 RRE 2014-6 (2014)
- P. Harrington, "Machine Learning in Action" (2012), Manning Publications
- O. Chapelle, "Semi-supervised learning", pp.1~8 (2006), The MIT Press
- A. Sogaard, "Semi-Supervised Learning and Domain Adaptation in Natural Language Processing" (2013), Morgan & Claypool Publishers
- S. Bergsma, "Large-Scale Semi-Supervised Learning for Natural Language Processing", PhD, Department of Computing Science, pp.2010
- "21세기 세종계획, 문화체육관광부" (2011), 국립국어원[URL]
- 김성용, "Tabular parsing 방법과 접속 정보를 이용한 한국어 형태소 분석기", 석사, Computer Science, pp.1987
- 김재훈, "가중치망 모델을 이용한 한국어 품사 태깅", 한국정보과학회논문지, 25(6), pp.951~959 (1998)
- J. Nivre, "Algorithms for Deterministic Incremental Dependency Parsing", Computational Linguistics, 34(4), pp.513~553 (2008)
- G. Salton, "Introduction to Modern Information Retrieval", pp.118~120 (1983), McGraw-Hill
- G. Casella, "An Introduction to Statistical Learning with Applications in R" (2013), Springer
- "2013년도 국가 수준 학업 성취도 평가 기출답안및 정답" (2013), 한국교육과정평가원[URL]