통계 언어모델 기반 객관식 빈칸 채우기 문제 생성
Automatic Generation of Multiple-Choice Questions Based on Statistical Language Model
0
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
빈칸 채우기 문제는 학생들이 학습 내용을 제대로 이해했는지 확인하기 위해 널리 사용되어 왔다. 이런 유형의 문제를 컴퓨터 알고리즘에 의해 자동으로 생성하는 많은 방법들이 제안되어 왔지만, 대부분 어떤 부분을 빈칸으로 만들면 좋을지에 대해 집중했기 때문에 적절한 보기를 자동으로 생성하는 연구는 미흡했다. 본 논문에서는 빈칸이 주어졌다고 가정하고, 이에 어울리는 보기를 자동 생성하는 알고리즘을 제안한다. 본 알고리즘은 통계 언어 모델에 기반하여 보기를 생성하기 때문에, 사람이 생성하는 경우보다 출제자에 편향되지 않은 보기를 제공할 수 있다. 또, 확률값에 기반하여 난이도를 자동으로 조절하는 것이 가능하기 때문에, 직접 사람이 문제를 만드는 것에 비해 상당한 비용 절감 효과가 있다. TEPS 문법, 어휘 시험에 대해 적용하여 실험한 결과, 사람과 유사한 결과를 생성함을 확인하였다. 향후 스마트 교육 분야에서 높은 활용도를 보일 것으로 기대한다.
Abstract
A fill-in-the-blank with choices are widely used in classrooms in order to check whether students’ understand what is being taught. Although there have been proposed many algorithms for generating this type of questions, most of them focus on preparing sentences with blanks rather than generating multiple choices. In this paper, we propose a novel algorithm for generating multiple choices, given a sentence with a blank. Because the algorithm is based on a statistical language model, we can generate relatively unbiased result and adjust the level of difficulty with ease. The experimental results show that our approach automatically produces similar multiple-choices to those of the exam writers.
참고문헌 (15)
- Acerbi, A., "The Expression of Emotions in 20th Century Books", PLoS ONE, 8(3) (2013)
- Alsubait, T., "Generating Multiple Choice Questions From Ontologies: Lessons Learnt", Proceedings of the 11th International Workshop on OWL: Experiences and Directions, pp.73~84
- 배영권, "스토리라인(Storyline)을 활용한 스마트 러닝 콘텐츠 개발에 관한 연구", 정보교육학회논문지, 17(2), pp.135~146 (2013), 한국정보교육학회
- "Google n-gram viewer"[URL]
- "Google n-gram viewer"[URL]
- Hoshino, A., "A Real-time Multiple-choice Question Generation for Language Testing: a Preliminary Study", Proceedings of the 2nd Workshop on Building Educational Applications Using NLP, pp.17~20 (2005)
- 김승준, "형태초점교수법 기반 초등학교 영어 단어 학습 스마트폰 어플리케이션 설계 및 구현", 정보교육학회논문지, 16(2), pp.223~231 (2012), 한국정보교육학회[DOI]
- 이성근, "스마트교육의 핵심요소에 대한 제안", 정보교육학회논문지, 17(2), pp.101~113 (2013), 한국정보교육학회
- Lin, J., "The role of context in question answering systems", Proceedings of the Extened Abstracts on Human Factors in Computing Systems, pp.1006~1007 (2003)
- "Pintos"[URL]
- Roth, S., "Fashionable functions. A Google ngram view of trends in functional differentiation (1800-2000)", International Journal of Technology and Human Interaction, 10(2), pp.34~58 (2014)
- 설문규, "초등학교에서 스마트 교육에 대한 교사들의 활용 인식 조사", 정보교육학회논문지, 16(3), pp.309~318 (2012), 한국정보교육학회
- Sumita, E., "Measuring non-native speakers' proficiency of English by using a test with automatically-generated fill-in-the-blank questions", Proceedings of the second workshop on Building Educational Applications Using NLP, pp.61~68 (2005)
- Thompson, A. S., "Are Your Participants Multilingual? The Role of Self-assessment in SLA Research", Language in Focus, 1(1), pp.51~65 (2015)
- Wood, C. L., "Comparing Whole-Word and Morphograph Instruction During Computer-Assisted Peer Tutoring on Students' Acquisition and Generalization of Vocabulary", Remedial and Special Education, 33(1), pp.39~47 (2010)