순환 신경망 기반 언어 모델을 활용한 초등 영어 글쓰기 자동 평가
Automatic Evaluation of Elementary School English Writing Based on Recurrent Neural Network Language Model
0
조회
0
다운로드
10
인용
0
참고문헌
키워드
초록
글쓰기 보조 프로그램으로 많이 활용되는 맞춤법 검사기는 문법적 오류 교정을 주목적으로 한다. 그러나 초등학생들이 작성한 글 중에는 문법적으로는 옳더라도 자연스럽지 않은 문장이 있을 수 있다. 본 논문에서는 동일한 의미를 가진 2개의 문장이 주어졌을 때, 어떤 것이 더 자연스러운 문장인지 자동 판별할 수 있는 방법을 소개한다. 이 방법은 순환 신경망(recurrent neural network)을 이용하여 장기 의존성(long-term dependencies) 문제를 해결하고, 보조 단어(subword)를 사용하여 희소 단어(rare word) 문제를 해결한다. 약 200만 문장의 단일어 코퍼스를 통해 순환 신경망 기반 언어 모델을 학습하였다. 그 결과, 초등학생들이 주로 틀리는 표현들과 그에 대응하는 올바른 표현을 입력으로 주었을 때, 모든 경우에 대해 자연스러운 표현을 자동으로 선별할 수 있었다.
Abstract
We often use spellcheckers in order to correct the syntactic errors in our documents. However, these computer programs are not enough for elementary school students, because their sentences are not smooth even after correcting the syntactic errors in many cases. In this paper, we introduce an automated method for evaluating the smoothness of two synonymous sentences. This method uses a recurrent neural network to solve the problem of long-term dependencies and exploits subwords to cope with the rare word problem. We trained the recurrent neural network language model based on a monolingual corpus of about two million English sentences. In our experiments, the trained model successfully selected the more smooth sentences for all of nine types of test set. We expect that our approach will help in elementary school writing after being implemented as an application for smart devices.
참고문헌 (23)
- Bahdanau, D., "Neural Machine Translation By Jointly Learning to Align and Translate", Proceedings of the International Conference on Learning Representations, pp.1~15 (2015)
- Cho, K., "Deep Learning for Machine Translation", DL4MT Winter School, ~ (2015)
- Gonzalez, Y., "The Role of Collaborative Work in the Development of Elementary Students’ Writing Skills", Profile Issues in Teacher’ Professsional Development, 15(1), pp.11~25 (2013)
- Graves, A., "Generating Sequences with Recurrent Neural Networks", arXiv:1308.0850, ~ (2013)
- Hochreiter, S., "Long Short-term Memory", Neural Computation, 9(8), pp.1735~1780 (1997)
- 인지영, "로봇보조학습(RALL)을 통한 초등 영어 학습자의 운율 변화", 정보교육학회논문지, 20(4), pp.323~332 (2016), 한국정보교육학회[DOI]
- 장세지, "교수학습활동에서 교사들의 앱 활용에 관한 연구", 정보교육학회논문지, 20(1), pp.1~12 (2016), 한국정보교육학회[DOI]
- 전수진, "웹 기반 기초학력 진단-보정 시스템의 개선 방안 도출", 정보교육학회논문지, 20(5), pp.487~498 (2016), 한국정보교육학회
- 김철, "초소형 PC 의 교육적 활용에 관한 연구", 정보교육학회논문지, 18(1), pp.101~110 (2014), 한국정보교육학회[DOI]
- Koehn, P., "Europarl: A Parallel Corpus for Statistical Machine Translation", MT Summit (2005)
- 이재인, "데이터 로깅 활용 Smart r-Learning이학생들의 논리적 사고력에 미치는 효과", 정보교육학회논문지, 18(1), pp.25~33 (2014), 한국정보교육학회[DOI]
- 이미화, "스마트 교수-학습 자료 지원 시스템의 개발 및 효과 분석 연구", 정보교육학회논문지, 19(4), pp.399~408 (2015), 한국정보교육학회[DOI]
- 이용희, "대학생의 활동중심 진로교육을 위한 웹기반 인터페이스 설계", 정보교육학회논문지, 19(3), pp.345~360 (2015), 한국정보교육학회[DOI]
- Luong, M., "Effective Approaches to Attention-based Neural Machine Translation", arXiv:1508.04025, ~ (2015)
- 박선주, "농산어촌 수학⋅과학 ICT 콘텐츠 설계 및 개발", 정보교육학회논문지, 19(2), pp.215~224 (2015), 한국정보교육학회[DOI]
- 박영기, "통계 언어모델 기반 객관식 빈칸 채우기 문제 생성", 정보교육학회논문지, 20(2), pp.197~206 (2016), 한국정보교육학회
- 박영기, "초등 글쓰기 교육을 위한 유사 문장 자동 선별", 정보교육학회논문지, 20(4), pp.333~340 (2016), 한국정보교육학회
- Pham, T., "A Study on Teaching and Learning Korean Grammars Method Based on Paraphrasing Activities", Master, pp.2012
- 류미영, "영어 말하기와 듣기 능력 신장을 위한 스마트 앱의 설계 및 개발", 정보교육학회논문지, 20(4), pp.367~374 (2016), 한국정보교육학회
- Sennrich, R., "Neural Machine Translation of Rare Words with Subword Units", Proceedings of the Annual Meeting of the Association for Computational Linguistics (2016)
- 서순식, "스마트교육에 대한 교사의 인식 및 활용 실태", 정보교육학회논문지, 20(2), pp.139~150 (2016), 한국정보교육학회
- Thornbury, S., "How to Teach Grammar" (2000), Longman
- Xu, K., "Show, Attend and Tell: Neural Image Caption Generation with Visual Attention", arXiv:1502.03044, ~ (2015)