논증적 글쓰기 과제의 자동 채점을 위한 N-gram 자질의 활용 가능성 탐색
Exploring the Possibility of Using N-gram Feature for Automatic Scoring of Argumentative Writing Tasks
0
조회
0
다운로드
9
인용
0
참고문헌
키워드
초록
이 연구의 목적은 정형화된 연결어구와 관련하여 논증적 글쓰기 과제의 자동 채점을 위한 채점 자질을 구안하고 이를 통한 자동 채점의 가능성을 검토하는 것이다. 이에 본 연구는 세종 문어 코퍼스를 확보하여 상위 빈도 N-gram을 추출하고 표현의 적절성, 표현의 다양성, 표현의 복잡성과 관련된 자질을 설계하였으며 이후 수집된 학생 글 359편을 토대로 자동 채점의 가능성을 탐색하였다. 먼저 설계된 자질과 글 점수 간의 Pearson 상관분석을 실시한 결과, ‘3-gram 빈도’, ‘3-gram 유형’, ‘3~5-gram 유형’과 총점 간 상관이 .6 이상으로 나타났으며, 이후 자질과 총점 간 회귀분석을 실시한 결과 ‘3-gram 빈도’와 ‘3-gram 비율’이 총점에 대해 54.8%의 설명력을 갖는 것으로 나타났다. 이러한 결과는 논증적 글쓰기의 표층과 관련한 채점 자질이 학생의 논증 구성 능력을 포함하여 전체적인 글쓰기 능력을 상당한 수준에서 예측 또는 측정할 수 있다는 선행연구와 일치한다.
Abstract
The purpose of this study is to develop the scoring feature for the automatic scoring of demonstrative writing tasks and to examine the possibility of automatic scoring by using them. In this paper, we propose a method for extracting high-frequency N-grams from Sejong Corpus, designing features related to Appropriateness of expressions, diversity of expression, complexity of expressions, respectively. As a result of Pearson correlation analysis between the features and the total writing scores, the Pearson correlation coefficient between total scores and ‘3-gram frequency’, ‘3-gram type’ and ‘3~5-gram type’ were over 0.6. As a result of regression analysis, R2 of ‘3-gram frequency’ and ‘3-gram ratio’ were 54.8% of total score. These results are consistent with previous research that scoring features related to the surface of argumentative writing can predict or measure the overall writing ability at a significant level.
참고문헌 (34)
- 김승주, "텍스트 마이닝을 활용한 논증적 글쓰기 자동채점 자질 추출 및타당화 연구", 석사, pp.2019
- 김승주, "채점 자질 설계를 통한 지도 학습 기반 작문 자동 채점의 타당도 확보 방안 탐색", 청람어문교육, (69), pp.265~295 (2019), 청람어문교육학회[DOI]
- 김현숙, "대학생 글쓰기에서장르 기반 문법 지식 교육의 필요성 - 논설문을 중심으로 -", 작문연구, (29), pp.211~239 (2016), 한국작문학회
- 남길임, "한국어 정형화된 표현의 분석 단위에 대한 연구: 형태 기반 분석과 어절 기반 분석의 비교를 중심으로", 담화와 인지, 20(1), pp.113~136 (2013), 담화·인지언어학회[DOI]
- 박종훈, "수사구조이론(RST) 기반의 내용 조직 능력 진단 도구의 채점 방안 탐색", 국어교육연구, (41), pp.155~197 (2018), 국어교육연구소[DOI]
- 신경선, "한국어 학습자의 작문에 나타난 정형화된 언어 사용이 작문 평가 결과에 미치는 영향", 어학연구, 48(1), pp.77~96 (2012), 언어교육원[DOI]
- 이선영, "내용 조직 과제에 대한 수사구조이론(RST) 기반 채점 결과 분석 ─ 진단 도구 정교화를 위한 시사점을 중심으로", 국어교육학연구, 53(3), pp.269~299 (2018), 국어교육학회[DOI]
- 이슬기, "작문 평가에서 텍스트 마이닝의 활용 가능성 탐색", 작문연구, (35), pp.99~131 (2017), 한국작문학회[DOI]
- 이슬기, "토픽 모델링에 따른 고등학생 논설문의 응결성과 응집성의 상관분석", 국어교육학연구, 52(3), pp.135~162 (2017), 국어교육학회[DOI]
- 이은주, "한국인 영어 학습자 코퍼스를 활용한 정형화된 연결어구 분석", Foreign Languages Education, 16(2), pp.321~340 (2009), 한국외국어교육학회
- 이지원, "쓰기 평가의 키워드 채점 방식에 대한 타당성 분석", 국어교육학연구, 49(2), pp.513~548 (2014), 국어교육학회[DOI]
- 이현준, "쓰기 수행 수준에 따른 학생 글의 연결망 특성비교 분석", 학습자중심교과교육연구, 16(9), pp.1039~1067 (2016), 학습자중심교과교육학회[DOI]
- 최숙기, "중등학생의 자료 통합적 글쓰기에 나타난 자료 글 차용하기 수행 양상 연구 - 인용과 환언을 중심으로-", 작문연구, (38), pp.201~245 (2018), 한국작문학회[DOI]
- 최준, "한국어의 정형화된 표현 연구", 담화와 인지, 17(2), pp.163~190 (2010), 담화·인지언어학회[DOI]
- Altenberg, B., "Theory and practice in corpus linguistics", pp.1~26 (1990)
- Biber, D., "Longman grammar of spoken and written English (Vol. 2)" (1999), longman
- Brew, C., "Handbook of automated essay evaluation: Current applications and new directions", pp.136~ (2013)
- Chen, C. F. E., "Beyond the design of automated writing evaluation : Pedagogical practices and perceived learning effectiveness in EFL writing classes", Language Learning &Technology, 12(2), pp.94~112 (2008)
- Crossley, S., "Syntagmatic, paradigmatic, and automatic n-gram approaches to assessing essay quality", Twenty-Fifth International FLAIRS Conference (2012)
- Deane, P., "On the relation between automated essay scoring and modern views of the writing construct", Assessing Writing, 18(1), pp.7~24 (2013)
- Dörnyei, Z., "Individual differences and their effects on formulaic sequence acquisition", Formulaic sequences, pp.87~106 (2004)
- Huang, X., "The SPHINX-II speech recognition system: an overview", Computer Speech &Language, 7(2), pp.137~148 (1993)
- Kerz, E., "Formulaic language:Distribution and historical change", pp.97~116 (2009)
- Knapp, P., "장르, 텍스트, 문법: 쓰기 교육을 위한 문법" (2007), 박이정
- Moon, R., "Vocabulary:Description, acquisition and pedagogy", pp.40~63 (1997)
- Moon, R., "Fixed expressions and idioms in English: A corpus-based approach" (1998), Oxford University Press
- "Machine Learning and AI via brain simulations" (2013)[URL]
- Perelman, L., "When “the state of the art” is counting words", Assessing Writing, 21, pp.104~111 (2014)
- Read, J., "Formulaic sequences: Acquisition, processing and use", pp.23~35 (2004)
- Sorhus, H. B., "To hear ourselves—Implications for teaching English as a second language", ELT Journal, 31(3), pp.211~221 (1977)
- Swales, J., "Genre analysis: English in academic and research settings" (1990), Cambridge University Press
- "Facing a robo-grader? Just keep obfuscating mellifluously" (2012)[URL]
- Wolfe, E. W., "The relationship between essay reading style and scoring proficiency in a psychometric scoring system", Assessing Writing, 4(1), pp.83~106 (1997)
- Wray, A., "Formulaic sequences in second language teaching : Principle and practice", Applied linguistics, 21(4), pp.463~489 (2000)