한국어 쓰기 자동 채점을 위한 언어 자질 탐색 연구
An exploratory study on the language features for the automated scoring for Korean writing
1
조회
0
다운로드
16
인용
0
참고문헌
키워드
초록
본 연구는 대규모 쓰기 평가의 채점자 신뢰성과 효율성을 높이기 위해 자동 채점으로 전환되는 평가 환경에 따라, 한국어 학습자의 쓰기 답안을 자동 채점 시 점수에 영향을 미치는 요인이 무엇인가를 파악해 보기 위한 연구이다. 이를 위해 중급 학습자의 쓰기 자료 151점을 수집하여 기계적으로 측정 가능한 언어 특징과 점수의 관계를 살펴보았다. 선행 외국어 평가의 자동 채점 자질을 살펴보고, 한국어 쓰기 점수에 영향을 미치는 요인을 검토한 후, 이를 바탕으로 본 연구에서 분석하고자 하는 언어 자질을 결정하였고 문장 단위의 특성과 어휘의 질적 특성에 대한 분석을 시도하여 쓰기 점수와의 상관관계를 분석함으로써 쓰기 점수에 영향을 미치는 요인을 살펴보았다. 한국어 학습자들의 쓰기 자료를 문장 단위의 특징(총 어휘 수, 어절 수, 문장 수, 문장 안에서의 어절 수)으로 분석한 결과, 모든 요인이 모두 점수와 상관관계가 있는 것으로 나타났으며 그중에서 점수에 영향을 주는 요인은 총 어휘 수라는 것을 알 수 있었다. 한편 어휘 특성별로 분석을 실시한 결과, 밀도를 제외한 다른 모든 요인들이 점수에 영향을 주는 것으로 나타났다. 본 연구에서는 이러한 결과를 바탕으로 총 어휘 수, L값, 세련도, 오류 수를 가지고 다시 다중선형회귀분석을 실시해보니, 총 어휘 수, 오류 수, 세련도의 순서로 점수에 영향을 주는 변수인 것으로 나타났다. 이는 영어 에세이 자동 채점 프로그램에서 채점 자질로서 사용되는 변수와도 유사한 것으로 한국어 서술형 문항의 자동 채점 프로그램에의 적용 가능성을 확인하였다고 할 수 있다.
Abstract
This study aims to find out the features that affect the score when automated scoring Korean learners' writing according to the assessment environment that gradually switches to automated scoring to increase the reliability of the score of the large-scale writing assessment. For this purpose, we collected 151 pieces of intermediate Korean learners’ writing works and examined the relationship between mechanically measurable language features and scores. After examining the automated scoring features of prior foreign language assessment, and also reviewing features affecting the Korean writing score, the language features to be analyzed in the study were determined based on this. We tried to analyze the characteristics of the sentence unit and the qualitative characteristics of the vocabulary, and analyzed the correlation with the writing score to examine the features affecting the writing score. As a result of analyzing the total number of vocabulary, the number of word segments, the number of sentences, and the number of vocabulary in a sentence, it was found that all features of the sentence unit had a correlation with the score. It was found that among them, the features affecting the score was the total number of vocabulary. Meanwhile, as a result of analyzing each lexical features, it was found that all features except density affect the score. In this study, based on these results, multi-linear regression was conducted again with the total number of vocabulary, L value, sophistication, and error, and it was found that it was a variable that influenced the score in the order of total vocabulary, error, and sophistication. This is similar to the variable used as a scoring feature in the English essay automated scoring program, and it can be said that the applicability of Korean narrative type questions to the automated scoring program has been confirmed.
참고문헌 (22)
- 강범모, "국어 사용 빈도" (2009), 한국문화사
- 국립국어원, "한국어 교육 어휘 내용 개발(1, 2, 3단계)" (2014), 국립국어원
- 김승주, "텍스트 마이닝을 활용한 논증적 글쓰기 자동 채점 자질 추출 및 타당화 연구, 석사학위논문", 석사, pp.2019
- 김승주, "채점 자질 설계를 통한 지도 학습 기반 작문 자동 채점의 타당도 확보 방안 탐색", 청람어문교육, (69), pp.265~295 (2019), 청람어문교육학회[DOI]
- 남주연, "한국어 학습자의 구어에 나타난 어휘 다양성 측정 -D값을 중심으로-", 한국어 의미학, 45, pp.69~97 (2014), 한국어의미학회
- 박정은, "한국어 고급 학습자의 작문에 나타난 어휘의 다양성", 한국어교육, 25(2), pp.1~32 (2014), 국제한국어교육학회[DOI]
- 배도용, "한국어 학습자의 쓰기에 나타난 어휘 다양도 및 어휘 밀도 연구", 언어과학, 19(1), pp.99~117 (2012), 한국언어과학회
- 배도용, "한국어 학습자 문어 산출물에 나타난 어휘 풍요도 측정을 위해 해결해야 할 몇 가지 문제", 우리말연구, (36), pp.133~156 (2014), 우리말학회[DOI]
- 안경화, "중간언어 어휘론 연구의 관제와 전망", 이중언어학, (23), pp.167~186 (2003)
- 원미진, "한국어 학습자의 쓰기에 나타난 어휘 풍요도 연구-숙달도 측정 도구로써 어휘 풍요도 측정 가능성을 중심으로", 어문론총, (71), pp.33~55 (2017), 한국문학언어학회[DOI]
- 이복자, "한국어 학습자의 쓰기와 말하기에 나타난 복잡성, 정확성, 유창성에 역동성 발달 연구", 박사, pp.2016
- 이슬기, "토픽 모델링에 따른 고등학생 논설문의 응결성과 응집성의 상관분석", 국어교육학연구, 52(3), pp.135~162 (2017), 국어교육학회[DOI]
- 이용상, "한국어 쓰기 평가를 위한 자동채점의 가능성 탐색", 이중언어학, (86), pp.171~191 (2022), 이중언어학회[DOI]
- 주우동, "중국인 한국어 학습자의 언어 발달 양상 연구-복잡성과 정확성을 중심으로", 박사, pp.2019
- 진대연, "한국어 쓰기능력 구성요소로서의 어휘에 대한 연구", 이중언어학, (30), pp.385~418 (2006), 이중언어학회
- 하민수, "학습 도구로서의 서술형 평가 그리고 인공지능의 활용: WA3I 프로젝트 사례", 현장과학교육, 13(3), pp.271~282 (2019), 한국현장과학교육학회[DOI]
- Ellis, R., "Analysing learner language" (2005), Oxford University Press
- Laufer, B., "The development of L2 lexis in the expression of the advanced language learner", Modern Language writing Journal, 75, pp.440~448 (1991)
- Laufer, B., "Vocabulary size and use : Lexical richness in L2 written production", Applied Linguistics, 16(3), pp.307~322 (1995)
- Miller, D. G., "Evaluating reliability in quantitative vocabulary studies : The influence of corpus design and composition", International Journal of Corpus Linguistics, 20, pp.30~53 (2015)
- Read, J., "Assessing vocabulary" (2000), Cambridge University Press
- Ure, J., "Applications of linguistics: selected papers of the Second International Congress of Applied Linguistics", pp.443~452 (1971), Cambridge University Press