작문 평가에서 텍스트 마이닝의 활용 가능성 탐색
Exploring the Possibility of Using Text Mining in Writing Assessment
0
조회
0
다운로드
21
인용
0
참고문헌
키워드
초록
이 연구에서는 텍스트 마이닝을 활용하여 산출한 학생 글의 특성을 평가자들의 채점 결과와 비교해 봄으로써, 평가를 위한 정량적인 정보 제공의 가능성을 타진해 보고자 하였다. 이를 위해 내용, 조직, 표현에 해당하는 평가 기준을 설정하고, 텍스트 마이닝 기법을 활용하여 학생 글을 분석 후, 항목에 따라 어떤 특징이 있는지를 살펴보았다. 연구 결과는 다음과 같다. CTM 지수를 사용하여 자료 활용 정도를 측정한 결과, 하 수준의 글에서는 제시문을 전혀 활용하지 않은 글이 다수 발견된 반면, 상위 수준의 글일수록 제시문을 활용하여 자신의 주장을 견지하는 근거로 사용하고 있었다. 연결망 분석을 통해 조직에서 주장과 근거의 긴밀성을 추정한 결과, 하위 수준의 글에서는 뚜렷한 핵심어를 살펴볼 수 없었고, 주장에 해당하는 어휘가 근거의 어휘들과 매우 약한 연관성만을 보이고 있었다. 반면, 상위 수준의 글일수록 주장을 나타내는 핵심 단어의 중심성이 더욱 뚜렷해지며, 근거에 해당하는 단어들과의 연결 관계도 긴밀해짐을 알 수 있었다. 어조의 경우, 상 수준의 글에는 다른 집단에 비해 어조를 짐작할 수 있는 다양한 어휘들이 사용되었다. 특히 단정적 어조를 나타내는 어휘들이 많았으며, 강조를 나타내는 부사들도 다채로운 양상을 보였다. 이에 반해 하위 수준의 글에는 감정을 나타내는 어휘들이 많았고, 추측의 표현을 자주 사용하는 것을 확인할 수 있었다. 이 연구를 통해 항목별로 수준에 따라 보이는 글의 특성에는 차이가 존재하고, 이러한 차이점을 텍스트 마이닝 분석 결과로 설명할 수 있음을 검증할 수 있었다.
Abstract
This study compared the characteristics of students’ writings derived using text mining with the evaluation results of evaluators and examined the potential of providing quantitative information for evaluation. Therefore, evaluation standards for content, organization, and expression were established. Students’ writings were analyzed using the text mining technique and their characteristics were assessed according to the set standards. Our study found the following. The degree of data referencing was examined using the CTM index, and it was revealed that many writings that were given a low grade did not cite the given text at all, whereas better graded writings utilized it more frequently as evidence to support arguments. Network analysis was conducted to estimate the correlation between argument and evidence in organization. No key words were clearly identifiable in low grade writings, and vocabulary corresponding to their arguments was noticeably weakly correlated with the vocabulary used in the evidence. On the contrary, the study found that the centrality of key words demonstrating the argument was higher and the relationship with the terms corresponding to evidence became closer. In the case of tone, high grade writings employed a wider use of diverse vocabulary, which helped infer the tone in comparison to other groups. Vocabulary with an assertive tone was frequently observed, and adverbs for emphasis were much more varied. Conversely, low grade writings often employed vocabulary expressing emotion and used presumptive expressions more frequently. Our study demonstrates that differences are present in the characteristics of writings of varying levels according to the standards, and the differences can be explained based on text mining analysis results.
참고문헌 (30)
- 가은아, "쓰기 발달의 양상과 특성 연구", 박사, 국어교육, pp.2011
- 김봉순, "아동기와 청소년기의 문식성 발달"", 공주교대논총, 46(2), pp.25~56 (2011), 공주교대
- 김성근, "학술연구에서의 텍스트마이닝 활용 현황과 주요분석기법", 정보기술아키텍처 연구, 13(2), pp.317~329 (2016), 한국엔터프라이즈아키텍처학회
- 김종윤, "다문서 읽기 연구의 연구 동향과 전망", 국어교육학연구, 49(3), pp.137~163 (2014), 국어교육학회
- 김지은, "텍스트 빅데이터 분석 기법을 활용한 대학구조개혁 평가의 쟁점 분석", 아시아교육연구, 17(3), pp.409~436 (2016), 교육연구소
- 김진형, "툴민 논증 모형의 사용에 대하여 -토론 수업을 중심으로-", 범한철학, 66(3), pp.209~248 (2012), 범한철학회
- 민병곤, "논증적 텍스트의 생산과정에서 논증 도식의 운용 양상에 대한 분석 및 교육적 시사", 국어교육학연구, (18), pp.183~222 (2003), 국어교육학회
- 박성희, "언론의 개방담론 논증구조 분석스크린쿼터제 관련 의견보도에 대한 Toulmin의 논증모델과 Stock Issue의 적용", 한국언론정보학보, 36, pp.399~422 (2006), 한국언론정보학회
- 박영민, "쓰기 효능감 및 성별 차이가 중학생의 쓰기 수행에 미치는 효과", 국어교육학연구, (28), pp.327~360 (2007), 국어교육학회
- 박주영, "쓰기분석방법에 관한 국내외 문헌연구", 언어치료연구, 23(1), pp.31~53 (2014), 한국언어치료학회
- 손선주, "한국어 감정표현단어의 추출과 범주화", 감성과학, 15(1), pp.105~120 (2012), 한국감성과학회
- 엄해영, "어조와 목소리를 통한 글읽기", 한국초등교육, 8(2), pp.81~102 (1996), 서울교육대학교 초등교육연구소
- 유재임, "T-unit 분석방법과 문장합성연습", 신영어영문학, (31), pp.259~287 (2005), 신영어영문학회
- 이준웅, "정서 단어 분류를 통한 정서의 구성 차원 및 위계적 범주에 관한 연구", 한국언론학보, 52(1), pp.85~116 (2008), 한국언론학회
- 이해윤, "텍스트 유형별 구조 비교분석 - 수사구조이론을 기반으로", 텍스트언어학, 23(23), pp.231~254 (2007), 한국텍스트언어학회
- 장성민, "고등학생의 자료 통합적 글쓰기에서 분량에 따른 능숙한 필자와 미숙한 필자의 논증 양상 비교", 국어교육학연구, 50(3), pp.193~233 (2015), 국어교육학회
- 조병영, "미국 공통핵심기준의 가능성과 한계에 대한 비판적 고찰 —읽기 영역을 중심으로—", 국어교육학연구, 49(1), pp.625~656 (2014), 국어교육학회
- 최원종, "어휘별 분류기를 이용한 한국어 품사 부착의성능 향상", 정보과학, 10, pp.133~139 (2006), 한국정보과학회
- 홍문표, "자동논조분석 시스템 개발을 위한 독일어 텍스트의 논조별 어휘출현양상 연구", 독어독문학, 50(3), pp.414~433 (2009), 한국독어독문학회
- 홍종선, "감정동사의 범주 규정과 유형 분류", 한국어학, 45, pp.387~420 (2009), 한국어학회
- Beeb, L. M., "Pragmatic Literacy: Words that Work" (2000), Manhattan Community College
- Beeb, L. M., "Studying Speaking to Inform Second Language Learning", pp.228~249 (2004), Multilingual Matters Ltd
- Behrman, E. H., "Teaching about language, power, and text : A review of classroom practices that support critical literacy", Journal of Adolescent &Adult Literacy, 49(6), pp.490~498 (2006)
- Blei, D. M., "Probabilistic topic models", Communications of the ACM, 55(4), pp.77~84 (2012)
- Esuli, A., "SentiWordNet: A Publicly-Available Lexical Resource for Opinion Mining", Proceedings of LREC-06, 5th Conference of Language Resources and Evaluation, pp.417~422 (2006)
- Hotho, A., "A brief survey of text mining", Ldv Forum, 20, pp.19~62 (2005)
- Housen, A., "Complexity, accuracy, and fluency in second language acquisition", Applied Linguistics, 30(4), pp.461~473 (2009)
- Issacson, S., "Communication Skills and Classroom Success: Assessment Methodologoies for Language-Learning Disabled Students" (1985), College-Hill Press
- Mellon, J. C., "Sentence Combining and the Teaching of Writing", pp.1~38 (1979), University of Akron
- Skehan, P., "A cognitive approach language learning" (1998), Oxford University Press