본문 바로가기
KERD
논문KCI 등재

Transformer 언어 모델을 활용한 초중등 학습자 작문 연령 예측 모델 구현

Implementation of Age Prediction Model for Elementary and Secondary Learners' Writings Using Transformer Language Model

강지영|이상재|오지은|나상수
청람어문교육학회 (Cheongram Korean Language Education Association)|2022.11|청람어문교육 (Journal of CheongRam Korean Language Education)|제90호|pp. 51-96|DOI 10.26589/jockle..90.202211.51

1

조회

0

다운로드

7

인용

0

참고문헌

키워드

딥러닝BERT학습자 작문Deep-learningWriting DevelopmentBART작문 발달Transformer 언어 모델Transformer Language ModelLearners’ Writings

초록

본 연구에서는 Transformer 언어 모델, 그중에서도 한국어 BERT 및 BART 모델을 활용하여 초중등 학습자 작문의 연령대를 예측할 수 있는 연령 예측 모델을 구현하였다. 대규모의 코퍼스에 대하여 사전 학습한 KoBERT, KcBERT, KoBART 모델에 기반하여 국립국어원 ‘모두의 말뭉치’ 중 ‘국립국어원 비출판물 말뭉치(버전 1.1)’를 대상으로 미세 조정(fine-tuning)을 진행함으로써 학습자 작문 연령 예측 모델을 구현하였다. 결과적으로 예측 모델은 약 61.1%에서 68.1%의 정확도를 가지는 것으로 나타났으며, 그중에서도 KoBART에 기반을 둔 예측 모델이 가장 우수한 성능을 보였다. 특히, 작문의 장르를 고려하여 미세 조정을 진행한 경우 최대 70% 이상의 정확도를 보여 초중등 학습자 작문에 대한 연령 예측 모델 정교화의 가능성을 확인할 수 있었다. 본고는 학습자 작문 연령 예측 모델을 활용하여 연령대별로 전형적이라고 판단되는 학습자 작문들을 추출하였다. 이를 통해 학습자 작문의 발달 양상을 분석하는 것이 가능하며, 더 나아가서는 전형성과 대표성을 가지는 학습자 작문을 바탕으로 학습자 작문 평가 또는 작문 교수·학습 내용의 단서를 탐색할 수 있는 기반을 마련할 수 있을 것으로 기대된다.

Abstract

This study implemented a prediction model that can predict the age group of elementary and secondary learners’ writings using the Transformer language model, especially KoBERT, KcBERT, and KoBART. By conducting fine-tuning for the "National Language Institute's non-published corpus (version 1.1)" among the "everyone corpus" based on the KoBERT, KcBERT, and KoBART which are pre-trained for large-scale corpus, an age prediction model was embodied. As a result, the prediction model was found to have an accuracy of about 61.1% to 68.1%, and among them, the prediction model based on KoBART showed the best performance. In particular, when fine-tuning was conducted in consideration of the genre of writings, the accuracy was up to 70% or more, confirming the possibility of elaborating the age prediction model for elementary and secondary learners’ writings. In addition, this paper extracted learners’ writings that are judged to be typical for each age group by using the age prediction model. Through this, it is possible to analyze the development aspect of learners’ writings, and furthermore, it is expected to lay the foundation for searching for clues to evaluations for learners’ writings or teaching & learning content of writing based on typical and representative learners’ writings.

참고문헌 (66)

  1. 가은아, "설명문 쓰기 능력 발달 연구－초6에서 고1 학생들을 중심으로－", 청람어문교육, (41), pp.139~168 (2010), 청람어문교육학회[DOI]
  2. 강은숙, "직무분석을 위한 머신러닝 기반 전자문서 자동 분류 모델", 한국정보기술학회논문지, 17(7), pp.23~29 (2019), 한국정보기술학회[DOI]
  3. 강창완, "머신러닝기법을 이용한 심사위원 자동추천 알고리즘 개발", Journal of The Korean Data Analysis Society, 22(6), pp.2405~2412 (2020), 한국자료분석학회[DOI]
  4. 권수정, "119 신고 데이터를 이용한 자연어처리 기반 재난안전 상황 분류 알고리즘 분석", 정보처리학회 논문지, 9(10), pp.317~322 (2020), 한국정보처리학회[DOI]
  5. 권순희, "초등학생 글쓰기에 나타난 언어 발달 양상", 한국초등국어교육, (39), pp.5~47 (2009), 한국초등국어교육학회[DOI]
  6. 김경희, "텍스트마이닝을 이용한 D대학교 서술형 강의평가 내용분석", Journal of The Korean Data Analysis Society, 23(6), pp.2599~2606 (2021), 한국자료분석학회[DOI]
  7. 김기용, "Word2Vec과 2계층 양방향 장단기 기억 네트워크를 이용한 특허 문서의 자동 IPC 분류", 한국차세대컴퓨팅학회 논문지, 15(2), pp.50~60 (2019), 한국차세대컴퓨팅학회[DOI]
  8. 김덕호, "국가 언어 자원 축적 성과와 통합 정보 활용 서비스 구축에 대하여", 國語學, (96), pp.137~180 (2020), 국어학회[DOI]
  9. 김범수, "비정형 빅데이터 기반의 주가 추이 예측을 위한 트랜스포머 NLP의 개선모델", 박사, pp.2021
  10. 김승주, "딥러닝 자연어처리 기법을 활용한 논증적 글쓰기 자동 채점 방안연구: 교사 채점자와 기계 채점자의 협업적 채점 수행 모델을 기반으로", 박사, pp.2022
  11. 김영광, "미세먼지 예측 성능 개선을 위한 시공간 트랜스포머 모델의 적용", 지능정보연구, 28(1), pp.329~352 (2022), 한국지능정보시스템학회
  12. 김영수, "Doc2Vec 모형에 기반한 자기소개서 분류 모형 구축 및 실험", 한국IT서비스학회지, 19(1), pp.103~112 (2020), 한국IT서비스학회[DOI]
  13. 조성욱, "한국어 텍스트 분석과 적용: 머신러닝을 통한 증권발행신고서의 비정형화된 텍스트 분석", 한국증권학회지, 48(2), pp.215~235 (2019), 한국증권학회[DOI]
  14. 김탁영, "한국어 문서요약 및 음성합성 통합 프레임워크 구축", 대한산업공학회지, 48(1), pp.80~90 (2022), 대한산업공학회[DOI]
  15. 김태석, "CTR 예측을 위한 비전 트랜스포머 활용에 관한 연구", 지식경영연구, 22(4), pp.27~40 (2021), 한국지식경영학회[DOI]
  16. 김판준, "기계학습에 기초한 국내 학술지 논문의 자동분류에 관한 연구", 정보관리학회지, 35(2), pp.37~62 (2018), 한국정보관리학회[DOI]
  17. 김판준, "랜덤포레스트를 이용한 국내 학술지 논문의 자동분류에 관한 연구", 정보관리학회지, 36(2), pp.57~77 (2019), 한국정보관리학회[DOI]
  18. 김해인, "초등학교 3학년의 쓰기 발달 연구- 학기와 장르에 따른 양적 변화를 중심으로 -", 한국초등국어교육, (65), pp.55~76 (2018), 한국초등국어교육학회[DOI]
  19. 김현종, "임베딩 교체에 따른 구어체 텍스트 탐지 모델 성능 비교", 데이타베이스연구, 36(2), pp.45~55 (2020), 한국정보과학회
  20. 박태호, "국어 표현에 대한 초등학생의 쓰기 특성 및 발달 고찰", 국어교육학연구, (23), pp.273~300 (2005), 국어교육학회
  21. 수업-평가 연계 강화를 통한서‧논술형 평가 내실화 방안, "박혜영", 한국교육과정평가원, ~, pp.RRE 2019-6 (2019)
  22. 신준철, "모두의 말뭉치를 이용한 한국어 다의어 분별", 한국정보과학회 언어공학연구회 제32회 한글 및 한국어 정보처리 학술대회 논문집, pp.205~210 (2020)
  23. 신현숙, "분석적 평가에 의한 논증글 쓰기 수행의 발달적 차이", 교육학연구, 46(1), pp.1~29 (2008), 한국교육학회
  24. 신현숙, "쓰기 표현 능력의 발달 경향 : 설명글과 논증글을 중심으로", 교육연구, 30, pp.21~41 (2007)
  25. 윌리엄, "이질성 학습을 통한 문서 분류의 정확성 향상 기법", 지능정보연구, 24(3), pp.21~44 (2018), 한국지능정보시스템학회[DOI]
  26. 윤현서, "Transformer 기반 비윤리적 문장 탐지", 디지털콘텐츠학회논문지, 22(8), pp.1289~1293 (2021), 한국디지털콘텐츠학회
  27. 윤혜경, "딥러닝 모형을 활용한 교육 빅데이터 분석 논의", Journal of The Korean Data Analysis Society, 24(3), pp.1149~1157 (2022), 한국자료분석학회[DOI]
  28. 윤호영, "지상파, 종편 뉴스 및 보수우파 유튜브 댓글 분석 : SVM 텍스트 분류와 Glove 방법의 적용", Journal of The Korean Data Analysis Society, 23(3), pp.1399~1416 (2021), 한국자료분석학회[DOI]
  29. 이기창, "Do it! BERT와 GPT로 배우는 자연어 처리: 트랜스포머 핵심 원리와 허깅페이스 패키지 활용법" (2021), 이지스퍼블리싱
  30. 이만형, "전문가의 형태소 분류를 활용한 과학 논증 자동 채점", 한국과학교육학회지, 40(3), pp.321~336 (2020), 한국과학교육학회[DOI]
  31. 이삼형, "쓰기 능력 발달 양상에 관한 연구", 국어교육, (118), pp.127~147 (2005), 한국어교육학회
  32. 이서희, "환자의 주관적 증상 텍스트에 대한 진료과목 분류 모델 구축", 한국빅데이터학회 학회지, 6(1), pp.51~62 (2021), 사)한국빅데이터학회[DOI]
  33. 이성영, "글쓰기 능력 발달 단계 연구 : 초등학생의 텍스트 구성 능력을 중심으로", 국어국문학, 126, pp.27~50 (2000)
  34. 이성영, "초등 교과서의 이독성 비교 연구 －국어, 사회, 과학 교과서를 중심으로－", 국어교육학연구, (41), pp.169~193 (2011), 국어교육학회[DOI]
  35. 이순영, "초등학교 2학년 학생들의 설명글과 이야기글 쓰기 양상 연구", 청람어문교육, (62), pp.67~94 (2017), 청람어문교육학회[DOI]
  36. 이순영, "잠재성장모형을 활용한 초등 저학년생의 쓰기 능력 발달에 대한 종단 분석", 리터러시 연구, 10(5), pp.369~400 (2019), 한국 리터러시 학회[DOI]
  37. 이순영, "초등학교 1학년생의 쓰기 발달 연구: 학기와 장르에 따른 양적 변화를 중심으로", 한국초등교육, 28(2), pp.93~108 (2017), 초등교육연구원[DOI]
  38. 이용상, "한국어 쓰기 평가를 위한 자동채점의 가능성 탐색", 이중언어학, (86), pp.171~191 (2022), 이중언어학회[DOI]
  39. 이재화, "영화리뷰의 분류성과 향상에 관한 연구", 한국IT서비스학회 학술대회 논문집, pp.674~677 (2018)
  40. 이태훈, "의료 조언을 위한 질문 의도 인식: 학습 데이터 구축 및 의도 분류", 정보과학회논문지, 48(8), pp.878~884 (2021), 한국정보과학회[DOI]
  41. 이현영, "워드 임베딩과 딥러닝 기법을 이용한 SMS 문자 메시지필터링", 스마트미디어저널, 7(4), pp.24~29 (2018), (사)한국스마트미디어학회[DOI]
  42. 이혜진, "토픽모델링과 LSTM기반 텍스트 분석을 통한 부산방문 외국인 관광객의 선호관광지 및 관광매력요인 분석", 한국도시지리학회지, 23(3), pp.61~70 (2020), 한국도시지리학회[DOI]
  43. 이희란, "초등학교 1-4학년 한 학생의 일기문 분석 종단연구: 구문복잡성과 담화 형식을 중심으로", 학습자중심교과교육연구, 15(5), pp.503~518 (2015), 학습자중심교과교육학회
  44. 임천택, "초등학생의 설명 텍스트에 나타난 쓰기 발달 특성 연구", 청람어문교육, (32), pp.123~151 (2005), 청람어문교육학회
  45. 임천택, "초등학교 중학년과 고학년의 쓰기 발달 비교 분석", 학습자중심교과교육연구, 17(15), pp.485~508 (2017), 학습자중심교과교육학회[DOI]
  46. 전유경, "내러티브 쓰기에 나타난 청소년의 어휘 산출과 구문 복잡성", 언어치료연구, 25(1), pp.111~121 (2016), 한국언어치료학회[DOI]
  47. 조단비, "형태소 임베딩과 SVM을 이용한 뉴스 기사정치적 편향성의 자동 분류", 한국정보처리학회 학술대회논문집, 27(1), pp.451~454 (2020)
  48. 조희련, "KoBERT, 나이브 베이즈, 로지스틱 회귀의한국어 쓰기 답안지 점수 구간 예측 성능 비교", 한국정보처리학회 학술대회논문집, 28(1), pp.501~504 (2021)
  49. 조희련, "한국어 학습 모델별 한국어 쓰기 답안지점수 구간 예측 성능 비교", 정보처리학회 논문지, 11(3), pp.133~140 (2022), 한국정보처리학회
  50. 천예은, "섀플리 값 추정을 이용한 주가 변화 원인 설명 문장 분류 모델 분석", 정보과학회 컴퓨팅의 실제 논문지, 26(4), pp.195~201 (2020), 한국정보과학회[DOI]
  51. 최우식, "대칭 조건부 확률과 TF-IDF 기반 텍스트 분류를 위한 N-gram 특질 선택", 대한산업공학회지, 41(4), pp.381~388 (2015), 대한산업공학회[DOI]
  52. 한윤진, "검증 자료를 활용한 가짜뉴스 탐지 자동화 연구", 정보처리학회 논문지, 10(12), pp.569~578 (2021), 한국정보처리학회
  53. 황상흠, "한국어 기술문서 분석을 위한 BERT 기반의 분류모델", 한국전자거래학회지, 25(1), pp.203~214 (2020), 한국전자거래학회[DOI]
  54. 藤康毅, "밑바닥부터 시작하는 딥러닝 2" (2019), 한빛미디어
  55. Creswell, J. W., "알기 쉬운 혼합연구방법" (2017), 학지사
  56. Devlin, J., "Bert: Pre-training of deep bidirectional transformers for language understanding", arXiv preprint arXiv: 1810.04805, ~ (2018)
  57. Lewis, M., "Bart : Denoising sequence-to-sequence pre-training for natural language generation, translation and comprehension", arXiv preprint arXiv: 1910.13461, ~ (2019)
  58. Liu, C. Z., "Research of text classification based on improved TF-IDF algorithm", 2018 IEEE International Conference of Ontelligent Robotic and Control Engineering (IRCE), pp.218~222 (2018)
  59. Mayfield, E., "Should you fine-tune BERT for automated essay scoring?", Proceedings of the Fifteenth Workshop on Innovative Use of NLP for Building Educational Applications, pp.151~162 (2020)
  60. Park, S. J., "Efficient Multi-turn Conversation Summarization System Using KoBART and TextRank", Master, pp.2022
  61. Vaswani, A., "Attention is all you need", arXiv preprint arXiv: 1706.03762, ~ (2017)
  62. "국립국어원 비출판물 말뭉치(버전 1.1)" (2021)[URL]
  63. "정보통신용어사전" (2006)[URL]

관련 논문AI추천

A BERT-Based Automatic Scoring Model of Korean Language Learners' Essay박지수, 손진곤, 이정희한국정보처리학회 · JIPS(Journal of Information Processing Systems)2022 · 제18권 제2호딥러닝 기반 언어모델을 이용한 한국어 학습자 쓰기 평가의 자동 점수 구간 분류 -KoBERT와 KoGPT2를 중심으로-이유미, 이찬규, 임현열, 조희련, 차준우국제한국언어문화학회 · 한국언어문화학2021 · 제18권 제1호BERT를 활용한 초등학교 고학년의 욕설문장 자동 분류방안 연구심재권한국창의정보문화학회 · 창의정보문화연구2021 · 제7권 제2호A Study on a Deep Learning-Based Approach for Automated Scoring Solutions of Korean L1 Essays김수림, 최숙기뇌·AI기반교육연구소 · Brain, Digital, & Learning2024 · 제14권 제4호KoBERT를 이용한 아동 언어 발달 장애 조기 진단 시스템에 관한 연구박원철한국컴퓨터정보학회 · 한국컴퓨터정보학회논문지2025 · 제30권 제5호한국어 학습 모델별 한국어 쓰기 답안지점수 구간 예측 성능 비교이유미, 임현열, 조희련, 차준우한국정보처리학회 · 정보처리학회 논문지2022 · 제11권 제3호

이 간행물의 다른 논문 (8건)

국어 교과서, 보이는 기능과 안 보이는 사람 -국어 활동의 인간화, 예술화를 위한 교과서 개발 방안 탐색이재기pp. 7-49초등학교 국어 교과서 제재 선정의 이상과 현실김태호pp. 97-114고전시가 텍스트를 통한 학습자의 한(恨) 체험 및 교육 연구류연석pp. 117-149문학을 통한 인성교육 실현을 위한 공감 교육의 방향 연구 - 작중 인물에 대한 중학생의 공감 양상을 바탕으로오리사pp. 151-181문학 작품의 수용에서 문학교사의 윤리적 가치 이해 양상 연구진솔pp. 183-214
원문 보기