본문 바로가기
KERD
논문KCI 등재

ChatGPT를 활용한 텍스트 데이터 증강 가능성 탐색

Exploring the Possibility of Text Data Augmentation Using ChatGPT

박강윤|김길재
청람어문교육학회 (Cheongram Korean Language Education Association)|2023.05|청람어문교육 (Journal of CheongRam Korean Language Education)|제93호|pp. 103-133|DOI 10.26589/jockle..93.202305.103

1

조회

0

다운로드

3

인용

0

참고문헌

키워드

인공지능ChatGPTartificial intelligencecosine similarity코사인 유사도data augmentation자동채점텍스트 데이터 증강automatic grading

초록

본고는 ChatGPT를 활용한 한국어 서·논술형 데이터 증강 방안 및 활용 가능성을 제시하였다. 한국어 논술 데이터의 특성상 대량의 고품질 텍스트 데이터를 확보하기는 어려움이 있다. 이를 극복하기 위한 방안으로 ChatGPT를 활용하여 데이터를 증강 후, 인공지능 학습용 데이터로 사용하였다. 연구 결과 ChatGPT를 활용하여 원본 데이터의 문장 및 글의 의미를 유지한 상태에서 시간적, 경제적 비용을 줄이고 원본 데이터와 유사한 글을 생성할 수 있는 것으로 밝혀졌다. 또한, 증강 데이터를 활용한 머신러닝 모델 성능 평가 결과, 특정 영역에서 모델의 성능이 향상되는 것을 확인하였다. 이러한 연구 결과를 통하여 한국어 논술 데이터 증강 시, ChatGPT 활용이 유의미한 효과가 있음을 확인하였다. 하지만, 점수대별 더 높은 수준의 글 생성, 생성된 글의 라벨 타당성 확보를 위해서는 도메인 전문가의 적극적인 참여 및 관련 연구 생태계 활성화가 필요하다.

Abstract

This paper presents an approach to augmenting Korean essay data using ChatGPT and explores its potential applications. Due to the nature of Korean essay data, there are difficulties in collecting a large amount of high-quality text data. To overcome this problem, ChatGPT was utilized to augment the data, which was then used for training artificial intelligence. The study results revealed that by using ChatGPT, it is possible to generate text similar to the original data while maintaining the meaning of sentences and reducing both time and economic costs. Additionally, performance evaluations of machine learning models using augmented data showed improvements in specific domains. These research findings confirm the significant effectiveness of employing ChatGPT for augmenting Korean essay data. However, to generate higher-quality texts across different score levels and ensure the validity of labels for generated texts, active participation from domain experts and the activation of the related research ecosystem are necessary.

참고문헌 (39)

  1. 강형석, "한국어 단어 임베딩을 위한 Word2vec 모델의 최적화", 디지털콘텐츠학회논문지, 20(4), pp.825~833 (2019), 한국디지털콘텐츠학회[DOI]
  2. 권영빈, "키워드를 기반으로 마이너와 코사인 유사도를 이용한 컴퓨터 네트워크 관련 컨퍼런스 분석", 한국IT서비스학회지, 11(1), pp.223~238 (2012), 한국IT서비스학회
  3. 김경희, "서·논술형 평가의 평가학적 의미 탐색", 교육평가연구, 33(4), pp.839~862 (2020), 한국교육평가학회
  4. 김낙훈, "데이터 증강이 외국어 영어 학습용 AI 챗봇의 작동 정확성과 학습자의 만족도에 미치는 영향", 멀티미디어 언어교육, 25(2), pp.152~181 (2022), 한국멀티미디어언어교육학회[DOI]
  5. 김민재, "코사인 유사도 기반의 인터넷 댓글 상 이상 행위 분석 방법", 정보보호학회논문지, 24(2), pp.335~343 (2014), 한국정보보호학회[DOI]
  6. 김지연, "영-독 신경망 기계 번역을 위한 데이터 증강 방법 연구", 독일언어문학, (95), pp.1~20 (2022), 한국독일언어문학회[DOI]
  7. 박강윤, "한국어 에세이 문항 자동 채점을 위한 딥러닝 알고리듬 탐색", 교육평가연구, 35(3), pp.465~488 (2022), 한국교육평가학회
  8. 박세진, "순환신경망을 적용한 초등학교 5학년 과학 서술형 평가 자동채점시스템 개발 및 활용 방안 모색", 교육평가연구, 33(2), pp.297~321 (2020), 한국교육평가학회
  9. 박지선, "초‧중등 과학교사들의 인공지능 기반 서술형 자동채점 시스템 수용의도에 대한 연구", 현장과학교육, 16(2), pp.195~205 (2022), 한국현장과학교육학회[DOI]
  10. 신현호, "사전 학습된 Encoder-Decoder 모델 기반 질의응답 쌍 생성을 통한 기계 독해 학습 데이터 증강 기법", 정보과학회논문지, 49(2), pp.166~175 (2022), 한국정보과학회[DOI]
  11. 이강철, "핵심어 추출 및 데이터 증강기법을 이용한 텍스트 분류 모델 성능 개선", Journal of The Korean Data Analysis Society, 24(5), pp.1719~1731 (2022), 한국자료분석학회[DOI]
  12. 이경건, "인공지능 기반 자동평가의 현재와 미래: 서술형 문항에 관한 문헌 고찰과 그 너머", 교육공학연구, 36(2), pp.353~382 (2020), 한국교육공학회[DOI]
  13. 이상하, "국가수준 학업성취도 평가 서답형 문항에 대한 자동채점의 실용성 분석", 교육과정평가연구, 18(1), pp.185~208 (2015), 한국교육과정평가원
  14. 이선경, "기계 독해 성능 개선을 위한 데이터 증강 기법", 정보과학회논문지, 48(12), pp.1298~1304 (2021), 한국정보과학회[DOI]
  15. 이용상, "쓰기 자동채점 알고리듬의 성능 비교_최대 엔트로피 기법과 서포트 벡터 회귀 기법", 교육과정평가연구, 16(3), pp.147~165 (2013), 한국교육과정평가원
  16. 이용상, "충분한 데이터 확보가 힘든 상황에서 인공지능 서･논술형 평가 채점모델 구축 방안", 교육문화연구, 28(5), pp.25~42 (2022), 교육연구소[DOI]
  17. 이현수, "클래스 불균형 문제에 연합학습 적용을 위한 최적화 기법 연구", 한국정보기술학회논문지, 19(1), pp.43~54 (2021), 한국정보기술학회[DOI]
  18. 조우진, "사전학습 언어모델 기반의 한국어 질문-답변 데이터 증강 방법", 정보과학회 컴퓨팅의 실제 논문지, 27(12), pp.563~573 (2021), 한국정보과학회[DOI]
  19. 조희련, "한국어 학습 모델별 한국어 쓰기 답안지점수 구간 예측 성능 비교", 정보처리학회 논문지, 11(3), pp.133~140 (2022), 한국정보처리학회
  20. 진성희, "자연어처리의 교육적 활용 연구동향 분석", 교육정보미디어연구, 28(2), pp.215~243 (2022), 한국교육정보미디어학회
  21. 최숙기, "중등학생의 자료 통합적 글쓰기에 나타난 자료 글 차용하기 수행 양상 연구 - 인용과 환언을 중심으로-", 작문연구, (38), pp.201~245 (2018), 한국작문학회[DOI]
  22. 최숙기, "서·논술형 수능 도입을 대비한 2022 개정 국어과 교육과정의 개정 방향 탐색", 청람어문교육, (83), pp.129~156 (2021), 청람어문교육학회[DOI]
  23. 하민수, "학습 도구로서의 서술형 평가 그리고 인공지능의 활용: WA3I 프로젝트 사례", 현장과학교육, 13(3), pp.271~282 (2019), 한국현장과학교육학회[DOI]
  24. 황선익, "소셜 미디어(SNS) 데이터 증강을 활용한 효과적인 여론조사 예측 모델 분석", 한국정보통신학회논문지, 26(12), pp.1800~1808 (2022), 한국정보통신학회
  25. Brown, T. B, "Language Models are Few-Shot Learners", cite arxiv:2005.14165 Comment: 40+32 pages, ~ (2020)
  26. Conneau, A., "Supervised learning of universal sentence representations from natural language inference data", arXiv preprint arXiv:1705.02364, ~ (2017)
  27. Feng, S. Y., "A survey of data augmentation approaches for NLP", Findings of the Association for Computational Linguistics:ACL-IJCNLP, 2021, pp.968~988 (2021)
  28. Garg, S., "BAE : BERT-based adversarial examples for text classification", Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp.6174~6618 (2020)
  29. Jiao, X., "Tinybert : Distilling bert for natural language understanding", Findings of the Association for Computational Linguistics: EMNLP, 2020, pp.4163~4174 (2020)
  30. Kobayashi, S, "Contextual augmentation : Data augmentation by words with paradigmatic relations", Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp.452~457 (2018)
  31. Opitz, J., "Macro F1 and macro F1", arXiv preprint arXiv:1911.03347, ~ (2019)
  32. Radford, A., "Improving language understanding by generative pre-training. ,", ~ (2018)
  33. Reimers, N., "Sentence-bert : Sentence embeddings using siamese bert-networks", arXiv preprint arXiv:1908.10084, ~ (2019)
  34. Wei, J., "EDA : Easy data augmentation techniques for boosting performance on text classification tasks", Proceedings of the 2019Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp.6382~6388 (2019)
  35. Yu, A. W., "QANet : Combining local convolution with global self-attention for reading comprehension", Proceedings of the 6th International Conference on Learning Representations 2018 (ICLR 2018), pp.1~16 (2018)
  36. van der Maaten, L., "Accelerating t-SNE using tree-based algorithms", J. Mach. Learn. Res., 15, pp.3221~3245 (2014)
  37. 교육부, "보도자료 2022 개정 초·중등학교 및 특수학교 교육과정 확정·발표 – 배움의 즐거움을 일깨우는 미래교육으로의 전환 -", ~ (2022)
  38. 컴퓨터 기반 서‧논술형 평가를 위한 자동채점 방안설계(Ⅰ), "한국교육과정평가원", 한국교육과정평가원, ~, pp.RRE 2022-6 (2022)
  39. GPT-4 Technical Report, "OpenAI", ~ (2023)

이 간행물의 다른 논문 (6건)

국어과 교육에서 AI의 수용 방향김태호pp. 7-27속성의제 분석을 통한 뉴스 리터러시 교육 －‘조유나 양 실종’ 사건 인터넷 신문 보도를 중심으로－박찬, 최예영, 권순희, 신효진pp. 29-652022 개정 국어과 ‘듣기·말하기’ 영역 교육과정의 쟁점과 개선 과제서영진pp. 67-102국어과 최소 성취수준 준거 자료에 대한 비판적 검토: 문법 영역을 중심으로최소영pp. 135-1742022 개정 초등 국어 교과서 ‘발음과 표기’ 관련 교육 내용 기술의 방향성 연구홍정현pp. 175-212
원문 보기