본문 바로가기
KERD
논문KCI 등재

ChatGPT를 활용한 텍스트 데이터에서 키워드 추출: 수동방식과의 유사도 비교를 중심으로

ChatGPT-based Keyword Extraction from Text Data: A Comparative Study of Similarity with Manual Methods

정유선|이선옥|류지헌|김국현|임태형|양은별|기수현
한국교육공학회 (Korean Society Of Educational Technology)|2023.12|교육공학연구 (Journal of Educational Technology)|제39권 제4호|pp. 1337-1368|DOI http://dx.doi.org/10.17232/KSET.39.4.1337

1

조회

0

다운로드

1

인용

0

참고문헌

키워드

자연어처리인공지능텍스트 마이닝text miningChatGPTartificial intelligencenatural language processing키워드 추출AI convergence educationkeyword extractionAI융합교육전공
주제분류교육학

초록

이 연구의 목적은 텍스트 마이닝 분야에서 키워드 추출 작업을 사람이 했을 때와 ChatGPT를 활용했을 때의 결과가 얼마나 유사한지 비교하는 것이다. 이를 위해 짧은 길이의 텍스트 데이터에서 키워드를 추출하는 경우를 비교했다. 분석 대상이 된 데이터는 선행연구를 통해 확보한 수동방법 키워드 추출 작업이 완료된 교육대학원 AI융합교육전공 442개 교과목명 데이터이다. 이 데이터에는 해당 분야 전문가 3명이 각 교과목명에서 최대 3개까지의 키워드를 추출한 결과가 포함되었다. ChatGPT 활용법의 경우, ChatGPT API를 활용하여 GPT-3.5 모델과 GPT-4.0 모델로 442개 교과목명에서 최대 3개까지 키워드를 추출했다. 수동방식, GPT-3.5, GPT-4.0, 이 세 방법 간의 유사도를 자카드 계수(Jaccard Coefficient)로 비교하였으며, 0.50 이상일 때 유사한 것으로 간주하였다. 삼자 간 비교 결과, GPT-3.5와 GPT-4.0 사이는 약 0.69, 수동방식과 GPT-3.5 사이는 약 0.50, 수동방식과 GPT-4.0 사이는 약 0.48의 유사도를 보였다. 수동방식과 ChatGPT 방식 간의 키워드 추출 결과에서 발견된 여러 특징들을 보고하였다. 이 연구의 의의로는, 짧은 한국어 텍스트에서 키워드를 추출할 때 ChatGPT 방식이 아직 인간 수동방식을 대체할 수 있다고 보기엔 어렵지만, 충분한 가능성을 확인할 수 있었다는 것에 있다.

Abstract

This study aimed to assess the similarity between human and ChatGPT methods in keyword extraction for text mining, focusing on short-length text data, specifically course titles in AI convergence education. A total of 442 course names from AI convergence education academic programs were previously manually analyzed and extracted in a prior study. The data included results of up to three keywords from each course name, extracted by three field experts. Utilizing the ChatGPT API, three keywords were extracted from these 442 course titles using both GPT-3.5 and GPT-4.0 models. Similarity among the manual method, GPT-3.5, and GPT-4.0 was gauged using the Jaccard Coefficient, considering coefficients greater than 0.50 indicative of similarity. In a three-way comparison, a similarity of approximately 0.69 was observed between GPT-3.5 and GPT-4.0, approximately 0.50 between the manual method and GPT-3.5, and approximately 0.48 between the manual method and GPT-4.0. Various characteristics in keyword extraction results between the manual and ChatGPT methods were reported. The significance of this study lies in revealing that, although the ChatGPT approach may not yet replace human manual methods for keyword extraction from short Korean texts, it demonstrates considerable potential.

참고문헌 (48)

  1. 김길재, "ChatGPT를 활용한 텍스트 데이터 증강 가능성 탐색", 청람어문교육, (93), pp.103~133 (2023), 청람어문교육학회[DOI]
  2. 박상언, "딥러닝 중심의 자연어 처리 기술 현황 분석", 한국빅데이터학회 학회지, 6(1), pp.63~81 (2021), 사)한국빅데이터학회[DOI]
  3. 박소영, "ChatGPT-4의 과학적 탐구 역량 평가 가능성 탐색: 인간평가자와의 비교를 중심으로", 교육학연구, 61(4), pp.299~332 (2023), 한국교육학회
  4. 박지순, "키워드 네트워크 분석을 통한 사범대학 가정교육과 교육과정 분석", 한국가정과교육학회지, 35(1), pp.105~124 (2023), 한국가정과교육학회
  5. 양지훈, "생성형AI 서비스의 성공요인에 대한 탐색적 연구: 텍스트 마이닝과 ChatGPT를 활용하여", 경영정보학연구, 25(2), pp.125~144 (2023), 한국경영정보학회
  6. 이봉우, "토픽 모델링과 대화형 인공지능(ChatGPT)을 이용한 전국과학전람회의 에너지 관련 연구 주제 분석", 에너지기후변화교육, 13(2), pp.151~161 (2023), 에너지기후변화교육학회[DOI]
  7. 이현주, "빅카인즈를 활용한 GenAI(생성형 인공지능) 기술 동향 분석: ChatGPT 등장과 스타트업 영향 평가", 벤처창업연구, 18(4), pp.65~76 (2023), 한국벤처창업학회[DOI]
  8. 임수종, "인공지능 언어모델 연구동향", 정보와통신, 40(3), pp.42~50 (2023)
  9. 임태형, "전문교사 양성을 위한 교육대학원 AI융합교육 교육과정에 대한 의미연결망분석", 학습자중심교과교육연구, 20(21), pp.1185~1211 (2020), 학습자중심교과교육학회[DOI]
  10. 정단호, "초거대 인공지능 생성 모델 동향 연구", 정보와통신, 40(6), pp.22~28 (2023)
  11. 조준오, "빅데이터 기반 텍스트마이닝을 활용한 유아 인공지능 교육 키워드 및 토픽 분석", 한국영유아보육학, (140), pp.113~130 (2023), 한국영유아보육학회[DOI]
  12. 진성희, "자연어처리의 교육적 활용 연구동향 분석", 교육정보미디어연구, 28(2), pp.215~243 (2022), 한국교육정보미디어학회
  13. 최진호, "기술예측을 위한 특허 키워드 네트워크 분석", 지능정보연구, 17(4), pp.227~240 (2011), 한국지능정보시스템학회
  14. Abilhoa, W. D., "A keyword extraction method from twitter messages represented as graphs", Applied Mathematics and Computation, 240, pp.308~325 (2014)
  15. Armouty, B., "Automated keyword extraction using support vector machine from Arabic news documents", Proceedings of 2019 IEEE Jordan International Joint Conference on Electrical Engineering and Information Technology, pp.342~346 (2019)
  16. Bag, S., "An efficient recommendation generation using relevant Jaccard similarity", Information Sciences, 483, pp.53~64 (2019)
  17. Beliga, S., "An overview of graph-based keyword extraction methods and approaches", Journal of Information and Organizational Sciences, 39(1), pp.1~20 (2015)
  18. Bhat, S., "Towards automated generation and evaluation of questions in educational domains", Proceedings of the 15th International Conference on Educational Data Mining, pp.701~704 (2022)
  19. Buriak, J. M., "Best practices for using AI when writing scientific manuscripts: Caution, care, and consideration: Creative science depends on it", ACS Nano, 17(5), pp.4091~4093 (2023)
  20. Chan, A., "GPT-3 and InstructGPT : Technological dystopianism, utopianism, and"Contextual"perspectives in AI ethics and industry", AI and Ethics, 3, pp.53~64 (2023)
  21. Chen, L. C., "An improved corpus-based NLP method for facilitating keyword extraction : An example of the COVID-19 vaccine hesitancy corpus", Sustainability, 15(4), pp.3402~ (2023)
  22. Chen, L., "How is ChatGPT’s behavior changing over time?", ~ (2023)
  23. Diana, N. E., "Measuring performance of n-gram and Jaccard-similarity metrics in document plagiarism application", Journal of Physics : Conference Series, 1196, pp.012069~ (2019)
  24. Hackl, V., "Is GPT-4 a reliable rater? evaluating consistency in GPT-4 text ratings", ~ (2023)
  25. Hashana, A. J., "Deep learning in ChatGPT - A survey", Proceedings of the 7th International Conference on Trends in Electronics and Informatics, pp.1001~1005 (2023)
  26. Henderi, H., "Text mining an automatic short answer grading(ASAG), comparison of three methods of Cosine Similarity, Jaccard Similarity and Dice’s Coefficient", Journal of Applied Data Sciences, 2(2), pp.45~54 (2021)
  27. Illeris, K., "What do we actually mean by experiential learning?", Human Resource Development Review, 6(1), pp.84~95 (2007)
  28. Jang, M., "Consistency analysis of chatgpt", ~ (2023)
  29. Jiang, Z., "How can we know what language models know?", Transactions of the Association for Computational Linguistics, 8, pp.423~438 (2020)
  30. Julianto, I. T., "Alternative text pre-processing using Chat GPT Open AI", Jurnal Nasional Pendidikan Teknik Informatika : JANAPATI, 12(1), pp.67~77 (2023)
  31. Kang, W., "AI or authors?: A comparative analysis of BERT and ChatGPT’s keyword selection in digital divide studies", Proceedings of the Association for Information Science and Technology, 60(1), pp.1004~1006 (2023)
  32. Koubaa, A., "GPT-4 vs. GPT-3.5: A concise showdown", Preprints, pp.2023030422~ (2023)[DOI]
  33. Krüger, T., "Performance of large language models in a computer science degree program", ~ (2023)
  34. Lin, J. C., "Comparison of GPT-3.5, GPT-4, and human user performance on a practice ophthalmology written examination", Eye, 1~2 (2023)
  35. Liu, R., "Aligning generative language models with human values", Findings of the Association for Computational Linguistics: NAACL 2022, pp.241~252 (2022)
  36. (2023)[URL]
  37. Marujo, L., "Automatic keyword extraction on twitter", Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing, pp.637~643 (2015)
  38. Naismith, B., "Automated evaluation of written discourse coherence using GPT-4", Proceedings of the 18th Workshop on Innovative Use of NLP for Building Educational Applications, pp.394~403 (2023)
  39. Niwattanakul, S., "Using of Jaccard coefficient for keywords similarity", Proceedings of the International MultiConference of Engineers and Computer Scientists, pp.380~384 (2013)
  40. GPT-4 technical report, "OpenAI", ~ (2023)
  41. Takagi, S., "Performance of GPT-3.5 and GPT-4 on the Japanese Medical Licensing Examination: comparison study", JMIR Medical Education, 9(1), pp.e48002~ (2023)
  42. Tan, A. H, "Text mining: The state of the art and the challenges", Proceedings of the PAKDD 1999 Workshop on Knowledge Disocovery from Advanced Databases, pp.65~70 (1999)
  43. Turney, P. D., "Learning algorithms for keyphrase extraction", Information Retrieval, 2, pp.303~336 (2000)
  44. Xie, F., "Keyphrase extraction based on semantic relatedness", Proceedings of the 9th IEEE International Conference on Cognitive Informatics (ICCI’10), pp.308~312 (2010)
  45. Xu, Y., "Boundary restored network for subpleural pulmonary lesion segmentation on ultrasound images at local and global scales", Journal of Digital Imaging, 33, pp.1155~1166 (2020)
  46. Young, T., "Recent trends in deep learning based natural language processing", IEEE Computational Intelligence Magazine, 13(3), pp.55~75 (2018)
  47. Zhang, Y., "A chat about boring problems: Studying GPT-based text normalization", ~ (2023)
  48. Zhou, J., "The potential of applying ChatGPT to extract keywords of medical literature in plastic surgery", Aesthetic Surgery Journal, 43(9), pp.720~723 (2023)

관련 논문AI추천

텍스트 키워드 추출에서 LLM은 인간을 대체할 수 있는가?: 수동 방식과의 유사도 비교를 중심으로임태형한국교육정보미디어학회 · 교육정보미디어연구2025 · 제31권 제3호ChatGPT를 활용한 텍스트 데이터 증강 가능성 탐색김길재, 박강윤청람어문교육학회 · 청람어문교육2023 · 제93호ChatGPT의 국어 문법 개념 이해도 평가 - 의미 유사도 분석을 통한 교육적 활용 가능성 탐색 -박종미청람어문교육학회 · 청람어문교육2025 · 제103호한국 AI 교육 연구의 시기별 변화 양상과 동향전민지, 조규락한국교육공학회 · 교육공학연구2025 · 제41권 제4호텍스트마이닝을 활용한 전공경력 수준에 따른 챗GPT 활용 수업 경험 분석: 전문대학 1학년과 4학년(전공심화)을 중심으로김화영한국교육정보미디어학회 · 교육정보미디어연구2025 · 제31권 제4호AI 활용 교육 국내 연구 동향 분석: Sentence-BERT 임베딩 기반 주제 군집화와 GPT 요약을 중심으로서일보한국교육공학회 · 교육공학연구2025 · 제41권 제2호

이 간행물의 다른 논문 (16건)

인공지능 튜터링 시스템 기반초등학교 수학 수업 설계원리 및 지침 개발최서연, 임철일pp. 969-1009ChatGPT를 활용한 수학 플립러닝 사례연구: 학습자의 참여를 중심으로박수민, 윤정은, 권오남pp. 1011-1047ChatGPT와의 협업을 통한포스트휴머니즘 관점의 미래교육 시나리오 도출오희정, 이은택, 임상훈pp. 1049-1080국내외 협력학습분석학(Collaboarative Learning Analytics) 연구 동향에 대한 체계적 문헌고찰임규연, 정유진, 이다혜, 김혜준, 진명화pp. 1081-1121MOOC에서 사전 인출 연습과 피드백 유형이 학업성취와 학업 지속 의향 및 메타인지적 판단에 미치는 영향서일보pp. 1123-1151
원문 보기