본문 바로가기
KERD
논문KCI 등재

LDA와 BERTopic을 이용한 토픽모델링의 증강과 확장 기법 연구

Topic Model Augmentation and Extension Method using LDA and BERTopic

Yang, Kiduk|김선욱
한국정보관리학회|2022.09|정보관리학회지 (Journal of the Korean Society for Information Management)|제39권 제3호|pp. 99-132|DOI http://doi.org/10.3743/KOSIM.2022.39.3.099

0

조회

0

다운로드

15

인용

0

참고문헌

키워드

연구동향토픽모델링문헌정보학LDAlibrary and information sciencesynthesisresearch trendsBERTopictopic modelingBERT매트릭스 재정렬합성WORD2VECAETmatrix reordering
주제분류문헌정보학

초록

본 연구의 목적은 LDA 토픽모델링 결과와 BERTopic 토픽모델링 결과를 합성하는 방법론인 Augmented and Extended Topics(AET)를 제안하고, 이를 사용해 문헌정보학 분야의 연구주제를 분석하는 데 있다. AET의 실제 적용결과를 확인하기 위해 2001년 1월부터 2021년 10월까지의 Web of Science 내 문헌정보학 학술지 85종에 게재된 학술논문 서지 데이터 55,442건을 분석하였다. AET는 서로 다른 토픽모델링 결과의 관계를 WORD2VEC 기반 코사인 유사도 매트릭스로 구축하고, 매트릭스 내 의미적 관계가 유효한 범위 내에서 매트릭스 재정렬 및 분할 과정을 반복해 증강토픽(Augmented Topics, 이하 AT)을 추출한 뒤, 나머지 영역에서 코사인 유사도 평균값 순위와 BERTopic 토픽 규모 순위에 대한 조화평균을 통해 확장토픽(Extended Topics, 이하 ET)을 결정한다. 최적 표준으로 도출된 LDA 토픽모델링 결과와 AET 결과를 비교한 결과, AT는 LDA 토픽모델링 토픽을 한층 더 구체화하고 세분화하였으며 ET는 유효한 토픽을 발견하였다. AT(Augmented Topics)의 성능은 LDA 이상이었으며 ET(Extended Topics)는 일부 경우를 제외하고 대부분 LDA와 유사한 수준의 성능을 나타내었다.

Abstract

The purpose of this study is to propose AET (Augmented and Extended Topics), a novel method of synthesizing both LDA and BERTopic results, and to analyze the recently published LIS articles as an experimental approach. To achieve the purpose of this study, 55,442 abstracts from 85 LIS journals within the WoS database, which spans from January 2001 to October 2021, were analyzed. AET first constructs a WORD2VEC-based cosine similarity matrix between LDA and BERTopic results, extracts AT (Augmented Topics) by repeating the matrix reordering and segmentation procedures as long as their semantic relations are still valid, and finally determines ET (Extended Topics) by removing any LDA related residual subtopics from the matrix and ordering the rest of them by (BERTopic topic size rank, Inverse cosine similarity rank). AET, by comparing with the baseline LDA result, shows that AT has effectively concretized the original LDA topic model and ET has discovered new meaningful topics that LDA didn’t. When it comes to the qualitative performance evaluation, AT performs better than LDA while ET shows similar performances except in a few cases.

참고문헌 (44)

  1. 강보라, "국내 디지털 도서관 연구 동향 분석", 정보관리학회지, 34(3), pp.49~66 (2017), 한국정보관리학회[DOI]
  2. 김동기, "의학통계학적 방법의 사용과 오류", 신경정신의학, 43(2), pp.141~147 (2004), 대한신경정신의학회
  3. 박순욱, "코로나19 재난문자 데이터를 활용한 의도 분류 모델 설계", 한국정보과학회 학술발표논문집, pp.1810~1812 (2021)
  4. 박종도, "토픽 모델링을 활용한 다문화 연구의 이슈 추적 연구", 한국문헌정보학회지, 53(3), pp.273~289 (2019), 한국문헌정보학회[DOI]
  5. 박준형, "국내 기록관리학 연구동향 분석을 위한 토픽모델링 기법 비교 - LDA와 HDP를 중심으로 -", 한국도서관·정보학회지, 48(4), pp.235~258 (2017), 한국도서관·정보학회[DOI]
  6. 김현정, "체계적 문헌고찰에서 평가자 간의 신뢰도 측정", Hanyang Medical Reviews, 35(1), pp.44~49 (2015), 한양대학교 의과대학[DOI]
  7. 배장성, "BERT를 이용한 한국어 의미역 결정", 정보과학회논문지, 47(11), pp.1021~1026 (2020), 한국정보과학회[DOI]
  8. 송은영, "Word Embedding에 PCA를 적용한 개체명 인식 모델을 위한 효율적인 학습방법 연구", 대한산업공학회지, 45(1), pp.30~39 (2019), 대한산업공학회[DOI]
  9. Yang, Kiduk, "국제 및 국내 문헌정보학 분야의 연구성과 비교 분석", 한국문헌정보학회지, 55(1), pp.365~392 (2021), 한국문헌정보학회[DOI]
  10. 윤상훈, "Word2Vec를 이용한 토픽모델링의 확장 및 분석사례", 정보시스템연구, 30(1), pp.45~64 (2021), 한국정보시스템학회
  11. 이다빈, "대용량 텍스트 자원을 활용한 한국어 형태소 임베딩의 모델별 성능 비교 분석", 정보과학회논문지, 46(5), pp.413~418 (2019), 한국정보과학회[DOI]
  12. 이유빈, "계량적 모델을 통한 지리학 연구의 최신동향 및 토픽 분석", 대한지리학회지, 55(6), pp.589~599 (2020), 대한지리학회[DOI]
  13. 임소라, "특허문서 필드의 기능적 특성을 활용한 IPC 다중 레이블 분류", 인터넷정보학회논문지, 18(1), pp.77~88 (2017), 한국인터넷정보학회[DOI]
  14. 최원준, "국내 학술논문 주제 분류 알고리즘 비교 및 분석", 한국콘텐츠학회 논문지, 18(8), pp.178~186 (2018), 한국콘텐츠학회[DOI]
  15. 황승연, "빅데이터 기반 문서 토픽 추출 시스템 연구", 한국인터넷방송통신학회 논문지, 20(5), pp.207~214 (2020), 한국인터넷방송통신학회[DOI]
  16. "How BERT and GPT models change the game for NLP" (2020)[URL]
  17. "Top2vec: Distributed representations of topics" (2020)[URL]
  18. Behrisch, M., "Matrix reordering methods for table and network visualization", In Computer Graphics Forum, 35(3), pp.693~716 (2016)[DOI]
  19. Bengio, Y., "A neural probabilistic language model", Advances in Neural Information Processing Systems, 13 (2000)
  20. Blei, D. M., "Latent dirichlet allocation", Journal of Machine Learning Research, 3, pp.993~1022 (2003)
  21. Bodrunova, S. S., "Topic detection based on sentence embeddings and agglomerative clustering with markov moment", Future Internet, 12(9), pp.144~ (2020)[DOI]
  22. Chen, A. T., "Topic modeling and network visualization to explore patient experiences", Visual Analytics in Healthcare Workshop 2013 (2013)
  23. Won-Joon Choi, "A Large-scale Text Analysis with Word Embeddings and Topic Modeling", Journal of Cognitive Science, 20(1), pp.147~188 (2019), 인지과학연구소[DOI]
  24. Deerwester, S., "Indexing by latent semantic analysis", Journal of the American Society for Information Science, 41(6), pp.391~407 (1990)[DOI]
  25. Deveci, T., "Sentence length in education research articles : a comparison between anglophone and turkish authors", The Linguistics Journal, 14(1), pp.73~100 (2019)
  26. Ermann, L., "Toward two-dimensional search engines", Journal of Physics A : Mathematical and Theoretical, 45(27), pp.275101~ (2012)
  27. Esposito, F., "Topic Modelling with Word Embeddings", CLiC-it, 2016, ~
  28. Qiang Gao, "Semantic-enhanced topic evolution analysis: a combination of the dynamic topic model and word2vec", Scientometrics, 127(3), pp.1543~1563 (2022), Springer Science and Business Media LLC[DOI]
  29. Martin Gerlach, "A network approach to topic models", Science Advances, 4(7) (2018), American Association for the Advancement of Science (AAAS)[DOI]
  30. "BERTopic: Neural topic modeling with a class-based TF-IDF procedure" (2022)[URL]
  31. Hasan, M., "Normalized approach to find optimal number of topics in Latent Dirichlet Allocation(LDA). In Proceedings of International Conference on Trends in Computational and Cognitive Engineering, 341-354", Proceedings of International Conference on Trends in Computational and Cognitive Engineering, pp.341~354 (2021), Springer
  32. Hofmann, T., "Probabilistic latent semantic indexing", Proceedings of the 22nd Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, pp.50~57 (1999)
  33. Jelodar, H., "Latent Dirichlet allocation(LDA)and topic modeling : models, applications, a survey", Multimedia Tools and Applications, 78(11), pp.15169~15211 (2019)[DOI]
  34. Li, C., "LDA meets Word2Vec: a novel model for academic abstract clustering", Companion Proceedings of the Web Conference 2018, pp.1699~1706 (2018)
  35. Losee, R. M., "Term dependence : A basis for Luhn and Zipf models", Journal of the American Society for Information Science and Technology, 52(12), pp.1019~1025 (2001)[DOI]
  36. Sara Mifrah, "Topic Modeling Coherence: A Comparative Study between LDA and NMF Models using COVID’19 Corpus", International Journal of Advanced Trends in Computer Science and Engineering, 9(4), pp.5756~5761 (2020), The World Academy of Research in Science and Engineering[DOI]
  37. Mikolov, T., "Efficient Estimation of Word Representations in Vector Space", ICLR (2013)
  38. "Mixing dirichlet topic models and word embeddings to make lda2vec" (2016)[URL]
  39. "Deep contextualized word representations" (2018)[URL]
  40. "BERTRAM: Improved word embeddings have big impact on contextualized model performance" (2019)[URL]
  41. "Tired of topic models? clusters of pretrained word embeddings make for fast and good topics too" (2020)[URL]
  42. Ike Vayansky, "A review of topic modeling methods", Information Systems, 94, pp.101582~ (2020), Elsevier BV[DOI]
  43. Wang, Y., "Deep embedding for determining the number of clusters", Proceedings of the Association for the Advancement of Artificial Intelligence Conference on Artificial Intelligence, 32(1) (2018)
  44. Yang, Kiduk, "KCI vs. WoS: Comparative Analysis of Korean and International Journal Publications in Library and Information Science", Journal of Information Science Theory and Practice, 9(3), pp.76~106 (2021), 한국과학기술정보연구원[DOI]

관련 논문AI추천

LDA, Top2Vec, BERTopic 모형의 토픽모델링 비교 연구 - 국외 문헌정보학 분야를 중심으로 -김선욱, 이용구한국문헌정보학회 · 한국문헌정보학회지2024 · 제58권 제1호Keybert와 Bertopic을 활용한 텍스트마이닝 연구동향 분석길완제, 신인수, 장환영한국엔터프라이즈아키텍처학회 · 정보화연구2024 · 제21권 제2호BERTopic과 재군집화를 활용한 문서 선별 개선김자희, 이운교한국컴퓨터정보학회 · 한국컴퓨터정보학회논문지2025 · 제30권 제5호대조학습을 활용한 비지도 토픽 모델링김도현, 윤수아, 황정준한국품질경영학회 · 품질경영학회지2025 · 제53권 제3호국내 기록관리학 연구동향 분석을 위한 토픽모델링 기법 비교 - LDA와 HDP를 중심으로 -박준형, 오효정한국도서관·정보학회 · 한국도서관·정보학회지2017 · 제48권 제4호토픽모델링을 활용한 한국산업경영시스템학회지의 최근 연구주제 분석윤민, 구평회, 박동준, 오형술한국산업경영시스템학회 · 한국산업경영시스템학회지2023 · 제46권 제3호

이 간행물의 다른 논문 (12건)

연관규칙을 활용한 학교도서관 도서추천시스템 개발에 관한 연구임정훈, 김종헌, 조창제pp. 1-22공공도서관 상주작가 문화프로그램 개선 방안에 관한 연구문수빈, 장우권pp. 23-50국가대체자료종합목록을 이용한 시각장애인 대체자료 장서 평가 연구장보성pp. 51-67학부모 소셜네트워크와 정보공유 의도 및 만족도 간 관계에 대한 연구이고은, 박지홍pp. 69-97공공도서관 SNS 마케팅 효과 연구: 중국 공공도서관에서 위챗 공식계정을 이용하여CHENG SHUANGLING, 김기영pp. 133-163
원문 보기