본문 바로가기
KERD
논문

LDA, Top2Vec, BERTopic 모형의 토픽모델링 비교 연구 - 국외 문헌정보학 분야를 중심으로 -

A Comparative Study on Topic Modeling of LDA, Top2Vec, and BERTopic Models Using LIS Journals in WoS

김선욱|이용구
한국문헌정보학회|2024.02|한국문헌정보학회지 (Journal of the Korean Society for Library and Information Science)|제58권 제1호|pp. 5-30|DOI http://doi.org/10.4275/KSLIS.2024.58.1.005

0

조회

0

다운로드

6

인용

0

참고문헌

키워드

토픽모델링Topic Modeling문헌정보학Library and Information ScienceLDABERTopicTop2Vec
주제분류문헌정보학

초록

이 연구는 토픽모델링 모형인 LDA, Top2Vec, BERTopic을 대상으로 실험데이터에서 토픽을 추출하고, 그 결과를 비교 분석함으로써 각각의 모형 간의 특성과 차이를 파악하는데 목적이 있다. 실험데이터는 Web of Science(WoS)에 등재된 문헌정보학 분야 학술지 85종에 게재된 논문 55,442편을 대상으로 하였다. 실험 과정으로 우선 각 모형의 파라미터를 기본값 그대로 이용하여 1차 토픽모델링 결과를 얻었고, 최적의 토픽 수를 설정하여 각 모형의 2차 토픽모델링 결과를 얻었으며, 이들을 각 모형과 단계별로 비교분석하였다. 1차 토픽모델링 단계에서는 LDA, Top2Vec, BERTopic 모형이 각각 100개, 350개, 550개의 토픽을 생성하여 세 모형은 각각 매우 다른 크기의 토픽 개수를 가져왔으며, LDA 모형에 비해 Top2Vec이나 BERTopic 모형이 토픽을 3배, 5배 더 세분화하였다. 또한 세 모형은 토픽 당 문서 수의 평균이나 표준편차에서도 많은 차이가 났다. 구체적으로 LDA 모형은 비교적 적은 수의 토픽에 많은 문서를 부여하는 반면, BERTopic 모형은 반대의 경향을 보였다. 25개의 토픽 수를 생성하는 2차 토픽모델링 단계에서는 다른 모형에 비해 Top2Vec 모형이 평균적으로 토픽 당 많은 문서를 부여하고 토픽 간에 고르게 문서를 할당하여 상대적으로 편차가 작았다. 또한 모형간의 유사 토픽의 생성여부를 비교하면, LDA와 Top2Vec 모형이 전체 25개 중에 18개(72%)의 공통된 토픽을 생성하여 BERTopic 모형에 비해 두 모형이 더 유사한 결과를 보였다. 향후 토픽모델링 결과에서 각 토픽과 부여된 문서들이 주제적으로 올바르게 형성되었는지에 대한 전문가의 평가를 통해 보다 완전한 분석이 필요하다.

Abstract

The purpose of this study is to extract topics from experimental data using the topic modeling methods(LDA, Top2Vec, and BERTopic) and compare the characteristics and differences between these models. The experimental data consist of 55,442 papers published in 85 academic journals in the field of library and information science, which are indexed in the Web of Science(WoS). The experimental process was as follows: The first topic modeling results were obtained using the default parameters for each model, and the second topic modeling results were obtained by setting the same optimal number of topics for each model. In the first stage of topic modeling, LDA, Top2Vec, and BERTopic models generated significantly different numbers of topics(100, 350, and 550, respectively). Top2Vec and BERTopic models seemed to divide the topics approximately three to five times more finely than the LDA model. There were substantial differences among the models in terms of the average and standard deviation of documents per topic. The LDA model assigned many documents to a relatively small number of topics, while the BERTopic model showed the opposite trend. In the second stage of topic modeling, generating the same 25 topics for all models, the Top2Vec model tended to assign more documents on average per topic and showed small deviations between topics, resulting in even distribution of the 25 topics. When comparing the creation of similar topics between models, LDA and Top2Vec models generated 18 similar topics(72%) out of 25. This high percentage suggests that the Top2Vec model is more similar to the LDA model. For a more comprehensive comparison analysis, expert evaluation is necessary to determine whether the documents assigned to each topic in the topic modeling results are thematically accurate.

참고문헌 (28)

  1. 김선욱, "LDA와 BERTopic을 이용한 토픽모델링의 증강과 확장 기법 연구", 정보관리학회지, 39(3), pp.99~132 (2022)[DOI]
  2. 김선욱, "다이나믹토픽모델링을 활용한 문헌정보학 분야의 토픽 변화 분석", 한국도서관․정보학회지, 53(2), pp.265~284 (2022)[DOI]
  3. 김태경, "텍스트마이닝을 이용한 정보보호 연구동향 분석", 디지털산업정보학회논문지, 14(2), pp.19~25 (2018)[DOI]
  4. 박자현, "토픽모델링을 활용한 국내 문헌정보학 연구동향 분석", 정보관리학회지, 30(1), pp.7~32 (2013)[DOI]
  5. 박준형, "국내 기록관리학 연구동향 분석을 위한 토픽모델링 기법 비교 : LDA와 HDP를 중심으로", 한국도서관․정보학회지, 48(4), pp.235~258 (2017)[DOI]
  6. 이지용, "스포츠 영역에서 나타나는 폭력의 유형 : 텍스트 마이닝을 적용한 판례분석", 한국체육학회지, 61(5), pp.43~54 (2022)[DOI]
  7. 임정훈, "키워드 네트워크 분석과 토픽모델링을 활용한 정보활용교육 연구 동향 분석", 정보관리학회지, 39(4), pp.23~48 (2022)[DOI]
  8. Ali, I., "Identifying and profiling user interest over time using social data", 2022 24th International Multitopic Conference (INMIC), pp.1~6 (2022)
  9. "Top2Vec: Distributed representations of topics"[URL]
  10. Blei, D., "Correlated topic models", Advances in Neural Information Processing Systems, 18, pp.147~154 (2005)
  11. Blei, D. M., "Latent dirichlet allocation", Journal of Machine Learning Research, 3, pp.993~1022 (2003)
  12. Chen, A. T., "Topic modeling and network visualization to explore patient experiences", Visual Analytics in Healthcare Workshop 2013 (2013)
  13. Deerwester, S., "Indexing by latent semantic analysis", Journal of the American Society for Information Science, 41(6), pp.391~407 (1990)[DOI]
  14. Dur, B. I. U., "Data visualization and infographics in visual communication design education at the age of information", Journal of Arts and Humanities, 3(5), pp.39~50 (2014)[DOI]
  15. Egger, R., "A topic modeling comparison between LDA, NMF, Top2Vec, and BERTopic to demystify twitter posts", Frontiers in Sociology, 7, pp.886498~ (2022)[DOI]
  16. Gao, Q., "Semantic-enhanced topic evolution analysis : a combination of the dynamic topic model and word2vec", Scientometrics, 127, pp.1543~1563 (2022)[DOI]
  17. "BERTopic: Neural topic modeling with a class-based TF-IDF procedure"[URL]
  18. Hofmann, T., "Probabilistic latent semantic indexing", Proceedings of the 22nd Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, pp.50~57 (1999)
  19. Jelodar, H., "Latent Dirichlet allocation(LDA)and topic modeling : models, applications, a survey", Multimedia Tools and Applications, 78(11), pp.15169~15211 (2019)[DOI]
  20. Jing, X. Y., "An improved LDA approach", IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics), 34(5), pp.1942~1951 (2004)[DOI]
  21. Li, C., "LDA meets Word2Vec: A novel model for academic abstract clustering", Proceedings of the 2018 Web Conference Companion (WWW '18 Companion), pp.1699~1706 (2018)
  22. Li, W., "Pachinko allocation : DAG-structured mixture models of topic correlations", Proceedings of the 23rd International Conference on Machine Learning, pp.577~584 (2006)
  23. Mehrotra, R., "Improving LDA topic models for microblogs via tweet pooling and automatic labeling", Proceedings of the 36th International ACM SIGIR Conference on Research and Development in Information Retrieval, pp.889~892 (2013)
  24. "Mixing Dirichlet topic models and word embeddings to make lda2vec"[URL]
  25. Reimers, N., "Sentence-BERT : Sentence embeddings using Siamese BERTnetworks", Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing(EMNLP-IJCNLP), pp.3982~3992 (2019)
  26. Sia, S., "Tired of topic models? Clusters of pretrained word embeddings make for fast and good topics too!", Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing(EMNLP), pp.1728~1736 (2020)
  27. Vayansky, I., "A review of topic modeling methods", Information Systems, 94, pp.1~15 (2020)[DOI]
  28. Yuan, C., "Research on K-value selection method of K-means clustering algorithm", J, 2(2), pp.226~235 (2019)[DOI]

관련 논문AI추천

LDA와 BERTopic을 이용한 토픽모델링의 증강과 확장 기법 연구김선욱, Yang, Kiduk한국정보관리학회 · 정보관리학회지2022 · 제39권 제3호Keybert와 Bertopic을 활용한 텍스트마이닝 연구동향 분석길완제, 신인수, 장환영한국엔터프라이즈아키텍처학회 · 정보화연구2024 · 제21권 제2호국내 기록관리학 연구동향 분석을 위한 토픽모델링 기법 비교 - LDA와 HDP를 중심으로 -박준형, 오효정한국도서관·정보학회 · 한국도서관·정보학회지2017 · 제48권 제4호토픽모델링 기반 대학도서관 연구동향 분석과 대학도서관 평가지표 비교 연구김혜진, 노경국한국도서관·정보학회 · 한국도서관·정보학회지2025 · 제56권 제2호토픽모델링을 활용한 국내 문헌정보학 연구동향 분석송민, 박자현한국정보관리학회 · 정보관리학회지2013 · 제30권 제1호대조학습을 활용한 비지도 토픽 모델링김도현, 윤수아, 황정준한국품질경영학회 · 품질경영학회지2025 · 제53권 제3호

이 간행물의 다른 논문 (18건)

에듀테크 기반 학교도서관활용교육 설계 모형 개발송기호pp. 31-51강동구 도서관에 대한 지역 주민과 도서관 관계자의 인식 조사 연구임성관pp. 53-82충청북도 학교도서관 장서 및 보존 현황 분석 연구강봉숙, 곽승진, 노영희, 장인호pp. 83-97사서학습공동체에 관한 사서의 인식 및 수요조사노영희, 정영미pp. 99-12214세 미만 어린이의 공공도서관 대출회원증 발급 간소화 방안 연구 - 서비스 디자인 방법론을 중심으로 -김보일, 이보라pp. 123-149
원문 보기