BERTopic과 재군집화를 활용한 문서 선별 개선
Improving Topic-Specific Document Selection through BERTopic and Re-Clustering
1
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
본 논문에서는 다양한 데이터 분포에 따른 BERTopic 기반 군집화 결과를 분석한다. 또한, 연구자가 원하는 목표 주제 문서를 선별하기 위한 재군집화 방법을 제안한다. 기존 군집화 기법은 목표주제의 문서 비율이 매우 낮거나 높으면 정확한 문서 선별에 어려움을 겪는다. 이 문제 해결을 위해 검색으로 수집된 문서에서 목표 주제 문서가 다양한 비율로 포함되도록 샘플링을 수행한다. SBERT를 사용한 BERTopic 모델에 K-평균과 HDBSCAN 알고리즘을 적용하여 군집화를 수행하고결과를 비교한다. 재군집화 단계에서는 이상치로 분류된 문서를 다시 군집화하여 원래 결과와 병합한다. 재군집화 전후 결과는 네 가지 평가지표를 통해 비교했다. 정확도는 0.7251에서 0.9421로, F1 Score는 0.8449에서 0.9423으로 향상되었다. ARI와 NMI는 각각 0.3626과 0.2805만큼 증가했다. 이는제안된 방법이 군집 품질을 향상하고 문서 선별의 정확도를 높인다는 것을 보여준다.
Abstract
This study analyzes the performance of BERTopic-based clustering across various data distributions. A re-clustering method is proposed to improve the selection of documents on a specific target topic. Existing clustering techniques often face challenges in accurately selecting documents when the proportion of documents related to the target topic is very low or very high. To address this issue, sampling is performed on retrieved documents to include target topic documents at varying ratios. Clustering is performed using SBERT-based BERTopic with K-means and HDBSCAN algorithms, and the results are compared. In the re-clustering step, documents initially classified as outliers are re-clustered and merged with the original results. The results before and after re-clustering were compared using four evaluation metrics. Accuracy improved from 0.7251 to 0.9421, and the F1 Score increased from 0.8449 to 0.9423. ARI increased by 0.3626 and NMI by 0.2805. This indicates that the proposed method enhances clustering quality and improves the accuracy of document selection.