TF-IDF 분석 정확도 향상을 위한 문서 범위 조정 및 데이터시각화 연구
Research on documentation scoping and data visualization to improve accuracy of TF-IDF analysis
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
최근 자동화된 텍스트 분석 기술이 발전함에 따라 시시각각 변화하는 뉴스 데이터를 효과적으로 처리하고 의미 있는 정보를 추출하는 연구가 활발히 진행되고 있다. 이는 변화하는 사회적 흐름을 반영하는 중요한 정보원이지만, 체계적으로 분석하여 트렌드를 도출하는 것은 여전히 어려운 문제로 남아 있다. 본 연구에서는 TF-IDF 기법을 활용하여 뉴스 문서의 집합(D)을 기간별로 구분하고, 기간별 주요 키워드를 추출하여 뉴스 트렌드 변화 양상을 분석한다. 여기서 D는 특정 기간 동안 수집된 뉴스 문서들의 범위를 의미하며, 본 연구에서는 이를 1일(1Day), 7일(7Days), 14일(14Days), 28일(28Days), 3개월(3Months) 단위로 설정하여 실험을 진행한다. 실험 결과, 특정 기간 단위의 문서 집합이 특정 시기의 핵심 이슈를 가장 효과적으로 반영하며, 최신성과 정보량 간의 균형을 유지하는 최적의 분석 단위임을 확인한다. 또한, TF Score를 기반으로 색상의 명도를 조정하는 색상 스케일링 기법을 적용하여 키워드의 중요도를 시각적으로 표현하였다. 본 연구는 뉴스 동향 분석의 효율성을 향상시키기 위한 데이터셋 구성의 중요성을 강조하며, 향후 다양한 도메인에서도 적용될 수 있는 가능성을 제시한다.
Abstract
Recent advances in automated text analytics have spurred research into how to effectively process rapidly changing news data and extract meaningful information. It is an important source of information that reflects changing social trends, but systematically analyzing it to derive trends remains a challenge. In this research, we utilize TF-IDF technique to classify a set of news documents (D) into time periods and extract keywords for each time period to analyze the changes in news trends. Where D is the range of news articles collected over a certain period of time, we set it to 1day, 7days, 14days, 28days, and 3months. Experiments show that a set of documents over a specific time period is the optimal unit of analysis that best reflects the key issues at a particular time and balances freshness and volume of information. We also applied the Color Scaling technique, which adjusts the brightness of colors based on TF Score, to visually represent the importance of keywords. This study highlights the importance of dataset organization to improve the effectiveness of news trend analysis, and suggests potential future applications in various domains.