키워드 기반 주제중심 분석을 이용한 비정형데이터 처리
Unstructured Data Processing Using Keyword-Based Topic-Oriented Analysis
0
조회
0
다운로드
19
인용
0
참고문헌
키워드
초록
빅데이터는 데이터 형식이 다양하고 방대할 뿐만 아니라 그 생성 속도가 매우 빨라 기존의 데이터 처리 방식이 아닌 새로운 관리 및 분석 방법이 요구된다. 소셜 네트워크 상의 온라인 문서에서 인간의 언어로 쓰여진 비정형 텍스트에서 Text Mining기법을 사용하여 유용한 정보를 추출할 수 있다. 소셜미디어에 남긴 정치, 경제, 문화에 대한 메시지에 대한 경향을 파악하는 것이 어떤 주제에 관심을 가지고 있는지를 파악할 수 있는 요소가 된다. 본 연구에서는 주제 중심 분석 기법을 이용하여 주어진 키워드에 관한 온라인 뉴스를 대상으로 텍스트 마이닝을 수행하였다. LDA(Latent Dirichiet Allocation)를 이용하여 웹문서로부터 정보를 추출하고 이로부터 사람들이 실제로 주어진 키워드에 대하여 어떤 주제에 관심이 있고 관련된 핵심 가치 중 어떤 주제를 중심으로 전파되고 있는지를 분석하였다.
Abstract
Data format of Big data is diverse and vast, and its generation speed is very fast, requiring new management and analysis methods, not traditional data processing methods. Textual mining techniques can be used to extract useful information from unstructured text written in human language in online documents on social networks. Identifying trends in the message of politics, economy, and culture left behind in social media is a factor in understanding what topics they are interested in. In this study, text mining was performed on online news related to a given keyword using topic - oriented analysis technique. We use Latent Dirichiet Allocation (LDA) to extract information from web documents and analyze which subjects are interested in a given keyword, and which topics are related to which core values are related.
참고문헌 (14)
- J. P. Woo, "Big Data Analysis will ahead", pp.236~251 (2017), Maekyung Pub
- "The Guide for Advanced Data Analytics Professional", Korea Database Agency, ~ (2014)
- T. M. Song, "Social Big Data Research Methodology with R", pp.16~39 (2016), Hannarae Pub
- "Tag Cloud"[URL]
- K. T. Kim, "Big Data Weapering 1", pp.4~12 (2017), AgePerson Pub
- 윤유동, "소셜 미디어 데이터 분석을 활용한 빅데이터에 대한 인식 변화 비교 분석", 정보처리학회논문지. 소프트웨어 및 데이터 공학, 6(7), pp.371~378 (2017), 한국정보처리학회[DOI]
- "Opinion Mining"[URL]
- 강범일, "토픽 모델링을 이용한 신문 자료의 오피니언 마이닝에 대한 연구", 한국문헌정보학회지, 47(4), pp.315~334 (2013), 한국문헌정보학회[DOI]
- David M. Blei, "Latent Dirichlet Allocation", Journal of Machine Learning Research, 3, pp.993~1022 (2003)
- 조태민, "LDA 모델을 이용한 잠재 키워드 추출", 한국지능시스템학회 논문지, 25(2), pp.180~186 (2015), 한국지능시스템학회
- R. D. Lee, "Analysis of twitter topic using LDA", Journal of Korean Institute of Intelligent Systems, 25(2), pp.180~185 (2015)
- B. M. Jeong, "Twitter Topic Extraction and Topic Category Decision using LDA Model", Proceedings of KISSE Winter Conference, pp.787~788 (2014)
- S. Y. Bong, "Applying Labeled LDA to Author Keywirds Recommendation", Proceedings of KIISE Spring Conference, 37(1(C)), pp.385~389 (2010)