소셜 텍스트의 주요 정보 추출을 위한 로지스틱 회귀 앙상블 기법
Logistic Regression Ensemble Method for Extracting Significant Information from Social Texts
0
조회
0
다운로드
3
인용
0
참고문헌
키워드
초록
빅데이터 시대를 맞이하여 텍스트마이닝과 오피니언마이닝의 활용도가 커지고 있는 시점에서 소셜 네트워크 서비스로부터 유용한 정보를추출하는 작업은 매우 중요한 연구 주제 중 하나이다. 이에 본 논문은 블로그 HTML 문서에서 주요 본문을 찾는 로지스틱 회귀 앙상블 기법을제안한다. 먼저, 블로그 HTML 태그에서 구조적 특징, 텍스트 특징을 추출한다. 그 다음, 블로그 HTML 문서에서 추출한 태그 특징에 로지스틱 회귀 및 앙상블 기법을 적용하여 본문을 포함하는 태그를 분류하는 모델을 구성한다. 본 연구의 중요한 발견 중 하나는 태그의 깊이 특징을이용하여 주요 본문을 찾을 수 있다는 점이다. 다양한 주제의 국내 블로그 데이터를 이용한 실험에서 태그 분류 정확도가 99%, 본문을 찾아낸문서의 비율이 80.5%로 평가되었다.
Abstract
Currenty, in the era of big data, text mining and opinion mining have been used in many domains, and one of their most important research issues is to extract significant information from social media. Thus in this paper, we propose a logistic regression ensemble method of finding the main body text from blog HTML. First, we extract structural features and text features from blog HTML tags. Then we construct a classification model with logistic regression and ensemble that can decide whether any given tags involve main body text or not. One of our important findings is that the main body text can be found through ‘depth’ features extracted from HTML tags. In our experiment using diverse topics of blog data collected from the web, our tag classification model achieved 99% in terms of accuracy, and it recalled 80.5% of documents that have tags involving the main body text.
참고문헌 (17)
- 배정환, "텍스트 마이닝을 이용한2012년 한국대선 관련 트위터 분석", 지능정보연구, 19(3), pp.141~156 (2013), 한국지능정보시스템학회[DOI]
- 이윤주, "SNS 텍스트 콘텐츠를 활용한 오피니언마이닝 기반의 패션 트랜드 마케팅 예측 분석", 한국정보기술학회논문지, 12(12), pp.163~170 (2014), 한국정보기술학회[DOI]
- Imran, Muhammad, "Extracting information nuggets from disaster-related messages in social media", Proc. of ISCRAM (2013)
- So-hyeon Kim, "Extracting Significant Information from Social Text using Machine Learning", Korea Information Processing Society, The KIPS Fall Conference, 23(2), pp.742~745 (2016)
- Wang, Changzhi, "Opinion Mining Research on Chinese Micro-blog", First International Conference on Information Science and Electronic Technology (2015)
- Gulhane, Pankaj, "Exploiting content redundancy for web information extraction", Proceedings of the VLDB Endowment, 3, pp.578~587 (2010)
- Bronzi, Mirko, "Extraction and integration of partially overlapping web sources", Proceedings of the VLDB Endowment, 6(10), pp.805~816 (2013)
- Kohlschütter, Christian, "Boilerplate detection using shallow text features", Proceedings of the Third ACM International Conference on Web Search and Data Mining, pp.441~450 (2010)
- "Evaluating Text Extraction Algorithms"[URL]
- Sun, Fei, "Dom based content extraction via text density", Proceedings of the 34th International ACM SIGIR Conference on Research and Development in Information Retrieval, pp.245~254 (2011)
- Narawade, Shubhada Maruti, "A Web Based Data Extraction Using Hierarchical (DOM) Tree Approach", International Journal for Innovative Research in Science and Technology, 2(11), pp.255~257 (2016)
- Geng, Hua, "Extracting content for news web pages based on DOM", IJCSNS International Journal of Computer Science and Network Security, 7(2), pp.124~129 (2007)
- Kadam, Vinayak B., "DEUDS : Data Extraction Using DOM Tree and Selectors", International Journal of Computer Science and Information Technologies, 5(2), pp.1403~1410 (2014)
- Kuswanto, Heri, "Logistic Regression Ensemble for Predicting Customer Defection with Very Large Sample Size", Procedia Computer Science, 72, pp.86~93 (2015)
- Wang, Hong, "Large unbalanced credit scoring using Lasso-logistic regression ensemble", PloS one, 10(2), pp.e0117844~ (2015)
- Chandrashekar, Girish, "A survey on feature selection methods", Computers & Electrical Engineering, 40(1), pp.16~28 (2014)
- Jurado, Sergio, "Hybrid methodologies for electricity load forecasting: Entropy-based feature selection with machine learning and soft computing techniques", Energy, 86, pp.276~291 (2015)