스톰 기반의 SNS 분석 모델에 관한 연구
A Study on the SNS analysis model based on the Storm
0
조회
0
다운로드
1
인용
0
참고문헌
키워드
초록
디지털 데이터가 SNS를 중심으로 급속도로 축적됨에 따라 SNS 데이터 분석을 위해 하둡 기반의 키워드 자동 추출 시스템이 광범위하게 활용되고 있다. 하둡은 대용량의 데이터를 처리하기 위해 맵 리듀스라는 병렬 처리 프레임워크를 이용한다. 맵 리듀스 프레임워크는 데이터를 <Key, Value> 형태로 나타내고, 이를 통해 데이터를 변환하는 맵 단계와 변환된 데이터를 키에 따라 정렬하고 모아주는 리듀스 단계로 구성되는 프로세싱 구조를 가지고 있다. 이러한 하둡 프레임워크는 요구하는 사양이 상당히 낮으면서 데이터 신뢰성이 높아 대용량 데이터 처리에 최적화된 파일 시스템으로 평가받아 왔다. 하지만 이러한 시스템은 데이터와 사용자가 실시간으로 변하는 SNS의 특성을 반영하지 못 한다는 단점이 있다. 이에 대한 대안 데이터 분석 플랫폼으로 최근 스톰이 주목 받고 있다. 시간 데이터 분석 및 처리 기능에 중점을 두고 만들어진 스톰은 하둡 기반의 맵 리듀스 기법에 비해 SNS데이터 분석에 여러 강점을 가지고 있다. 이로 인해 스톰은 빠른 데이터 처리 속도, 높은 신뢰성과 확장성, 비교적 낮은 운용 난이도 등과 같은 장점을 가지고 있다. 이러한 스톰의 특징은 트위터에서 생산되는 30테라 바이트 이상의 데이터를 실시간으로 분석하기 위한 플랫폼으로 개발되었기 때문인데, 대용량 데이터에 대한 빠른 처리 요구가 급증함에 따라 새로운 범용 빅 데이터 플랫폼으로 주목 받고 있다. 본 논문에서는 이러한 특징을 가진 스톰을 이용해 대표적인 SNS인 트위터를 분석하고자 한다. 구체적으로 트위터에서 제공하는 Twitter streaming API를 이용해 데이터를 수집하고 이를 스톰을 이용해 취합 분석한 다음, 형태소 분석기를 통하여 keyword를 추출하고, 반복되는 keyword를 카운팅 하는 모델을 제시하고자 한다.
Abstract
Automatic keyword extraction systems based on Hadoop are widely used as SNS data analysis. It takes Map reduce, which is parallel processing framework to process Big data. Map reduce has two structures, one is that shows data as forms <key, Value>, called as Map Step. The other is a processing structure to collect and array transformed data following key, called as Reduce Step. Hadoop frame work have been evaluated as file system idealized processing big data because it doesn’t need to be advanced specifications and guarantees high data reliability. However Hadoop frame work has flaws in the SNS. Because it can’t process data in real time that is a attribute of SNS. To solve this problem, Storm is receiving attention for data analysis platform. Storm was born to analyze and process time data. So it could get some advantages to analyze SNS data. Storm also has other strong points, for example high dependability, expandability, and not too much difficult to manage. Because of rapidly increasing demands to process big data, Storm would be new widely big data platform. We suggest that the model beached on Storm. In the concrete, using API from Twitter, it would collect data and analyze through the Storm. And then, by Morpheme Analyser, Keyword is extracted and repeated.
참고문헌 (15)
- Kim Seung Yeol, "Mobile SNS service trends and forecasts", Journal of Communications and Networks, 26(4), pp.19~25 (2009)
- 정이나, "온라인 마케팅 전략을 위한 SNS와 Web기반 BDAS(Big data Data Analysis Scheme) 설계", 한국정보통신학회논문지, 19(1), pp.141~148 (2015), 한국정보통신학회[DOI]
- Babcock, "Models and issues in data stream systems", Proceedings of the twenty-first ACM SIGMOD- SIGACTSIGART symposium on Principles of database systems, pp.1~16 (2002)
- Jin-Hyung Lee, "Trend and Expantion of SNS", Journal of Communications & Radio Spectrum, 44
- A study on research status and characterictics domestic SNS ad, "Seong Dong Kyu", Korea Press Foundation, ~ (2012)
- L. Golab, "Issues in data stream management", SIGMOD Record, 32(2), pp.5~14 (2003)
- Hellerstein, "Stream-Based Data Management, Readings in Database Systems, Vol. 10", MIT Press
- Hyde, "Data in Flight", Communications of the ACM, 53(1), pp.48~52 (2010)
- The trend of next generation of real time big data distribution system-focus on Spark and Storm-, "Eom Jeong Ho", Institute for Information &communications Technology Promotion, ~ (2014)
- Khadilkar, Vaibhav V., "Storm Rider: harnessing storm for social networks", Proceedings of the 21st international conference companion on World Wide Web. ACM (2012)
- Hyeon-Kyung Lee, "A Study on the Storm-based System for Real-time SNS Data Analysis", Convergence Research Letter, 1(2), pp.25~28 (2015)