데이터센터 모니터링 시스템에서 대량 스트리밍 센서 데이터 처리
Streaming Massive Sensor Data Processing in Data Center Monitoring System
0
조회
0
다운로드
6
인용
0
참고문헌
키워드
초록
데이터센터는 다양한 센서로부터 수많은 종류의 데이터를 수집하고 있으며 이러한 데이터는 데이터센터 모니터링시스템의 분석을 통해 센터의 효율 관리와 개선에 활용되고 있다. 최근에는 데이터센터의 대형화 추세에 따라 센서데이터 양이 폭발적으로 증가하고 모니터링 시스템은 대량의 실시간 스트리밍 데이터에 대한 분석 및 처리 방안이필요하게 되었다. 따라서 본 논문에서는 데이터 발생시간인 이벤트 시간을 기반으로 한 대량의 스트리밍 센서데이터 처리 방안과 데이터양의 증가에 따른 처리 확장성(scalability) 제공 방안을 제시하고자 한다. 이벤트 시간 기반스트리밍 처리를 위해서는 데이터 발생시간과 처리시간 사이의 시간 지연 문제가 해결되어야 하는데 이를 위해 필터링(filtering), 추가시간(slack time), 윈도우 더블링(window doubling), 조정시간(coordinate time) 등을 이용한 처리 방안을 제시한다. 또한 처리 확장성 제공 방안으로 분산 스트리밍 시스템을 활용한 모니터링 시스템 구축 방안을 제시하고 실험적 시스템 구현을 통해 그 효율과 성능을 분석한다.
Abstract
A data center collects a very large volume of data from various kinds of sensors that is used by the data center monitoring system for the center’s efficiency management and improvement. As the recent trend of large size data center leads to the explosion of sensor data, the monitoring system requires streaming data processing to process and to analyze large volume of real-time data. This paper proposes an event time based real-time streaming processing model for large sensor data. The event time is the time when the data is generated at a sensor. This paper also presents a method to provide scalability of streaming data processing. For the event time based real-time streaming processing, a latency problem between data generation time and processing time should be resolved. We provide a solution based on filtering, slack time, window doubling and coordinate time methods. In order to provide the scalability, this paper builds an experimental monitoring system based on distributed streaming systems and shows an analysis of its performance and efficiency.
참고문헌 (18)
- L. Liu, "GreenCloud: A New Architecture for Green datacenter", Proc. of ACM ICACINDST, pp.29~38 (2009)
- S. Meng, "State monitoring in cloud datacenters", Proc. of IEEE Trans. Knowl. Data Eng., 23(9), pp.1328~1344 (2011)
- T. Akidau, "The dataflow model: a practical approach to balancing correctness, latency, and cost inmassive-scale, unbounded, out-oforder data processing", Proc. of PVLDB (2015)
- J. Torres, "Reducing Wasted Resources to Help Achieve Green datacenters", Proc. of IEEE IPDPS, pp.1~8 (2008)
- J. S. Chase, "Managing Energy and Server Resources in Hosting Centers", Proc. of ACM SOSP, pp.103~116 (2001)
- G. Chen, "Energy-Aware Server Provisioning and Load Dispatching for Connection Intensive Internet Services", Proc. of USENIX NSDI, pp.337~350 (2008)
- H. Shoukourian, "Monitoring power data: A first step towards a unified energy efficiency evaluation toolset for hpc data centers", Environmental Modeling Software (2013)
- B. Lajevardi, "Real-time monitoring and evaluation of energy efficiency and thermal management of data centers", J. Manuf. Syst, 37, pp.511~516 (2014)
- C. Mutschler, "Distributed low-latency out-of-order event processing for high data rate sensor streams", Proc. of IPDPS, 2013 IEEE 27th International Symposiumon, pp.1133~1144 (2013)
- M. Zaharia, "Resilient distributed datasets: A fault-tolerant abstraction for in-memory cluster computing", Proc. of NSDI (2012)
- J. Kreps, "Kafka: A Distributed Messaging System for Log Processing", Proc. of SIGMOD Workshop on Networking Meets Databases (2011)
- AR Cuéllar, "Window aggregate sharing for outof-order stream processing", pp.2016
- U. Srivastava, "Flexible Time Management in Data Stream Systems", Proc. of the 23rd ACM SIGMOD-SIGACT-SIGART Symp. on Princ. of Database Systems, pp.263~274 (2004)
- "Lambda architecture" (2015)[URL]
- T. Akidau, "The data flow model: Apractical approach to balancing correctness, latency, and cost inmassive-scale, unbounded, out-of-order data processing", Proc. of VLDB Endow., 8(12), pp.1792~1803 (2015)
- "Apache Flink project. Event time" (2015)[URL]
- S. Greenberg, "Best practices for data centers: lessons learned from benchmarking 22 data centers Proceedings of the ACEEE Summer Study on Energy Efficiency in Buildings in Asilomar", Proc. of CA, ACEEE, 3, pp.76~87 (2006)