스파크 프레임워크에서 연속집계 질의처리를 위한 자원공유기법
Resource Sharing Scheme for Continuous Aggregation Query Processing in Spark Frameworks
0
조회
0
다운로드
2
인용
0
참고문헌
키워드
초록
최근 사물인터넷 환경에서 센서가 위치 정보와 연계하여 생성하는 실시간 데이터가 급속하게 증가함에 따라 빅데이터 플랫폼을 활용한 다양한 서비스에 관한 연구들이 수행되고 있다. 이러한 빅데이터 플랫폼에서는 다중 사용자 요구에 대해 끊임없이 유입되는 센서 빅데이터를 효과적으로 분석하기 위해 데이터 집계 연산을 포함한 연속질의 처리에 관한 연구가 제시되어왔다. 그러나 기존의 자원공유 기반의 집계연산은 시간기반 질의와 튜플기반 질의의 동시 수행의 문제와 집계 정보의 중복 유지로 인한 메모리 사용량 증가 및 질의처리 성능 저하가 발생하고 있다. 이에 본 논문에서는 인-메모리 기반 분산 처리 프레임워크인 스파크를 기반으로 연속집계 질의처리를 효과적으로 지원하기 위한 자원 공유기법을 제안한다. 제안 기법은 질의처리 범위에 대해 집계정보 기반의 선형 자원공유를 통해 집계 정보 처리 비용의 증가를 최소화하고, 집계정보의 중복 생성을 방지함으로써 연속집계 질의처리에 요구되는 메모리 자원 사용량을 최소화하고 질의처리 성능도 향상시킨다. 또한, 제안 기법은 빅데이터에 대한 연속집계 질의처리의 실시간성을 보장하기 위해 스파크 프레임워크를 기반으로 구현한다. 마지막으로 성능 평가를 통하여 제안 자원 공유기법이 연속집계 질의처리에 효과적으로 활용될 수 있음을 보인다.
Abstract
Recently, as the real-time data generated by sensors in connection with location information rapidly increases in the IoT environment, studies on various services using a big data platform have been conducted. In this big data platform, research on continuous query processing including data aggregation operation has been proposed to effectively analyze sensor big data constantly flowing for multi-user needs. However, the existing resource-sharing-based aggregation operation has a problem of concurrent execution of time-based and tuple-based queries and an increase in memory usage and deterioration in query processing performance due to duplicated maintenance of aggregate information. Therefore, in this paper, we propose a resource sharing method to effectively support continuous aggregation query processing based on Spark, an in-memory based distributed processing framework. The proposed method minimizes the increase in the cost of processing aggregate information through linear resource sharing based on summary information for the scope of query processing, and reduces the memory usage required for continuous aggregate query processing. Also, our method improves query processing performance by preventing duplicate generation of aggregate information. The proposed approach is implemented based on Spark framework to ensure real-time performance of continuous aggregate query processing for big data. Finally, through performance evaluation, it is shown that the proposed resource sharing technique can be effectively used for continuous aggregation query processing.
참고문헌 (16)
- M. Beyer, "Gartner says solving 'Big Data'challenge involves more than just managing volumes of data", Gartner, ~ (2011)
- J. Dean, "MapReduce:Simplified data processing on large clusters", Proceedings of the 6th Symposium on Operating Systems Design and Implementation, pp.137~150 (2004)
- 정원일, "맵리듀스 온라인 프레임워크에서 공간 데이터 스트림 처리를 위한 동적 부하 관리 기법", 한국산학기술학회논문지, 19(8), pp.535~544 (2018), 한국산학기술학회[DOI]
- A. M. Aly, "M3: stream processing on main-memory MapReduce", Data Engineering (ICDE), IEEE 28th International Conference, pp.1253~1256 (2012)
- D. Jeong, "A study on MapReduce processing for multi-dimensional continuous query", Lecture notes in computer science, 7827, pp.74~78 (2013)
- D. Yang, "Progressive online aggregation in a distributed stream system", Journal of systems and software, 102, pp.146~157 (2015)
- T. Condie, "Online aggregation and continuous query support in MapReduce", Special Interest Group on Management of Data, 6~11 (2010)
- J. Li, "Semantics and evaluation techniques for window aggregates in data streams", Proceedings of ACM SIGMOD, pp.311~322 (2005)
- A. Arasu, "Resource sharing in continuous sliding-window aggregates", Proceedings of the Very Large DataBase, pp.336~347 (2004)
- J. Li, "No Pane, No Gain :Efficient evaluation of sliding-window aggregates over data streams", SIGMOD Record, 39~44 (2005)
- "Apache Hadoop" (2020)[URL]
- T. Condie, "MapReduce online", Networked Systems Design and Implementation, ~ (2010)
- M. Zaharia, "Resilient distributed datasets: a fault-tolerant abstraction for in-memory cluster computing", Proceedings of the 9th USENIX Symposium on networked systems design and implementation, pp.15~28 (2012), USENIX Association
- A. Gounaris, "Dynamic configuration of partitioning in spark applications", IEEE Transactions on Parallel and Distributed Systems, 28(7) (2017)
- "Apache Spark" (2020)[URL]
- 백성하, "다중 연속질의에서 슬라이딩 윈도우 집계질의 최적화를 위한 선형 자원공유 기법", 정보과학회논문지 : 데이타베이스, 33(6), pp.563~577 (2006), 한국정보과학회