하둡 기반의 데이터 웨어하우스 구현을 위한 인터랙티브 및 스트림 처리 기술
Interactive Analysis and In-stream Processing for Implmenting Hadoop-based Data Warehouse
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
기존 Data Warehouse(DW)는 시스템의 확장성이 제한되고 분석의 대상이 요약(Summary)된 데이터로 한정되는 문제를 가지고 있다. 이를 해결하기 위해서 Hadoop으로 대표되는 Big Data 기술을 적용하려는 시도가 활발히 진행되고 있지만, Batch 처리 기반의 Hadoop MapReduce 기술은 DW가 요구하는 데이터의 신속한 처리를 통한 빠른 응답에는 적합하지 않다. 본 논문은 이에 대한 해결책으로 빠른 응답을 위한 Interactive Analysis 기술과 실시간 처리를 위한 In-stream processing 기술을 제시하였고, 실험 결과는 위의 기술들이 Hadoop 기반 DW의 구현에 충분한 성능을 제공할 수 있음을 보인다. 향후에는 R, OLAP 등을 활용한 고급 분석 영역으로 Hadoop 기반 기술을 확장하고, 사용자 편의를 위해 Interactive Analysis와 In-stream processing 기술을 유기적으로 통합할 계획을 가지고 있다.
Abstract
Data warehouse (DW) has limitation on scalability and also limited scope of analysis as only summarized data is used. There are lots of on-going works to overcome the limitations by applying big data technologies represented by Hadoop. However, they induce another problem of high latency from the MapReduce, which is originally designed for batch processing. To solve that problem, this paper suggests interactive analysis for fast response and in-stream processing for real-time processing, and experimental results show that those two technologies provide enough performance to make Hadoop-based DW feasible. In the future, we plan to expand Hadoop-base DW for advanced analysis, and also integrate interactive analysis and in-stream processing seamlessly for better user experience.
참고문헌 (23)
- "Data warehouse"[URL]
- Thusoo, "Hive-a petabyte scale data warehouse using hadoop", 26th International Conference on Data Engineering (2010)
- S. Chen, "Cheetah : a high performance, custom data warehouse on top of MapReduce", Proc. VLDB Endow. (2010)
- T. White, "Hadoop: The Definitive Guide" (2009), O'Reilly Media
- U. Kang, "Pegasus:A peta-scale graph mining system implementation and observations", Ninth IEEE International Conference on Data Mining (ICDM) (2009)
- H. Choi, "Tajo: A distributed data warehouse system on large clusters", 29th IEEE International Conference on Data Engineering (ICDE) (2013)
- "Parquet"[URL]
- Y. He, "RCFile: a fast and space-efficient data placement structure in MapReduce-based warehouse systems", 27th IEEE International Conference on Data Engineering (ICDE) (2011)
- C. Lomon, "Intel White Paper" (2011)
- M. Zukowski, "Just-in-time Compilation in Vectorized Query Execution", ~ (2011)
- "Cloudera Impala:real-time queries in Apache Hadoop, for real" (2010)[URL]
- "TPC-H benchmark"[URL]
- Discretized streams: A faulttolerant model for scalable stream processing, "Z. Matei", ~, pp.UC Berkeley Technical Report UCB (2012), EECS-2012-259
- M. Cherniack, "Scalable Distributed Stream Processing", CIDR Conference (2003)
- "Kafka 0.8.1 Documentation"[URL]
- "In-Stream Big Data Processing" (2013)[URL]
- REEF: Retainable Evaluator Execution Framework, "C. Byung-Gon", VLDB, ~ (2013)