Hadoop 프레임워크 상의 효율적인 다중 구조 데이터 처리 기법
An Efficient Technique for Managing Multi-Structured Data on a Hadoop-based Framework
0
조회
0
다운로드
3
인용
0
참고문헌
키워드
초록
빅데이터 처리 환경에서 다중 구조의 데이터 분석 작업을 효율적으로 처리하기 위해서 하둡 기반의 다양한 컬럼 기반의 저장 기법들이 활용되고 있다. 컬럼 기반의 저장 기법은 희소 속성들에 대한 선택, 집계 연산에 매우 효율적이지만 레코드를 재구성하는데 많은 비용을 요구한다. 본 논문에서는 다양한 구조의 데이터를 구조가 유사한 레코드들로 클러스터링함으로써, 컬럼 기반의 저장방식을 사용하는 분산 처리 환경에서 질의 처리의 속도를 향상시키는 기법을 제안하고 실험을 통해 제안하는 방법이 다중 데이터에 대한 질의 처리 성능 개선에 효율적임을 입증한다.
Abstract
To support multi-structured data in big data processing environments, distributed data processing frameworks often make use of a column-oriented storage technique. While column-oriented storage techniques efficiently handle analytic tasks such as selection and/or aggregation on a sparse column, they are not efficient in reconstructing records. In this paper, we propose a clustering technique that partitions data into groups of records having similar structures so as to reduce the number of columns in each group. We can not only reduce the search space of a query but also improve the performance of reconstructing a record by partitioning data. Through experiments, we show that the proposed technique improves the performance of query processing on multi-structured data.
참고문헌 (23)
- K. Shvachko, "The hadoop distributed file system", Proc. Mass Storage Systems and Technologies (MSST) (2010)
- J. Dean, "MapReduce: Simplified data processing on large clusters", Proc. OSDI (2004)
- R. Pike, "Interpreting the data: Parallel analysis with Sawzall", Scientific Programming, 13(4), pp.277~298 (2005)
- C. Olston, "Pig latin: A not-so-foreign language for data processing", Proc. SIGMOD (2008)
- A. Thusoo, "Hive - A warehousing solution over a map-reduce framework", Proc. VLDB (2009)
- B. Chattopadhyay, "Tenzing: a sql implementation on the mapreduce framework", Proc. VLDB (2011)
- A. Abouzeid, "HadoopDB: An architectural hybrid of mapreduce and dbms technologies for analytical workloads", Proc. VLDB (2009)
- S. Melnik, "Dremel: interactive analysis of web-scale datasets", Proc. VLDB (2011)
- S. Wanderman-Milne, "Runtime Code Generation in Cloudera Impala", IEEE Data Eng. Bull, 37(1), pp.31~37 (2014)
- M. Hausenblas, "Apache drill: interactive Ad-Hoc analysis at scale", Big Data, 1(2), pp.100~104 (2013)
- D. Abadi, "Column Stores for Wide and Sparse Data", Proc. CIDR (2007)
- Y. He, "RCFile: A Fast and Space-efficient Data Placement Structure in MapReduce-based Warehouse Systems", Proc. ICDE (2011)
- Y. Huai, "Major Technical Advancements in Apache Hive", Proc. SIGMOD (2014)
- A. Floratou, "Column-Oriented Storage Technique for MapReduce", Proc. VLDB (2011)
- C. Xiao, "Efficient Similarity Joins for Near Duplicate Detection", Proc. WWW (2008)
- F. Chang, "Bigtable: A Distributed Storage System for Structured Data", Proc. OSDI (2006)
- Lars George, "HBase: The Definitive Guide" (2011), O'Reilly Media
- A. Z. Broder, "Syntactic clustering of the web", Computer Networks, 29, pp.8~13 (1997)
- D. Tahara, "Sinew: A SQL System for Multi-Structured Data", Proc. SIGMOD (2014)
- C. Chasseur, "Enabling JSON Document Stores in Relational Systems", Proc. WebDB (2013)
- 최경석, "웹 서비스 기반 빅 데이터 서비스 조합 프레임워크", 한국차세대컴퓨팅학회 논문지, 11(1), pp.6~15 (2015), 한국차세대컴퓨팅학회
- Naveed Ejaz, "Efficient Soical Network Data Analysis by Utilizing Cloud Computing Infrastructure", 한국차세대컴퓨팅학회 논문지, 8(3), pp.47~56 (2012), 한국차세대컴퓨팅학회[DOI]
- 임철수, "빅데이터 분석 도구 개발기술 동향", 한국차세대컴퓨팅학회 논문지, 10(5), pp.77~84 (2014), 한국차세대컴퓨팅학회