Hadoop과 HBase 기반의 빅 데이터 처리 응용을 위한 가상 컴퓨팅 자원 이용률 분석
An Analysis of Utilization on Virtualized Computing Resource for Hadoop and HBase based Big Data Processing Applications
0
조회
0
다운로드
4
인용
0
참고문헌
키워드
초록
빅 데이터 시대에서 데이터를 획득하고 저장하며 실시간으로 유입되거나 저장 된 데이터를 분석하는 처리 시스템은 다양한 부분을 고려해야 한다. 기존의 데이터 처리 시스템들과는 상이하게 빅 데이터 처리 시스템들에서는 시스템 내에서 처리될 데이터들의 포맷, 유입 속도, 크기 등의 특성을 고려해야한다. 이러한 상황에서, 가상화된 컴퓨팅 플랫폼은 가상화 기술로써 컴퓨팅 자원들을 동적이고 신축적으로 관리할 수 있음에 따라, 빅 데이터를 효율적으로 처리하기 위해 급부상하고 있는 플랫폼 중 하나이다. 본 논문에서는 가상화 된 컴퓨팅 플랫폼 상에서 Apache Hadoop과 HBase 기반의 빅 데이터처리 미들웨어를 구동하기 위하여 적합한 배포 모델을 위한 가상 컴퓨팅 자원 이용률을 분석하였다. 본연구 결과, Task Tracker 서비스는 처리 중 높은 CPU 자원 활용율과 중간 결과물 저장 시점에서는비교적 높은 디스크 I/O 사용을 보였다. 또한 HRegion 서비스의 경우, DataNode와의 데이터 교환을위한 네트워크 자원 활용 비율이 높았으며, DataNode 서비스는 I/O 집약적인 처리 패턴을 보였다.
Abstract
In big data era, there are a number of considerable parts in processing systems for capturing,storing, and analyzing stored or streaming data. Unlike traditional data handling systems,a big data processing system needs to concern the characteristics (format, velocity, and volume) ofbeing handled data in the system. In this situation, virtualized computing platform is an emergingplatform for handling big data effectively, since virtualization technology enables to manage computingresources dynamically and elastically with minimum efforts. In this paper, we analyzeresource utilization of virtualized computing resources to discover suitable deployment models inApache Hadoop and HBase-based big data processing environment. Consequently, Task Trackerservice shows high CPU utilization and high Disk I/O overhead during MapReduce phases. Moreover,HRegion service indicates high network resource consumption for transfer the traffic datafrom DataNode to Task Tracker. DataNode shows high memory resource utilization and Disk I/Ooverhead for reading stored data.
참고문헌 (30)
- S. Madden, "From Databases to Big Data", IEEE Internet Computing, 16(3), pp.4~6 (2012)
- Ku, M., "Are We Ready for the Era of Big Data?", The 2014 Association for Public Policy Analysis and Management Conference (APPAM) (2014)
- Kaisler, S., "Big Data: Issues and Challenges Moving Forward", 46th Hawaii International Conference on System Sciences (HICSS), pp.995~1004 (2013)
- Big data analytics, "Russom, P.", TDWI Best Practices, ~ (2011)
- Hseush, W, "Real-time collaborative planning with big data: Technical challenges and in-place computing (invited paper)", 9th International Conference on Collaborative Computing: Networking, pp.96~104 (2013)
- "Big Data Analytics", ~ (2011)
- V. R. Borkar, "Big data platforms: what’s next?", ACM Crossroads, 19(1), pp.44~49 (2012)
- R. E. Bryant, "Bigdata Computing: Creating Revolutionary Breakthroughs in Commerce, Science, and society", pp.1~15 (2008), Computing Research Initiatives for the 21st Century, Computing Research Association
- "Apache Hadoop"[URL]
- "Apache Hadoop"[URL]
- Bakshi, K., "Considerations for big data: Architecture and approach", International Conference on Aerospace, pp.1~7 (2012)
- R. Taylor, "An overview of the Hadoop", MapReduce, BMC Bioinformatics, pp.2010, 11(12)[DOI]
- Padhy R P, "Big Data Processing with Hadoop-MapReduce in Cloud Systems", International Journal of Cloud Computing and Services Science, 2(1), pp.16~27 (2012)
- 김정래, "전화통화 빅데이터 분석에 관한 연구", 정보기술아키텍처 연구, 10(3), pp.387~397 (2013), 한국엔터프라이즈아키텍처학회
- 이수안, "맵리듀스를 이용한 데이터 큐브의 상향식 계산을 위한 반복적 알고리즘", 정보기술아키텍처 연구, 9(4), pp.455~565 (2012), 한국엔터프라이즈아키텍처학회
- D. Agrawal, "Big Data and Cloud Computing: New Wine or just New Bottles?", The Proceedings of the VLDB Endowment (PVLDB), 3(2), pp.1647~1648 (2010)
- S. Tsuchiya, "Big data processing in Cloud environments", FUJITSU SCIENTIFIC & TECHNICAL JOURNAL, 48(2), pp.159~168 (2012)
- S. Chaudhuri, "What Next? A Half-Dozen Data Management Research Goals for Big Data and the Cloud", The 31st Symposium on Principles of Database Systems (PODS), pp.1~4 (2012)
- J. Schad, "Runtime Measurements in the Cloud: Observing, Analyzing, and Reducing Variance", The Proceedings of the VLDB Endowment (PVLDB), 3(1) (2010)
- Architecting for the cloud: Best practices, "J. Varia", Technical, ~ (2011)
- W. Lloyd, "Performance Implications of Multi-tier Application Deployments on Infrastructureas-a-service Clouds: Towards Performance Modeling", Future Generation Computer Systems, 29(5), pp.1254~1264 (2012)
- J. Dean, "MapReduce: Simplified data processing on large clusters", The 6th Symposium on Operating System Design and Implementation, pp.10~ (2004)
- "Amaznon Elastic MapReduce"[URL]
- E. Feller, "On the performance and energy efficiency of Hadoop deployment models", International Conference on Big Data, pp.131~136 (2013)
- Mino Ku, "An analysis of performance factors on Esper-based stream big data processing in a virtualized environment", International Journal of Communication Systems, 27(6), pp.898~917 (2014)
- "California Department of Transportation"[URL]
- "California Department of Transportation"[URL]
- Yeo H, "Impact of traffic states on freeway crash involvement rates", Accident Analysis and Prevention, 50, pp.713~723 (2013)
- White T, "Hadoop: The Definitive Guide" (2009), O’Reilly Media
- Lars George, "HBase: The Definitive Guide" (2011), O’Reilly Media