시계열 빅데이터 처리 분석을 위한 맵리듀스 메커니즘 연구
Research on Map-Reduce Mechanism for Time Series Big Data Processing and Analysis
4
조회
0
다운로드
8
인용
0
참고문헌
키워드
초록
정보화 시대는 다양한 형태로 빠르게 축적되고 있는 빅데이터를 저장, 관리 및 처리하기 위한새로운 연구 접근법을 요구하고 있다. 본 논문은 시계열 특성을 가지는 디지털운행기록계 빅데이터의처리 분석을 대한 연구를 진행하고, 하둡분산파일시스템과 맵리듀스를 이용하여 패턴 기반의 분석을위한 분산 처리의 성능 향상을 이루는 방법론을 제안한다. 전처리 과정, 필터링, 이차정렬을 포함하는본 논문의 메커니즘을 이용하면, 여러 파일에 분할 저장된 시계열 빅데이터에서 시계열 특성의 패턴을 이벤트 형태로 분석 및 생성할 수 있다. 본 논문은 빅데이터의 전처리 과정을 통한 성능 향상 효과와, 제안한 시계열 분석 방법론인 시계열 맵리듀스 메커니즘을 적용한 실험과 분석 결과를 통하여 본논문이 제안한 방법론의 타당성, 정확성 및 고성능 향상성을 보인다.
Abstract
The information era requires another new research approach to store, manage and processthe big data accumulated rapidly in a variety of forms. This paper pursues the research onhandling and analyzing digital tachograph big data, which is recorded in a time series manner. Italso proposes the methodology of performance improvement in distributed processing for patternbasedanalysis over Hadoop Distributed File System and MapReduce. By means of our proposingmechanism that includes preprocessing, filtering, and secondary sorting, it is possible that thetime series featured pattern is captured, analyzed and generated in the form of an event on the topof time series big data, which would be scattered over distributed files. This paper also shows theeffect of performance progress with big data preprocessing, and verifies properness, correctness,and high-performance improvement via experiments with our proposing time series MapReducemechanism
참고문헌 (11)
- The Digital Universe in 2020: big data, bigger digital shadows, and biggest growth in the far east, "J. Gantz", IDC iView, ~ (2012)
- 조나연, "Hadoop과 HBase 기반의 빅 데이터 처리 응용을 위한 가상 컴퓨팅 자원 이용률 분석", 정보기술아키텍처 연구, 11(4), pp.449~462 (2014), 한국엔터프라이즈아키텍처학회
- J. Ekanayake, "MapReduce for Data Intensive Scientific Analyses", the 4th IEEE International Conference on eScience, pp.277~284 (2008)
- 김정래, "전화통화 빅데이터 분석에 관한 연구", 정보기술아키텍처 연구, 10(3), pp.387~397 (2013), 한국엔터프라이즈아키텍처학회
- Y. Lim, "The CPS with the Hadoop ecosystems", the 7th International Conference on Application of Information and Communication Technologies, pp.1~4 (2013)
- K. Shvachko, "The Hadoop Distributed File System", the 26th IEEE Symposium on Mass Storage Systems and Technologies, pp.1~10 (2010)
- J. Dean, "MapReduce: Simplified Data Processing on Large Clusters", Communications of the ACM, 51(1), pp.107~113 (2008)
- "Time series"[URL]
- "Dangerous driving behavior criteria"[URL]
- MapReduce Design Patterns: Building Effective Algorithms and Analytics for Hadoop and Other Systems, "D. Miner", ~ (2012)
- T. White, "Hadoop: The definitive guide", pp.277~281 (2012), O’Reilly Media, Inc.