무질서 데이터를 위한 데이터 스트림 분리 처리 모델
Data Stream Split Processing Model for Out-of-order Data
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
대량의 데이터를 실시간으로 처리하는 스트리밍 처리에서는 데이터가 발생한 순서에 따라 처리하는 것이 중요하다. 그러나 데이터 스트림은 다양한 원인으로 인해 입력 순서가 뒤바뀔 수 있으며, 이런 무질서 데이터는 데이터 처리 시간을 지연시키거나, 처리 정확도를 떨어트리는 문제를 초래한다. 본 논문에서는 무질서 데이터 처리결과의 정확성을 높이면서 이로 인해 발생하는 데이터 처리 지연을 줄일 수 있는 데이터 스트림 분리 처리 방법인 DSSP(Data Stream Split Processing) 모델을 제안한다. DSSP 모델은 지연 데이터로 인한 전체 처리시간의 지연을 방지하기 위해 입력 데이터 스트림을 처리시간 내에 입력되는 정상 데이터 스트림과 처리시간 내에 입력되지 못한 지연 데이터 스트림으로 분리하여 처리한다. 정상적으로 입력된 데이터는 처리결과를 우선 신속히 제공하고, 지연 입력된 데이터는 별도로 저장하였다가 그 처리결과를 추가로 반영하여 데이터의 정확성을 보장할 수 있도록 한다. 본 논문에서는 DSSP 시스템의 실험적 구현을 통해 그 효율과 성능을 분석한다.
Abstract
It is crucial to process the data stream in event-time ordering when real-time processing a great amount of data. Data stream however, through various causes may create disorientation of the input order. These out-of-order data may induce data latency and reduce the correctness of the result. We propose a one such approach, a DSSP(Data Stream Split Processing) model that can reduce the latency of the data processing while increasing the accuracy of out-of-order data process results. To prevent the delay of response time caused by late data, our DSSP model splits input data stream into normal data stream that arrives on time and late data stream that does not. This model provides the result of normal data stream first, then applies the late data result that has been separately cached to assure the correctness of the data processing. We analyze the efficiency and performance of our DSSP model through experimental implementation.
참고문헌 (25)
- S. Shahrivari, "Beyond Batch Processing : Towards Real-Time and Streaming Big Data", Computers, 3(4), pp.117~129 (2014)
- "What is Data Center Infrastructure Management (DCIM)?"[URL]
- 선동한, "데이터센터 모니터링 시스템에서 대량 스트리밍 센서 데이터 처리", 한국차세대컴퓨팅학회 논문지, 13(6), pp.77~87 (2017), 한국차세대컴퓨팅학회
- 알아나지라얀, "Artificial Intelligence based framework for efficient management of resources in data centers", 한국차세대컴퓨팅학회 논문지, 15(2), pp.79~88 (2019), 한국차세대컴퓨팅학회[DOI]
- "The Green Button"[URL]
- T. Akidau, "The dataflow model: A practical approach to balancing correctness, latency, and cost in massive-scale, unbounded, out-of-order data processing", Proc. of VLDB Endow, 8(12), pp.1792~1803 (2015)
- "Streaming 102: The world beyond batch" (2016)[URL]
- "Apache Flink" (2014)[URL]
- L. Jin, "Semantics and evaluation techniques for window aggregates in data streams", Proc. of ACM SIGMOD Conf, pp.311~322 (2005)
- D. Abadi, "Aurora: A new model and architecture for data stream management", Proc of VLDB endow, 12(2), pp.120~139 (2003)
- C. Mutschler, "Distributed low-latency out-of-order event processing for high data rate sensor streams", Proc. of IPDPS, pp.1133~1144 (2013)
- "SQLstream Documentation" (2022)[URL]
- P. Tucker, "Exploiting punctuation semantics in continuous data streams", IEEE Transactions on Knowledge and Data Engineering, 15(3), pp.555~568 (2003)
- T. Johnson, "A heartbeat mechanism and its application in gigascope", Proc. of VLDB, pp.1079~1088 (2005)
- T. Akidau, "MillWheel: Fault-Tolerant Stream Processing at Internet Scale", Proc. of VLDB Endow, 6(11), pp.1033~1044 (2013)
- "Apache Flink"[URL]
- "Build a big data Lambda architecture for batch and real-time analytics using Amazon Redshift" (2022)[URL]
- P. Yang, "Robust, Scalable, Real-Time Event Time Series Aggregation at Twitter", Proc. of ACM SIGMOD Conf, pp.595~599 (2018)
- "Apache Spark 3.3..0: Structured Streaming Programming Guide"[URL]
- "Apache Kafka"[URL]
- 장강희, "엣지 디바이스를 위한 스트림 프로세싱 플랫폼의 성능 비교", 한국차세대컴퓨팅학회 논문지, 16(5), pp.7~14 (2020), 한국차세대컴퓨팅학회[DOI]
- V.K. Vavilapalli, "Apache hadoop yarn:Yet another resource negotiator", Proc. of the 4th Annual Symposium on Cloud Computing, pp.1~16 (2013)
- "Memcached"[URL]
- K. Shvachko, "The Hadoop Distributed File System", Proc. of MSST, pp.1~10 (2010)
- J. Jang, "Triggering Techniques to Improve Response Time in Multi-node Environment Streaming System", M.S., pp.2022