엣지 디바이스를 위한 스트림 프로세싱 플랫폼의 성능 비교
Comparison of Stream Processing Platforms for Edge Devices
0
조회
0
다운로드
3
인용
0
참고문헌
키워드
초록
스마트 씨티, 스마트 팩토리 등의 어플리케이션에서 실시간 처리는 매우 중요하다. 많은 데이터의 실시간 처리를 위해 스트림 프로세싱 플랫폼을 이용하는데, 5G 네트워크 등 고속 대용량의 네트워크를 이용하는 수요가 증가함에 따라 부하 분산 및 로컬에서의 실시간 응답 속도 향상을 위해 엣지에서의 프로세싱이 강조되고 있다. 따라서, 엣지에서의 실시간 처리를 위해 스트림 프로세싱이 중요해질 것이다. 이 글에서는 공개되어 있는 스트림 프로세싱 플랫폼에 대해 알아보고, Raspberry Pi 4와 같이 엣지 디바이스로 쓰일 수 있는 임베디드 시스템에서 스트림 프로세싱 플랫폼들의 성능을 실험을 통해 비교해 보았다.
Abstract
Real time processing is very important for many applications such as Smart city and Smart factory. In order to handle real time big data processing, stream processing platforms are being used. Due to the rapid increase of processing demand from the usage of high speed networks such as 5G networks, edge processing can give us benefits such as off-loading of data processing from clouds or servers, and improving response time if the processing result is asked at local devices. Therefore, the stream processing will be important on the edge devices. In this work, we surveyed available open source streaming platforms, and carried out performance comparisons on the embedded system such as the Raspberry Pi 4 which can be used for edge devices.
참고문헌 (26)
- "Recommendation ITU-T Q.5001(ex. Q.IECREQ), Signalling requirements and architecture of intelligent edge computing", ~
- S. P. Mohanty, "Everything you wanted to know about smart cities", IEEE Consumer Electronics Magazine, 5(3), pp.60~70 (2016)
- Ammar Gharaibeh, "Smart cities : A survey on data management, security, and enabling technologies", IEEE Communications Surveys & Tutorials, 19(4), pp.2456~2501 (2017)
- Chen, B., "Smart factory of Industry 4.0:key technologies, application case, and challenges", IEEE Access, 6(1), pp.6505~6519 (2018)
- "IoT 오픈 플랫폼 기반 스마트 팩토리 서비스 분야 도입사례집" (2019)[URL]
- Banks, A., "MQTT Version 5.0", OASIS Standard, ~ (2019)
- Kreps, Jay, "Kafka: A distributed messaging system for log processing", Proceedings of the NetDB, 11 (2011)
- "Apache Edgent, v1.1.0"[URL]
- Carbone, P., "Apache flink:Stream and batch processing in a single engine", Bulletin of the IEEE Computer Society Technical Committee on Data Engineering, 36(4) (2015)
- Zaharia, Matei, "Apache spark: a unified engine for big data processing", Communications of the ACM, 59(11), pp.56~65 (2016)
- "Apache Storm"[URL]
- Armbrust, Michael, "Structured streaming:A declarative api for real-time applications in apache spark", Proceedings of the 2018International Conference on Management of Data (2018)
- Gaudiot, Jean-Luc, "Advanced topics in data-flow computing" (1991), Prentice Hall
- Thompson, Simon, "Haskell: the craft of functional programming. Vol. 2" (2011), Addison-Wesley
- Dittrich, Jens, "Efficient big data processing in Hadoop MapReduce", Proceedings of the VLDB Endowment, 5(12), pp.2014~2015 (2012)
- Marz, Nathan, "Big Data:Principles and best practices of scalable real-time data systems" (2015), Manning Publications Co.
- "Raspberry Pi 4 Tech Specs"[URL]
- P. Hunt, "Zookeeper: Wait-free coordination for internet-scale systems", USENIX ATC (2010)
- "House Prices: Advanced Regression Techniques"[URL]
- Franklin, Dustin, "Nvidia jetson tx2 delivers twice the intelligence to the edge", NVIDIA Accelerated Computing| Parallel Forall (2017)
- 유승재, "스마트 팩토리를 위한 IoT 디바이스 기반의 데이터 수집과 비 면허 주파수 대역의 무선 네트워크", 한국차세대컴퓨팅학회 논문지, 15(1), pp.58~70 (2019), 한국차세대컴퓨팅학회
- 선동한, "데이터센터 모니터링 시스템에서 대량 스트리밍 센서 데이터 처리", 한국차세대컴퓨팅학회 논문지, 13(6), pp.77~87 (2017), 한국차세대컴퓨팅학회
- 김재하, "엣지 컴퓨팅 기반의 의료정보 시스템에 대한 현황 연구", 한국차세대컴퓨팅학회 논문지, 15(4), pp.30~39 (2019), 한국차세대컴퓨팅학회[DOI]