실시간 스트림 데이터 분석을 위한 시각화 가속 기술 및 시각적 분석 시스템
Fast Visualization Technique and Visual Analytics System for Real-time Analyzing Stream Data
1
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
위험관리 시스템은 단 시간에 의사결정하기 위해 스트림 데이터를 실시간으로 분석 할 수 있어야 한다. 많은 데이터 분석 시스템은 CPU와 디스크 데이터베이스로 구성되어 있다. 하지만, cpu 기반 시스템은 스트림 데이터를 실시간으로 분석하는데 어려움이 있다. 스트림 데이터는 1ms부터 1시간, 1일까지 생성주기가 다양하다. 한 개의 센서가 생성하는 데이터는 작다. 하지만 수 만개의 센서가 생성하는 데이터는 매우 크다. 예를 들어 10만개 센서가 1초에 1GB 데이터를 생성한다면, CPU 기반 시스템은 이를 분석 할 수 없다. 이러한 이유로 실시간 스트림 데이터 분석 시스템은 빠른 처리 속도와 확장성이 필요하다. 본 논문에서는 GPU와 하이브리드 데이터베이스를 이용한 시각화 가속 기술을 제안한다. 제안한 기술을 평가하기 위해 우리는 지하 파이프라인에 설치된 센서와 트윗 데이터를 활용하여 실시간 릭 탐지 시각적 분석 시스템에 적용했다.
Abstract
Risk management system should be able to support a decision making within a short time to analyze stream data in real time. Many analytical systems consist of CPU computation and disk based database. However, it is more problematic when existing system analyzes stream data in real time. Stream data has various production periods from 1ms to 1 hour, 1day. One sensor generates small data but tens of thousands sensors generate huge amount of data. If hundreds of thousands sensors generate 1GB data per second, CPU based system cannot analyze the data in real time. For this reason, it requires fast processing speed and scalability for analyze stream data. In this paper, we present a fast visualization technique that consists of hybrid database and GPU computation. In order to evaluate our technique, we demonstrate a visual analytics system that analyzes pipeline leak using sensor and tweet data.
참고문헌 (16)
- Smestad Geir, "Interactive Visual Analysis of Streaming Data", Master, pp.2014
- Kandogan E, "A reference web architecture and patterns for real-time visual analytics on large streaming data", IS&T, 2013, ~[DOI]
- 박수현, "맵리듀스기반 스트림 데이터 처리를 위한 스트림 할당 및 분할 기법", 정보과학회 컴퓨팅의 실제 논문지, 19(5), pp.439~443 (2013), 한국정보과학회
- Han J, "Stream cube: An architecture for multi-dimensional analysis of data streams", Distributed and Parallel Databases, 18(2) (2005)
- Diaconu C, "Microsoft Technology Licensing, Llc, assignee. In-memory database system", United States patent US 9,251,214, ~ (2016)
- 송영선, "공간정보기반 3차원 가상현실을 이용한 홍수위험지도 제작", 한국지형공간정보학회지, 20(4), pp.97~104 (2012), 한국지형공간정보학회[DOI]
- 황연정, "3차원 공간 기반의 화재피난 시뮬레이션 시스템 개발", 한국화재소방학회 논문지, 25(6), pp.156~167 (2011), 한국화재소방학회
- 박정대, "웹기반 3차원 공간관리 프로토타입 모듈(W3D-SMPM) 구축방안 연구 - 사무용 빌딩의 오피스 공간 레이아웃을 대상으로 -", 대한건축학회논문집 계획계, 26(05), pp.63~70 (2010), 대한건축학회
- F. Wanner, "State-of-the-art report of visual analysis for event detection in text data streams", Computer Graphics Forum, 33(3) (2014)
- Sakaki T, "Earthquake shakes Twitter users: real-time event detection by social sensors", Proceedings of the 19th international conference on World wide web (2010), ACM
- Chae J, "Spatiotemporal social media analytics for abnormal event detection and examination using seasonal-trend decomposition", Visual Analytics Science and Technology (VAST), 2012 IEEE Conference (2012), IEEE
- J. Bollen, "Twitter mood predicts the stock market", Journal of Computational Science (2011)
- Chae J, "Public behavior response analysis in disaster events utilizing visual analytics of microblog data", Journal of Computer & Graphics, 38 (2014)
- Zhang J, "A Visual Analytics Framework for Microblog Data Analysis at Multiple Scales of Aggregation", Computer Graphics Forum, 35(3) (2016)
- Wu Y, "Opinionflow : Visual analysis of opinion diffusion on social media", IEEE transactions on visualization and computer graphics, 20(12) (2014)
- Yeon, H, "Predictive visual analytics of event evolution for user-created context", Journal of Visualization (2016)