빅데이터 로그를 이용한 실시간 예측분석시스템 설계 및구현
Real time predictive analytic system design and implementation using Bigdata-log
1
조회
0
다운로드
15
인용
0
참고문헌
키워드
초록
기업들은 다가오는 데이터 경쟁시대를 이해하고 이에 대비해야 한다며 가트너는 기업의 생존 패러다임에 많은 변화를 요구하고 있다. 또한 통계 알고리즘 기반의 예측분석을 통한 비즈니스 성공 사례들이 발표되면서, 과거 데이터분석에 따른 사후 조치에서 예측 분석에 의한 선제적 대응으로의 전환은 앞서가고 있는 기업의 필수품이 되어 가고있다. 이러한 경향은 보안 분석 및 로그 분석 분야에도 영향을 미치고 있으며, 실제로 빅데이터화되고 있는 대용량로그에 대한 분석과 지능화, 장기화되고 있는 보안 분석에 빅데이터 분석 프레임워크를 활용하는 사례들이 속속 발표되고 있다. 그러나 빅데이터 로그 분석 시스템에 요구되는 모든 기능 및 기술들을 하둡 기반의 빅데이터 플랫폼에서 수용할 수 없는 문제점들이 있어서 독자적인 플랫폼 기반의 빅데이터 로그 분석 제품들이 여전히 시장에 공급되고 있다. 본 논문에서는 이러한 독자적인 빅데이터 로그 분석 시스템을 위한 실시간 및 비실시간 예측 분석 엔진을탑재하여 사이버 공격에 선제적으로 대응할 수 있는 프레임워크를 제안하고자 한다.
Abstract
Gartner is requiring companies to considerably change their survival paradigms insisting that companies need to understand and provide again the upcoming era of data competition. With the revealing of successful business cases through statistic algorithm-based predictive analytics, also, the conversion into preemptive countermeasure through predictive analysis from follow-up action through data analysis in the past is becoming a necessity of leading enterprises. This trend is influencing security analysis and log analysis and in reality, the cases regarding the application of the big data analysis framework to large-scale log analysis and intelligent and long-term security analysis are being reported file by file. But all the functions and techniques required for a big data log analysis system cannot be accommodated in a Hadoop-based big data platform, so independent platform-based big data log analysis products are still being provided to the market. This paper aims to suggest a framework, which is equipped with a real-time and non-real-time predictive analysis engine for these independent big data log analysis systems and can cope with cyber attack preemptively.
참고문헌 (9)
- "Predictive analytics" (2015)[URL]
- Quinton Anderson, "Storm Real-Time Processing Cookbook" (2014), acorn publishing
- SANS Seventh Annual Log Management Survey Report, "Jerry Shenk", ~ (2011)
- Sang-Jun Lee et al. (Unetsystem), "Unusual action decision system", Patent 10-2013-0134805, ~ (2013)
- "R leads Rapid Miner, Python catches up, Big Data tools grow, Spark ignites" (2015)[URL]
- Sung-Min Hong, "Open Language, R Language! Beyond that age" (2004), Cheil Communications(Magazine of Cheil Worldwide Inc.)
- Technology Trends in Big Data Analytics and Introduction to R, "Choong-Hyun Yoo", NexR, ~ (2012)
- Kwang-Man KO, "Development of Statistical Prediction Engine for Integrated Log Analysis Systems", Journal of The 2013 Fall Conference of the KIPS, 20(2) (2013)
- Sang-Jun Lee, "Integrated log analysis system", Patent 10-1484290, ~ (2015)