대규모 로그 데이터 분석을 위한 패턴화 압축 기반 빅데이터 처리 시스템 연구
Study of Pattern Compression based Big Data Processing System for Large Scale Log Data Analysis
0
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
분산 시스템은 대규모 데이터 처리의 한계를 극복하며, 기존 중앙 집중형 시스템의 성능 저하와 자원 비효율 문제를 해결한다. 특히 대규모로그 분석은 시스템 운영 상태, 성능 최적화 등 다양한 분야에서 활용된다. 하둡은 분산 처리 분야의 주요 도구이며, 맵리듀스는 데이터를 병렬처리하고, HDFS는 높은 확장성과 내결함성을 제공한다. 이러한 특징 덕분에 하둡은 대규모 로그 데이터의 효율적인 처리 및 분석에 적합하다. 최근 IT 플랫폼들은 대규모 분산 환경에서 운영됨에 따라 로그 데이터의 양이 기하급수적으로 증가한다. 이로 인한 로그의 급격한 증가는 고수준의빅데이터 분석 기술을 요구하며, CPU와 메모리 사용 시간 및 메모리 사용량 증가, 처리 속도 지연을 야기한다. 이에 본 논문에서는 대규모 로그데이터 분석을 위한 패턴화 압축 기반 빅데이터 처리 시스템을 제안한다. 제안하는 시스템은 데이터 압축 기술을 활용하여 자원 사용시간 및 사용량을감소시키고 처리 속도를 향상시킨다. 성능 평가 결과, CPU 사용량은 기존 대비 78.8%, 메모리 사용 시간은 65%, 메모리 사용량 6.2%, 처리 시간은80% 감소하며 향상된 성능을 보인다. 향후 본 연구를 기반으로 다양한 데이터 구조에서의 패턴화 압축 알고리즘을 적용한 실질적인 검증이 필요하다.
Abstract
Distributed systems overcome the limitations of large-scale data processing and address inefficiencies in resource utilization oftraditional centralized systems. In particular, large-scale log analysis is utilized in various fields, such as monitoring system performanceand operational status and optimizing overall efficiency. Hadoop is a major tool in the field of distributed processing, with MapReduceenabling parallel data processing and HDFS offering high scalability and fault tolerance. These features make Hadoop well-suited forthe efficient processing and analysis of large-scale log data. Recently, as IT platforms operate in large-scale distributed environments,the volume of log data has increased exponentially. This rapid growth in log data demands advanced big data analysis technologies butalso increases CPU and memory usage, as well as processing delays. To address these challenges, this paper proposes a patternedcompression-based big data processing system for large-scale log data analysis. The proposed system leverages data compressiontechnology to reduce resource usage time and consumption while improving processing speed. Performance evaluation results showimprovements: CPU usage is reduced by 78.8%, memory usage time by 65%, memory consumption by 6.2%, and processing time by 80%,achieving significant overall performance enhancement. Based on this study, further research and validation are expected to focus onapplying patterned compression to various types of big data.