다이나믹 쿠쿠 필터를 적용한 다중 필터 분산 중복 제거 시스템의 설계 및 구현
Design and Implementation of Multiple Filter Distributed Deduplication System Applying Dynamic Cuckoo Filter
1
조회
0
다운로드
0
인용
0
참고문헌
키워드
초록
데이터 관리 분야에서 중복 제거는 특히 클라우드 스토리지 환경에서 중복 데이터를 제거하고 스토리지 자원을 최적화함으로써 중요한 역할을 한다. 클라우드 컴퓨팅 기술의 빠른 발전으로 현대의 클라우드 데이터 센터에서는 중복 제거가 널리 채택되고 있으며, 연구자들은 클라우드 스토리지의 중복 데이터 문제를 해결하기 위해 다양한 중복 제거 방법을 제안하고 있다. 이 논문은 빅 데이터의 독특한 특성에 주목하고, 동적 쿠쿠 필터 기술을 활용하는 효율적인 다계층 분산 데이터 중복 제거 처리 시스템에 대한 새로운 접근 방식을 제시한다. 이 기술은 분산 환경에서 중복 제거 작업을 처리하는 데 효과적인 솔루션을 제공하며, 효율적인 데이터 감소 및 자원 활용을 가능하게 한다. 본 논문에서는 빅 데이터의 특성을 고려하여 동적 쿠쿠 필터 기법을 이용한 다계층 분산 데이터 중복 제거 프로세스 시스템을 제안한다. 다계층 분산 데이터 중복 제거 시스템에서 동적 쿠쿠 필터를 활용함으로써, 클라우드 스토리지 환경에서 중복 제거 문제를 해결하고, 보다 효과적인 데이터 관리를 가능하게 한다. 개별 스토리지 노드는 중복 제거 효율성을 통해 성능을 향상시킬 수 있으며, 동적 쿠쿠 필터 적용으로 처리 시간을 단축시킬 수 있다. 실험 결과, 제안된 방법은 기존의 쿠쿠 필터를 이용한 중복 제거 기법에 비해 처리 시간을 7.9% 줄이고, 중복 제거율을 11.4% 높일 수 있음을 확인하였다.
Abstract
In the area of data management, deduplication plays an important role, especially in cloud storage environments, by eliminating redundant data and optimizing storage resources. With the rapid development of cloud computing technology, deduplication has been widely adopted in modern cloud data centers, which has led researchers to propose various deduplication methods to solve the problem of duplicate data in cloud storage. This paper focuses on the unique characteristics of big data and presents a new approach of an efficient multi-tier distributed data deduplication processing system utilizing dynamic Cuckoo filter technology. This technology provides an effective solution for handling deduplication tasks in a distributed environment, enabling efficient data reduction and resource utilization. In this paper, considering the characteristics of big data, we propose a multi-layer distributed data deduplication process system using dynamic Cuckoo filter technique. It solves the deduplication problem in cloud storage environments by enabling more effective data management by utilizing dynamic Cuckoo filters in a multi-tier distributed data deduplication system. Individual storage nodes can improve performance with deduplication efficiency and reduce processing time by applying dynamic Cuckoo filters. As a result of the experiment, it was confirmed that the proposed method reduced the processing time by 7.9% and increased the deduplication rate by 11.4% by the deduplication technique using the existing Cuckoo filter.
참고문헌 (18)
- S. Luo, "Boafft: Distributed deduplication for big data storage in the cloud", IEEE Transactions on Cloud Comnuting, 8(4), pp.1199~1211 (2020)
- 박정규, "네트워크 컴퓨팅 기술을 활용한 확장 가능형 빅데이터 스토리지 시스템 개발", 한국정보통신학회논문지, 23(11), pp.1330~1336 (2019), 한국정보통신학회[DOI]
- N. Almrezeq, "An enhanced approach to improve the security and performance for deduplication", Turkish Journal of Computer and Mathematics Education(TURCOMAT), 12(6), pp.2866~2882 (2021)
- 김영아, "쿠쿠 필터 유사도를 적용한 다중 필터 분산 중복 제거 시스템 설계 및 구현", 융합정보논문지, 10(10), pp.1~8 (2020), 중소기업융합학회[DOI]
- 정명기, "사설전용망내의 fixed-node 서버를 이용한 클라우드 파일시스템 기반 VOD 서비스", 한국지식정보기술학회 논문지, 9(5), pp.607~615 (2014), 한국지식정보기술학회
- "Worldwide Global DataSphere IoT Device and Data Forecast" (2019)[URL]
- S. A. Weil, "Ceph: A scalable, high-performance distributed file system", Proceedings of the 7th USENIX Symposium on Operating Systems Design and Implementation (OSDI '06), pp.307~320 (2006), USENIX Association
- 김영아, "서버 스토리지 기반의 메타데이터 중복 제거 컨트롤러 시스템 설계 및 구현", 한국지식정보기술학회 논문지, 17(5), pp.861~870 (2022), 한국지식정보기술학회[DOI]
- "Amazon Simple Storage Service (Amazon S3)" (2023)[URL]
- "Google Cloud Storage" (2023)[URL]
- S. Marston, "Cloud computing —the business perspective", Decision support systems, 51(1), pp.176~189 (2011)
- L. Luo, "MCFsyn : A multi-party set reconciliation protocol with the marked cuckoo filter", IEEE Transactions on Parallel and Distributed Systems, 32(11), pp.2705~2718 (2021)
- B. Fan, "Cuckoo filter: Practically better than bloom", Proc. 10th ACM Int. Conf. Emerg. Netw. Experiments Technol, pp.75~88 (2014)
- W. Xia, "The design of fast content-defined chunking for data deduplication based storage systems", IEEE Transactions on Parallel and Distributed Systems, 31(9), pp.2017~2031 (2020)
- Q. Xie, "Security-aware and efficient data deduplication for edge-assisted cloud storage systems", IEEE Transactions on Services Computing, 16(3), pp.2191~2202 (2023)
- S. Shen, "DrTM+B : Replication-driven live reconfiguration for fast and general distributed transaction processing", IEEE Transactions on Parallel and Distributed Systems, 33(10), pp.2628~2643 (2022)
- F. Zhang, "POCLib : A high-performance framework for enabling near orthogonal processing on compression", IEEE Transactions on Parallel and Distributed Systems, 33(2), pp.459~475 (2022)